30多年前读研究生时,我学过4门AI的课程。但当时的许多知识现在都落伍了。我现在学习AI、学习大模型,就像老胡学炒股;随用随学,完全是个新手。这点体会也都是新手的体会,老年人学习能力也差,让大家见笑了。欢迎批评指正。
1、用AI学习AI。
AI特别适合“用中学”、用AI学习AI:对AI有问题的时候可以直接问AI,立刻就能得到你想要的答案。比如,可以问CHatGPT有多少参数?大模型有没有记忆、Token是什么意思等等。今天听了华师大一个老师的报告,感觉未来的教育很可能会是革命性的。
2、问问题的学问。
不久前,北大、清华等各出了一些DS的应用教程。我下载下来学习了一下。两个学校的重点都在谈“提示词工程”。我感觉,所谓“提示词工程”,就是教给你如何问问题。于是,就问DS:提示词工程是不是就是问问题?DS回答说:非常接近这个意思。由此可见,学会问问题,是使用AI非常重要的能力。
3、关于AI幻觉
AI在历史事件上出现幻觉是在所难免的。CHatGPT某版本大约有1750亿个参数。我算了一下,大体上相当于20万本红楼梦的信息量。互联网上的信息有多少呢?我查了一下,很快会有1YB。两者大概相差12个数量级。这意味着什么呢?互联网上的信息,大模型的参数往往是记不住的。我问了DS,DS也说大模型没有传统意义上的记忆。所以,如果没有联网,AI对特定历史事件(而不是规律、知识)的描述其实是猜出来的,就很容易出现幻觉。于是,我做了个试验,在不联网的前提下,问豆包和DS,《管中窥道:技术创新的观念与方法》的作者是谁?这本书是我写的,但两个AI全部答错。为什么呢?由此可见,历史事件往往是逻辑推导不出来的、也是概率算不出来的。但是,如果联网后再问,答案就是对的了。
4、大模型的种类
大模型有两种,推理大模型和非推理大模型。要解决科技问题,最好用推理大模型并且联网。因为这两种做法可以比较有效地避免和发现AI幻觉。有了互联网(或者背后有数据库),就相当于给AI这个大脑增加了记忆,自然也就能减少幻觉。而推理过程,当然可以避免假象。
5、DS 的意义
前面讲到,联网是减少机器幻觉的有效手段。但企业里面的核心知识往往不能放到网上去。DS具有开源、轻量化等特点,据说还能微调。这使得企业能够把DS下载到自己的服务器上,和自己特有的数据结合起来。这个意义是非常大的。因为我一直认为:在工业领域,靠谱猜能实用。
6、大模型适合的领域
前些天我意识到:AI大模型在医学方面的能力很强、结论很靠谱。我今天又试着问DS一些钢铁领域的问题,也感觉靠谱,超过了普通的专业人员。由此可见,钢铁行业数字化转型时,“从制造到服务”有着巨大的机会。但稍微有点遗憾的是:他们的答案,比顶级专家还是差了一点点。昨天有位朋友用我的三个问题问DS,我也有同样的感觉。一个重要的原因是:一流专家的私有知识可能没有在网上。医学和材料相关的答案之所以靠谱,可能还是因为网上公开的通用、专业知识多。如果问题依赖太多未公开的私有知识、针对个性化事件的知识,问题就可能比较多。
7、我的遗憾
我本科是学算法的(应用数学专业、计算数学选课组)。过去,几乎所有的AI算法我都能理解。最近,我买了一本关于Transformer 书,发现自己居然看不懂了(或者说似懂非懂),让我感到非常沮丧。看来,需要花点时间补课了。年纪大了,不知道还能不能学明白。
来源:微信号 蝈蝈创新随笔
作者:郭朝晖
该作品已获作者授权,未经许可,禁止任何个人及第三方转载。
楼主最近还看过