AI幻觉出现的条件 点击:38 | 回复:0



gchui

    
  • 精华:2帖
  • 求助:0帖
  • 帖子:330帖 | 9回
  • 年度积分:29
  • 历史总积分:1132
  • 注册:2016年9月13日
发表于:2025-03-31 10:45:07
楼主

AI幻觉的出现往往需要三个条件:

1、模型本身没有记住;

2、无法通过已知知识推理得到;

3、没有查到相关的资料。根据这些条件,AI或许能自主判断发生幻觉的可能性。

我发现:知名度高的事情,AI记住的概率就高、出现幻觉的可能性就少。比如,问AI《红楼梦》中某个章节的内容,它就能完整地记下来(据说也有出错的时候,但我没遇到)。反之,对知名度低的人或事,AI就容易不容易记住,出现幻觉的概率就高。我发曾了一张个人的照片给AI,问这个人是谁。AI居然说这个人是饶毅。问AI《知行:工业基因的数字化演进》是谁写的,AI也给出了错误的回答。我测试出来的这些幻觉,都是在没有联网的前提下,这就对应第三个条件“没有查资料”。


知识其实可以分成两类:一类是针对事实的知识。如诗词文章、历史事件等。这些知识属于针对“具体的事实”,文科知识往往就是这样的知识。一类是规律性的知识。科学原理、数学公式、法律条文等往往属于这类知识。我们注意到,“针对具体事实的知识”往往无法通过推理得到的。要回答这样的问题,或者让模型记住,或者从网络或知识库中查出来。所以,如果AI没有联网也没有记住,就可能出现幻觉。前面提到的几次幻觉都是在这这种情况下发生的。


来源:微信号 蝈蝈创新随笔

作者:郭朝晖

该作品已获作者授权,未经许可,禁止任何个人及第三方转载。





楼主最近还看过


热门招聘
相关主题

官方公众号

智造工程师