OpenAI 发布大型语言模型幻觉报告,点出当前评估机制的偏误与建议解决方法。
(前情提要:Meta祖克柏白忙!给破亿美元薪水,两个月走了三个AI天才)
(背景补充:a16z 最新 AI 百强榜出炉:Grok 一年跃居前 4,中国应用全球突围 )
本文目录
OpenAI 在本週稍早公布一份关于大型语言模型「幻觉」现象的研究,指出现行训练与评估方法让模型倾向「自信猜测」而不愿承认不知道,是导致幻觉的原因,并提出下一步该如何走?
OpenAI 研究团队发现,当前模型训练时有大量评测题目以多选形式呈现,模型只要碰运气猜对就能获得分数,相反地,回答「不知道」则毫无积分。(这很好理解,就像你考选择题就算不知道答案也会乱填一样,至少有机会答对)
报告以 SimpleQA 测试为例,比较旧型号 o4-mini 与新版 gpt-5-thinking-mini:前者準确度略高,但「幻觉率」达 75%;后者虽常选择弃权,错误率却大幅下降。OpenAI 进一步指出,多数开发者专注提升整体正确率,却忽视「自信犯错」对用户影响远高于坦承不确定。
研究团队以一句话总结问题根源:
「标準的训练和评估程序奖励模型进行猜测,而不是在不确定时承认限制。」
换言之,幻觉并非模型硬体或参数规模不足,而是评分规则诱导模型採取高风险策略。
报告拆解业界常见五种误解,最重要的两点为:第一,只要把模型做得更大或资料餵得更多,就能消灭幻觉;第二,幻觉是无法避免的副作用。OpenAI 表示:
现实世界充满资讯缺口,任何规模的模型都可能遇到「资料稀疏」题目。真正关键在于模型是否有权选择「弃权」。
报告也强调,小型模型有时反而更易察觉自身知识空白;而只要调整评估标準,给「谦逊回答」部分分数,以「自信犯错」扣更重分,全尺寸模型同样能降低幻觉。OpenAI 建议业界从「答对率」转向「可靠性指标」,例如把错误信心度列入主要 KPI,才能促使模型在不确定情境下保持保守。
对华尔街与硅谷来说,幻觉并非抽象学术议题,而是直接影响市场决策的变数。量化基金、投资银行和加密货币交易平台愈来愈倚赖 LLM 进行文本解析、情绪判读甚至自动报告。若模型在公司财报细节或合约条款出现幻觉,错误内容可能透过交易算法迅速被放大,带来巨额损失。
因此,监管单位与企业风控部门开始注意「模型诚实度」指标。多家券商已把「回答不确定率」纳入内部验收,让模型在未知领域预设回报「需要更多资料」。这一改变意味着,开发效能再强的 AI 方案,若无法提供可信度标籤,将难以获得金融市场採纳。
最后,OpenAI 建议的路径是重写评测规格:
第一,对自信错答设定高额惩罚
第二,对适度表达不确定给予部分积分
第三,要求模型返回可验证参考来源。研究团队称,此举可在训练阶段迫使模型学会「风险管理」,类似投资组合理论中「先保本」。
对开发者而言,这代表参与者将不再单纯比拼模型大小,而是比谁能在有限计算预算中精準判断何时该收手;对投资人与监管者而言,新指标也提供更直观的风控锚点。随着「谦逊」成为新显学,AI 生态正从分数导向转向信任导向。