BenHalluEval：面向孟加拉语的大语言模型多任务幻觉评估框架

BenHalluEval：首个面向孟加拉语的大语言模型多任务幻觉评估框架正式发布

日前，一个专门评估大语言模型在孟加拉语场景下“胡编乱造”程度的多任务框架——BenHalluEval正式亮相。该框架由研究团队推出，旨在系统性地检验LLM在孟加拉语任务中的信息准确度。说实话，孟加拉语虽是全球第六大语言，但在幻觉评估这块此前几乎是空白，这个框架的推出算是填补了一个大缺口。

BenHalluEval到底解决了什么问题？

咱们得先理解一个概念：大语言模型有时候会“一本正经地胡说八道”，这就是业界常说的“幻觉”。对于英语等主流语言，已经有不少检测框架，但孟加拉语因为资源少、研究少，一直没人系统评估过。BenHalluEval的出现，正是想回答一个关键问题——孟加拉语的大模型，到底有多靠谱？

四大多任务评估：从问答到推理全覆盖

这个框架覆盖了四项核心任务，分别是：

• 生成式问答（GQA）：看模型能不能准确回答开放性问题，而不是瞎编答案。
• 孟加拉语-英语混合问答（Code-Mixed QA）：测试模型处理“孟加拉语夹杂着英语”这种日常场景的表现。
• 摘要生成：评估模型在总结长文本时是否歪曲原文信息。
• 推理：检查模型在逻辑推理时是不是可能“跳错台阶”。

每一项任务都对应着不同的幻觉风险——有的模型可能擅长问答，但不擅长推理，正因为如此，多任务评估才更有价值。

12000个“幻觉候选”如何构建？

为了确保评估够全面，团队从三个孟加拉语现有数据集中提取素材，并使用GPT-5.4生成了12000个“带幻觉”的候选回答。没错，这12000个候选可不是随便写的，它们分别对应十二种具体类型的任务幻觉——比如凭空捏造信息、错误引用数字、张冠李戴等等。然后，研究团队用这些候选去考验七个不同的LLM，看看哪个模型最容易“掉坑里”。

评估结果暴露了哪些问题？

这确实挺让人惊讶的：即便是目前主流的几个大模型，在面对孟加拉语时也频繁出现幻觉，尤其是在混合问答和推理任务上。说白了，语言越“冷门”，模型的幻觉率越高。这背后的逻辑其实不难理解——孟加拉语的训练数据本来就少，模型缺乏足够的语言知识库来校验自己的输出。

那么问题来了：如果连评估框架都刚刚才出现，我们凭什么相信这些模型输出的内容呢？这恰恰是BenHalluEval的另一个重要价值——它提供了一个公平的“裁判员”，帮开发者看清楚模型的短板到底在哪。

对中文社区有何启示？

BenHalluEval虽然是面向孟加拉语的，但其方法论完全可以迁移到其他低资源语言——包括咱们的方言或者少数民族语言。说白了，评估框架的意义不在于语言本身，而在于它告诉行业：评估不是一次性的“考试”，而是需要持续优化的过程。随着更多类似框架的推出，大模型在多语言场景下的可信度将会得到更系统的检验，这对于AI真正落地到全球各地来说，其实是挺关键的一步。