扩散模型逆问题提出幻觉感知采样及鲁棒先验更新

四川大学与新加坡国立大学联合团队在arXiv预印本平台发布最新成果，提出一种名为“幻觉感知采样”的扩散模型逆问题求解框架。该研究首次系统揭示了扩散模型在处理图像逆问题时，会产生视觉上逼真却与原始测量数据不符的“幻觉”内容，并推出鲁棒先验更新机制来抑制这类错误。

扩散模型逆问题为什么会产生幻觉？

说白了，扩散模型逆问题求解器虽然能生成非常真实的图像，但这份“真实感”有时是靠不住的呢。研究团队将基于贝叶斯规则的扩散逆求解器拆解为两个核心步骤：先验更新和测量条件化。分析之后发现，幻觉内容恰恰是在先验侧“提议”阶段偷偷溜进来的——模型调用自身的生成先验去补充缺失信息时，补上的细节其实跟被测物体的真实情况根本对不上。这可太坑了，凭什么看起来真实的图像实际上是在“一本正经地胡说八道”？

污染路径：测量条件化并未完全过滤幻觉

团队进一步指出，尽管后续的测量条件化步骤（用真实测量数据去校正结果）试图过滤掉偏离数据的生成内容，但由于逆问题本身的信息缺失，这一步的矫正能力相当有限。也就是说，如果模型在先验更新阶段已经编造了“合理”的假细节，条件化步骤往往很难将其识别并剔除。实际上，幻觉扩散模型逆问题求解过程中的污染路径，是经由鲁棒先验更新失败后形成的。

• 模型调用生成先验填充缺失像素
• 先验侧提议出现视觉逼真但虚假的细节
• 测量条件化步骤因信息不足而无法纠正假细节
• 最终输出看似完整的重建图，实则包含幻觉内容

鲁棒先验更新：用反幻觉约束给模型“上锁”

针对这一缺陷，联合团队提出了一套鲁棒先验更新策略。核心思路是在每次先验更新前，先对提议内容进行“幻觉感知评估”——如果生成提案与测量残差之间存在显著不一致，系统就主动降低对该先验的信任权重。这就像给扩散模型装了一个实时审计员，让模型在填充细节时学会“不懂别瞎填”。其实，这个方法挺巧的，它并没有推翻现有的扩散逆求解框架，而是在关键的先验更新节点嵌入了一个自检环节。

实验验证：实测效果对比

在标准图像逆问题测试集上的实验表明，加入鲁棒先验更新之后，模型在图像超分辨率、去模糊和压缩感知重建三个任务上均有显著提升。与传统的基于扩散的逆求解器相比，新方法不仅降低了幻觉内容的比例，还保持了重建结果的整体真实感。没错，这真的算是在“保真”和“逼真”之间找到了一个更靠谱的平衡点。