图灵大学AI实验室想出了一个省钱妙招：训练AI之前先用这个方法筛掉烂信号
这项由德国图宾根大学图宾根AI中心与意大利布鲁诺·凯斯勒基金会联合完成的研究，以预印本形式发布于2026年6月30日，论文编号为arXiv:2606.32034。有兴趣深入了解的读者可以通过该编号查询完整论文。
研究背景：一个让AI训练师头疼的老问题
当你在下棋时，每走一步都有人告诉你"这步好"或"这步差"，你进步起来会非常快。但如果对手只在你赢了或输了之后才给一个最终评分，整盘棋里你完全不知道哪步棋导致了最终结局，这个训练过程就会变得极其低效。
当前的AI智能体（Agent）训练正深陷这个困境。现代AI系统越来越多地被要求执行复杂的长程任务，比如在电脑上操控浏览器完成购物、在命令行终端解决编程难题、或者在虚拟家居环境里搬运物品整理房间。这类任务动辄需要数百步甚至数千步操作，每一步都是一个决策。然而现有的训练信号却极度稀疏——AI通常只能在最终完成任务（或者失败）的那一刻收到一个"成功/失败"的反馈。这就像一个厨师学做菜，只被允许在顾客吃完整顿饭后才得到一个笼统的评价"好吃"或"难吃"，却从不知道是哪道菜出了问题、哪一步火候没掌握好。
为了解决这个问题，研究界发展出了一类被称为"密集监督信号"的方法，核心思路是在每个中间步骤都给AI打分，而不仅仅依赖最终结果。这些方法五花八门，有的分析AI内部产生的置信度，有的让模型自己评判自己，有的利用图像和语言之间的相似性来估算进度。这些方法看起来都有各自的道理，但问题来了：我们怎么知道哪种方法打出的分数是真正有用的？
过去的做法是把每种方法都实际接入一套完整的强化学习训练流程，然后跑完整个训练过程，最后看AI任务完成率提升了多少。这条路代价极为高昂——每次评估一种方法可能需要数天的算力消耗，而不同方法往往还需要完全不同的训练架构，根本无法在同一个基准下公平比较。更糟糕的是，即便某种方法在最终指标上带来了改善，你也搞不清楚究竟是这个信号本身好，还是配套的训练技巧起了作用。
正是为了解开这团乱麻，研究团队开发了一套叫做**QVAL**的评测框架。他们的核心洞察是：既然我们需要密集信号来帮助AI判断每一步行动的好坏，那么一个好的信号最终应该能告诉我们一件事——这步操作做完之后，能成功完成任务的概率变化了多少？如果一个信号能回答好这个问题，它就是有用的；如果不能，再花哨也是白搭。
---
一、AI打分究竟在打什么分：Q值的故事
要理解QVAL做的事情，先得理解一个叫"Q值"的概念，它是整个评测框架的核心。
Q值这个名字来自强化学习领域，可以把它理解成一张"未来期望收益表"。假设AI正在完成一项任务，此刻它站在某个特定的状态下（比如正在浏览器里操作一个日历应用，当前页面上有一个待填写的表单），面前有几个可选的操作（点击某个按钮、在文本框里输入内容、向下滚动页面）。Q值回答的问题是：如果我现在选择操作A，然后之后每一步都尽可能聪明地做决策，最终能拿到多少奖励？
这个问题的精妙之处在于，它把"当前这步操作"和"未来所有步骤的影响"都打包进了一个数字。一步看似没什么用的操作，可能因为它为后续打开了关键的路径，所以Q值很高；而一步看似顺手的操作，可能因为它把自己带进了死路，Q值反而很低。
QVAL的工作方式可以用"考古鉴定"来比喻。考古学家想知道某件文物是否珍贵，但不可能真的把它拿去市场上拍卖后才做判断。他们会找几位顶尖专家，按照统一的鉴定标准，在同样的光线和工具下，对每件文物独立打分——这个分数就代表了文物的"真实价值"。QVAL做的是同样的事：对于每一个"AI在某个状态下采取了某个操作"的场景，研究团队先请一位"顶尖专家"（一个被证明能高效完成任务的参考策略）从这个状态出发继续往下走，记录它能拿到多少最终奖励，这就是Q值的标注。然后，把任何一种密集信号方法放在同样的场景下，让它也对同一个"状态-操作对"打分，再测量这个打分与Q值之间的排名一致性。
排名一致性越高，说明这个方法给出的信号越能准确地区分好操作和坏操作，它就是更值得信赖的训练素材。这个测量过程完全不需要真的去训练任何模型，也不需要几天的算力，而且所有方法面对的都是同一批数据、同一个参考标准，可以直接横向比较。
为了量化这个"排名一致性"，研究团队使用了一个叫"斯皮尔曼相关系数"的指标（取值范围是-1到1，1代表排名完全一致，0代表完全随机，-1代表完全相反）。这就像裁判打分比赛：如果两个裁判对所有参赛者的高低排名给出了几乎一样的结论，他们的相关系数接近1；如果一个裁判认为最好的选手恰恰是另一个裁判认为最差的，相关系数就会接近-1。
---
二、四个测试场地和二十一种选手：QVAL-v1.0的规模
研究团队将这套方法具体化为QVAL-v1.0，选取了四种差异显著的任务环境作为测试场地，共收集了约400个"状态-操作对"样本，在六种不同规模的开放权重语言模型上测试了21种密集信号方法，总计超过1200次实验。
四个环境各有特色，覆盖了不同类型的挑战。第一个是**FrozenLake**，一个8×8的格子迷宫游戏，AI扮演一个小精灵，需要在布满冰洞的格子里走到终点。这个环境最简单，只有上下左右四个离散动作，有最优路径可循，格子地图可以完整地用文字描述，也可以渲染成像素图片。第二个是**ALFWorld**，一个三维家居模拟环境，AI需要在客厅、卧室、浴室等场景里完成"把杯子放进柜子"之类的家务任务，支持文字描述和真实渲染图两种观察模式，操作空间也更加丰富。第三个是**OpenApps**，一套模拟真实网络应用的浏览器操作环境，包含日历应用、待办清单、即时通讯、地图等，AI需要通过点击、填写表单、选择选项等真实的浏览器操作完成具体任务，比如"给爱因斯坦加一个论文阅读会议"。第四个是**TerminalBench**，也是最难的，AI需要在一个真实的Linux终端命令行环境里，通过输入Shell命令完成系统管理、密码学、数据处理等专业任务，这个环境纯文字，没有图像。
每个环境里，研究团队都花了大量精力给数据打上准确的Q值标签。对于FrozenLake和OpenApps，由于有最优脚本策略，可以直接跑一次确定得到每个状态的精确Q值。对于ALFWorld，有一个内置的专家规划器可以查询游戏内部状态。最麻烦的是TerminalBench——Linux命令行任务复杂而开放，不存在一个固定的"最优解"。研究团队的解决方案是用GPT-5.5这个顶尖前沿模型作为"参考策略"，从每个待标注的状态出发独立运行16次，取16次里面最高的得分作为Q值估算。他们验证了这个策略的可靠性：GPT-5.5在这批测试任务上达到了100%的Pass@16（即16次里至少有一次成功），并且进一步用另一个顶尖模型Claude Opus 4.7做了交叉验证，两者标注出的Q值对各方法的排名结论高度一致，证明了标签质量的稳健性。
被测试的21种密集信号方法被分成了七大家族，按信号的来源方式分类。
直接提示类（Direct）**是最直白的一族，做法是直接让大语言模型读取当前状态和操作，然后输出一个数值评分，就像让人工智能当考官直接给一道数学题打分。这一族包含五种变体，分别对应不同的"出题方式"：最基础的direct-single每次只给模型看一个状态-操作对，让它单独评分；direct-batched把四个状态-操作对打包进一次请求，让模型同时评四个；direct-sequential把八个状态-操作对以多轮对话的形式依次喂给模型；direct-16则对同一个状态-操作对重复询问16次，取平均分以减少随机波动。还有一种gvl，受到早期论文启发，把整条轨迹（打乱顺序）都展示给模型，让它在了解全局背景后再给目标步骤评分。
**排名类（Ranking）**的思路稍有不同。与其让AI给每步操作单独打一个绝对分数，不如直接把同一个状态下的几个候选操作摆在一起，让AI从最好到最差排个序。这就像不用给每位学生单独算成绩，只需告诉老师"这四个学生谁最聪明"。这一族只有一个方法，叫ranking。
**内在置信类（Intrinsic）**不依赖明确的打分提示，而是从模型自身的内部概率中提取信号。这一族有两种方法：verifier根据模型对几个质量评估问题（如"这步操作是否正确？""是否高效？"）回答时各个选项的概率来综合打分；Δbelief则测量模型在"看到这个操作的结果之后"与"看到之前"对"任务最终会成功"这件事的概率估计发生了多大变化，如果一个操作让模型对成功的预判大幅提高，就说明这步很关键。
**自蒸馏类（Self-Distillation）**的核心逻辑是：如果一个操作是好操作，那么当我们把这个操作的后续情况（比如它带来的好结果）告诉模型之后，模型应该会更倾向于"主动生成"这个操作。这一族包含sdpo（只提供下一步状态作为额外信息）和sdpo-gt（额外还提供专家的下一步操作和轨迹成功摘要作为特权信息）。
**预训练值模型类（Pre-trained）**用的是专门为价值评估任务预训练的视觉语言模型，这类模型不需要任何提示，直接接收状态图像作为输入，输出一个表征"距目标还有多远"的分数。这一族包括VIP和LIV两个模型，后者还有多个变体（基于图像目标、基于文字目标、基于不同距离度量）。
**嵌入相似性类（Embedding）**让模型把当前状态画面和任务描述文字分别编码成向量，然后用两个向量之间的相似度来估计"当前状态离目标有多近"。越相似，说明进展越好。这一族包括VLM-RM和VLM-SOR两类方法各自的变体，使用CLIP和SigLIP两种图文编码器。
**代码生成类（Code）**的方案则颇为脑洞大开：直接让大语言模型写出一个Python评分函数，这个函数把状态文字和操作文字作为输入，返回一个浮点数评分。函数一次性生成，然后用它给所有数据点打分。这一族包括codegen（独立生成16个不同函数，汇报每个函数的得分）、codegen-avg（把16个函数的预测取平均再汇报）、以及eureka（迭代式生成：每轮生成8个候选函数，用模型自身作裁判选出最好的，再把它作为下一轮的起点，共迭代16轮）。
---
三、比赛结果：越简单越好用
看到如此多精心设计的方法，你可能期待那些最复杂的技术大放异彩。实验结果却给了大家一个有点出乎意料的答案。
排名靠前的两大家族，恰恰是最直接、最"傻瓜"的那两种：**直接提示类（Direct）**和**排名类（Ranking）**。以直接提示类为例，在ALFWorld这个环境里，direct-16（即重复询问16次取平均）的斯皮尔曼相关系数普遍达到0.5到0.7之间，这意味着AI直接给出的分数，有超过一半以上的排名顺序与专家Q值是一致的，是一个相当可靠的信号。ranking方法在FrozenLake这个简单环境里表现尤为突出，多个模型下相关系数超过0.8甚至0.9，接近完美的排名一致性。
这个发现的意思是：对于"哪步操作更有价值"这件事，最有效的做法可能就是直接把状态和操作描述告诉一个足够聪明的语言模型，然后问它：你认为这步操作会导向成功吗？
相比之下，那些经过专门设计、理论上更"精巧"的方法却没有表现出相应的优势。自蒸馏类（sdpo和sdpo-gt）的表现中规中矩，在FrozenLake和ALFWorld上的per-state排名相关系数普遍在0附近徘徊，甚至在FrozenLake上出现了负值——意味着这些方法的打分顺序与真实Q值的顺序完全相反。更值得注意的是，sdpo-gt作为sdpo的"特权版本"，它能额外看到专家操作和轨迹结果，理论上信息量更丰富，实际上却没有比sdpo更好，有时甚至更差。嵌入相似性类和预训练值模型类在大多数环境里表现平平，CLIP和SigLIP这类图文编码器在FrozenLake上甚至出现了明显的负相关。
代码生成类的表现最为戏剧性，也是七大家族中方差最大的一个。在FrozenLake这种简单的格子迷宫环境里，代码方法大放异彩——由于格子迷宫的规则极为简单清晰（距离目标格子越近越好），语言模型能写出一个近乎完美的评分函数，codegen-avg的相关系数在多个模型下超过0.95甚至接近1。然而一旦换到更复杂的TerminalBench，代码方法反而出现了强烈的负相关——均值在-0.27到-0.39之间——意味着代码写出的函数不仅没用，还在主动误导。原来，当任务足够复杂，语言模型已经难以用简单的Python逻辑表达真正的评分规则，写出来的函数反而抓住了错误的特征。
不同方法在不同环境里的表现也揭示了一个有趣的规律：任务难度并不是决定信号质量的单一维度。直接提示类在四个环境里都保持了正相关，说明它的质量对环境变化不敏感；代码方法在简单环境（FrozenLake）极好，在复杂环境（TerminalBench）极差，体现出强烈的环境依赖性；而自蒸馏类则反过来，在FrozenLake上表现最差，在TerminalBench上反而相对最好。这说明不同方法的信号质量与任务的状态空间结构、动作空间类型、可用反馈形式等特征有复杂的交互关系。
---
四、细节里的魔鬼：几个值得留意的发现
除了大方向上的比较结论，研究中还有几组关于信号质量的细致发现值得深挖。
**文字描述 vs. 图片观察：差距清晰可见
QVAL的三个环境（ALFWorld、OpenApps、FrozenLake）同时支持文字描述和视觉图像两种观察模式，这提供了一个天然的对照实验。把相同方法在文字模式和图像模式下的Q-对齐分数画成散点图，可以看到绝大多数点都落在对角线以下——意味着文字观察比图像观察产生了更高的信号质量。这个差距在OpenApps这种复杂的浏览器操作环境里尤为明显，而在FrozenLake的简单格子迷宫里则相对缩小。
研究团队认为，这并不说明"视觉信息本身没有价值"，而是说"当前AI解读像素信息进行价值判断的能力还不如解读精炼的文字描述那么可靠"。换句话说，把一个网页截图传给语言模型，不如把这个网页的无障碍访问树（一种用结构化文字描述网页元素的表示方式）传给它，后者更容易让模型理解"当前进展到哪里了"。
Q值标签 vs. V值标签：结论基本一致
Q值是"在状态s下执行操作a之后，未来的期望收益"，而V值是"处于状态s时，未来的期望收益"（不特定某个操作）。前者需要知道操作是什么，后者只需要知道状态。QVAL的数据集同时提供了两种标签，对比不同信号方法在两种标签下的排名，结果发现各方法的相对顺序基本保持稳定——也就是说，"哪种方法最好用"这个结论，不因为我们用Q值还是V值来标注数据而改变。不过在绝对数值上，代码类和预训练类方法与V值的相关性略高于与Q值，而直接提示类方法则与Q值的相关性更高，说明直接提示类天然更倾向于把操作本身纳入评估。
TerminalBench的Q值标签是否可靠？
研究团队用GPT-5.5为TerminalBench生成了Q值标签。有人可能担心，如果换一个前沿模型来打标，结论会不会完全不同？为此，他们额外用Claude Opus 4.7做了一套完整的标注，并把两种标签下各方法的相关系数对比画成柱状图。结果非常清楚：在GPT-5.5标注下高于零的方法，在Opus 4.7标注下同样高于零；低于零的方法，同样低于零。两个模型标注出来的相对方法排名高度一致，验证了标签的稳健性。
---
五、为什么这件事在现在格外重要
QVAL这套方法本身的设计并不复杂，但它的出现在当前AI发展阶段有特别的时代背景。
强化学习在AI训练中越来越重要，业界已经有不少成功案例证明，让语言模型通过与环境交互来不断优化自身，能显著提升模型的推理和决策能力。但随着任务变得更长、更复杂，仅靠最终结果来反向归因"哪步操作贡献了成功"变得越来越难。目前广泛使用的GRPO算法（一种常见的语言模型强化学习算法）通过对比同一批次里的多次采样来估计每个操作的价值，这种方法在短任务里很有效，但在包含数十个步骤的长程任务里，采样效率急剧下降。于是，密集信号方法的需求越来越迫切。
然而研究界之所以迟迟没有系统比较这些方法，根本原因就是"评测太贵"。每种密集信号方法的评测都需要完整的训练实验，周期长、成本高，而且不同方法的训练架构差异让横向比较成为几乎不可能完成的任务。QVAL通过把"信号质量"这个问题剥离出训练流程，变成一个纯粹的"打分与标准答案的相关性"测量，把评测成本压缩到了可以在合理时间和算力内完成的范围。
更重要的是，研究团队发现了一个对整个领域都有指导意义的实践结论：在评测密集信号方法时，直接提示（直接让语言模型打分）应当作为必须超越的基准线。这听起来像是一个颠覆性的声明——为什么我们费尽心思设计的复杂方法，还不如最简单的"直接问一下模型"？
一个合理的解释是：强大的预训练语言模型已经内化了大量关于"什么样的行为会导向成功"的知识，当它被明确要求评估一个操作的价值时，这部分知识能相当直接地被激活。而那些间接方法（比如通过概率差异、嵌入相似度来推断价值）都在信息传递的中间引入了噪声和失真。换句话说，绕了一大圈的方法，反而把模型本来知道的东西给折腾丢了。
当然，这并不意味着密集信号领域的研究方向是死路。研究团队也明确指出，一些Q-对齐分数较低的信号（比如探索激励、好奇心驱动的信号）可能在训练中有其他用途，不能单纯以Q-对齐来否定它们的价值。QVAL提供的是一个廉价的早期筛查工具，而不是最终的裁判。
---
说到底，QVAL这项工作的贡献可以用一句话概括：它把一个本来要花几天几十万算力才能回答的问题，变成了一个几小时就能得到初步答案的问题。就像航空公司在造一架新型飞机之前会先在风洞里测试缩比模型，QVAL给了AI研究者一个"密集信号质量的风洞"——在真正烧钱的训练实验之前，先以极低的成本验证一个新信号方法是否有基本的价值。
对这个领域的研究人员来说，这个工具直接降低了"踩坑成本"。对于关注AI发展的普通读者来说，这项研究揭示了一个值得思考的规律：在AI系统的评估上，复杂未必意味着更好，直接询问往往是被低估的基准。这或许对我们日常使用AI系统也有所启发——当不知道怎么与AI交互时，最清晰、最直接的问法，往往比绕弯子的提示工程效果更稳健。
有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.32034查询完整论文。
---
Q&A
Q1：QVAL框架和传统的密集信号评测方式有什么根本区别？
A：传统方式需要把信号方法完整接入强化学习训练流程，跑完几天才知道效果好不好，而且不同方法需要不同的训练架构，根本没法直接比较。QVAL绕开了训练，直接测量信号打分与专家Q值之间的排名相关性，把几天的评测压缩到几小时，同时让所有方法面对同一批数据和标准，实现了真正的横向比较。
Q2：QVAL的评测结果显示最简单的直接提示方法效果最好，这是否意味着其他密集信号方法都没有研究价值？
A：不能这么简单理解。QVAL测量的是"Q-对齐"这一个维度，也就是信号是否能准确区分好操作和坏操作。但密集信号在训练中还有其他作用，比如驱动探索、提供多样性奖励等，这些方面Q-对齐本身无法评估。研究团队明确说，QVAL是早期筛查工具，不是最终裁判，但新方法至少需要在Q-对齐上超越直接提示这个基准。
Q3：代码生成类方法在FrozenLake上几乎完美，在TerminalBench上却严重负相关，原因是什么？
A：根本原因在于任务的可编码性。FrozenLake是一个规则极简的格子迷宫，"离目标格越近越好"这个逻辑很容易用几行Python代码表达，所以模型能写出几乎完美的评分函数。TerminalBench的命令行任务涉及密码学、系统管理、数据工程等复杂专业知识，"什么样的Shell命令意味着进展"根本无法用简单代码逻辑捕捉，模型写出的函数反而误抓了错误特征，导致打分方向完全相反。
