专家数据是中国AI追赶美国的关键,来看看中美数据产业的真实差距。核心内容:1. 中国AI实验室数据产业的现状与挑战2. 追赶初期“蒸馏”策略的利弊分析3. 建设原生数据生产体系的必要路径
SOTALAB · FRONTIER DATA
——专家数据,才是中国 AI 实验室绕不开的下一关一个外来者的观察今年五月,Interconnects 的作者 Nathan Lambert 走访了中国多家头部 AI 实验室,包括 Moonshot、智谱、Qwen、蚂蚁、美团和小米。回到美国后,他写了一篇流传很广的观察笔记。他对中国实验室的工程文化评价很高:执行力强,明星研究员的 ego 相对少,学生也能深度参与核心研发。不过,在这些赞美中间,有一句几乎没有被中文转发者讨论的话:'The data industry is far less behind.' 中国的数据产业,远没有美国成熟。
图1|Interconnects 原文摘录,中国的数据产业,远没有美国成熟。这句话让我们格外在意,因为 SoTALab 正在做的,恰好位于这个空白里:组织领域专家,为前沿模型生产训练和评测所需的数据。但在介绍我们具体做什么之前,或许应该先回答一个问题:为什么中国 AI 产业明明有大量数据团队,却仍然会被一个外来观察者评价为“几乎没有数据产业”?要理解这个空白是怎么形成的,需要回到 2023 年。蒸馏王朝是怎么建起来的
图2| Stanford Alpaca(2023)展示了早期开源模型追赶的一条典型路径:用强模型批量生成指令数据,再微调开源 LLaMA。它后来成为许多团队构造 SFT 数据的参考范式
图3|DeepSeek-R1 的训练流程示意:模型并不是只依赖蒸馏数据,而是结合 SFT、采样、过滤、规则奖励与强化学习,逐步形成 reasoning 能力所以这门课真正的分水岭并非“蒸没蒸过”,几乎所有人都蒸过;分水岭在于,蒸馏之外,有没有给自己留足后手,同时建设自己的数据能力。蒸不动的那一刻2024 年 9 月,o1 发布。2025 年 1 月,R1 开源。Reasoning model 的出现,让单纯依赖蒸馏的局限变得更加明显。
图4| o1、R1 发布后的同场对比:Reasoning model 的出现,让单纯依赖蒸馏的局限变得更加明显蒸馏主要让 student 模型学习 teacher 模型的输出。在这个过程中 student 的分布永远是 teacher 分布的一个子集,它可以高效迁移回答风格、知识表达和一部分解题模式,但在这个过程中,长尾能力和探索多样性往往会受到损失。在“回答是否像 GPT-4”仍是主要目标时,这些问题不算致命。但 reasoning 能力的训练走的是另一条路:RL with verifiable rewards,模型需要反复生成解题轨迹,再根据可验证的奖励信号进行筛选修正和强化。

图5| 来自 InstructGPT 论文的带注释图表:RlHF的三个步骤,使用奖励模型来对之前通过监督式微调得到的模型进行进一步优化能力不仅来自对正确答案的模仿,也来自大量试错,以及对错误路径的持续淘汰。这类训练需要答案明确、能够自动验证的题目,需要专家级的难度分布,也需要区分“推理过程正确”和“碰巧得到正确答案”的评价方法。它们很难完全从公开互联网中获得,普通众包也很难胜任,拿合成数据也造不出来。如果没有专家参与,人们很难判断一道合成题是否真的有价值,答案是否可靠,以及它到底在测试什么能力。 

图6|SoTALab 专家网络,包含:数学推理、代码与Agent、AI for Science、垂类领域、工程/CAD、多语言/翻译、人文社科、创意/音乐/视频、通用办公等领域但专家网络只是起点,并不等于数据能力。模型无法直接从一张专家名单中学习。它需要的是专家构造的问题、完整的推理轨迹、可以验证的答案,以及能够识别细微错误的评分标准。真正困难的,是中间这层转换:如何把专家组织进模型研发流程,如何把专业判断写成可执行的 rubric,如何控制不同专家之间的质量差异,又如何让这一切稳定、持续地生产运转。Bridging Frontier Human Expertise
with Frontier AI
图7|SoTALab APEX-Agents 训练数据例题,使用一个 World 模拟投行经理的真实工作电脑(文件、邮件、对话);围绕它构建一系列 Task——每个 World 通常承载多道真实工作任务评测端|用专家判断照见模型的盲区在评测端,我们想做的不是再造一张排行榜,而是让模型的错误真正显形。每道题除了参考答案,还有专家撰写的多维 rubric:模型从哪一步开始走偏,为什么走偏,是知识上不知道、计算中出了错,还是一开始就选错了路?
图8|SoTALab 深度决策例题评分细则(rubric)及专家标准回答(golden response)分数只能告诉我们模型输了,而好的评测才能告诉我们,它下一步该怎么变强。
图9|SoTALab 高价值数学路径训练数据例题评测过程这类样本的价值在于诊断性:它暴露的并非知识欠缺,而是判断力的缺陷,这恰恰是 RL 训练最需要的那种信号。模型答不出来的题,才是能让模型变强的题;我们内部把这个标准写成一句话:It takes SoTA to train SOTA.
我们不认为一家公司能独自补上整个产业层的空白,但我们相当确定:下一阶段模型能力的天花板取决于有多少真正的专家智慧被转化成了训练信号——这件事美国已经开始了三年,而中文世界几乎还没动工。
蒸馏时代欠下的债,最终要用专家知识来还。——而过去几年史无前例的竞争告诉我们:谁先开始还,谁就能领跑。关于 SoTALab
SoTALab 将全球权威专家的专业知识转化为数据和评估结果,用于训练最先进的模型。我们是一支专注的团队,致力于招募工程师和研究人员,希望我们的工作能够塑造前沿人工智能的学习方式。 若您想要加入我们或对我们感兴趣,请联系[email protected]© THE END
转载请联系本公众号获得授权登录查看剩余 70% 内容