双层SIR模型揭示合成数据交叉污染导致大模型崩溃

研究团队日前提出双层 SIR/SIRS 模型，系统解释了合成数据交叉污染如何导致大语言模型崩溃。该模型将数据语料库和 AI 模型视为两个相互作用的群体，通过跨层传播机制揭示了传统单链退化分析未能覆盖的真实污染路径。

传统模型分析的局限性

此前关于模型崩溃的研究主要将训练过程视为单一链条内的退化现象，即模型反复使用自身生成的合成数据进行训练后，性能逐步下降。但这种分析框架未能反映当前 AI 生态系统的复杂现实：不同模型的输出会相互汇入共享语料库，再被其他模型摄入训练。这种交叉污染构成了远比单链退化更严重的威胁。

双层耦合框架的机制

新提出的框架是一种现象学平均场模型，包含 SIR 与 SIRS 两种变体。在双层结构中，数据语料库层与 AI 模型层各自拥有易感、感染、恢复三类状态。关键创新在于引入了跨层传播率：受污染的模型会产生受污染的合成文本，这些文本进入语料库后又会感染更多模型。这类似于流行病传播模型，但传播主体在数据与模型之间双向交互。

交叉污染的真实场景

以实际生态为例，一个模型 A 在训练时摄入了已被模型 B 的输出污染的语料，其生成的文本继续汇入公共数据集，然后被模型 C 使用。污染物在多层之间循环积累，最终导致多个模型同时出现能力退化。双层模型能够量化这种逐层放大的效应：每一轮跨层传播都会增加整个系统的污染浓度。

模型崩溃的后果

研究表明，模型崩溃的直接表现是生成内容的多样性锐减、错误模式固化，以及原始真实数据分布的记忆逐渐流失。对于依赖大模型的应用场景而言，这意味着回答质量随时间推移不可逆地下降，尤其在需要长尾知识或独特创意的任务上表现尤为突出。

这项研究的意义

双层 SIR 模型为大模型持续训练和迭代提供了理论预警。它指出了单纯增加合成数据规模并不能避免崩溃，反而可能加速污染扩散。对于 AI 开发团队来说，建立跨模型的语料污染监控机制与追溯体系，或许比单纯追求训练数据量更紧迫。

该研究被收录于 arXiv 预印本（编号 2606.05168），属于计算流行病学与 AI 训练安全交叉领域的前沿探索。