增量秩1联想记忆专家混合实现无遗忘持续学习

一项关于增量秩1联想记忆专家混合的研究论文在arXiv上公开，直接针对持续学习中的灾难性遗忘问题提出了新解法。论文指出，现有基于LoRA的专家混合方法虽能通过冻结旧专家并添加新专家来扩展容量，却因粗粒度专家编码导致冗余、干扰与路由模糊，反而引发遗忘。增量秩1联想记忆专家混合通过精细化的专家粒度设计，实现了无遗忘的持续学习。

现有方法的痛点其实挺明显：粗粒度专家（如高秩LoRA）编码的信息专业化程度低，不同专家之间容易重复或互相干扰。这就好比让几个多面手分别做同一件事，既浪费资源又可能彼此掣肘——这样的话，遗忘又何来缓解呢？路由模块在模糊指令下更难以精准分配任务，遗忘自然随之而来。

增量秩1联想记忆专家混合的改进思路相当直接——把专家粒度做细。秩1联想记忆专家具有高度专业化特性，每个专家只负责极小一簇知识，叠加时彼此正交、互不干扰。通过增量方式添加新专家，模型可以持续吸收新知识而不触碰旧参数，遗忘问题就此化解。

其实这种设计挺符合直觉：与其养一群什么都懂一点的“通才”，不如储备大量各司其职的“专才”。每个秩1专家聚焦单一联想模式，混合时由路由模块按需精准调用。专家之间冗余度极低，整体容量却可以随任务数量线性扩展——这一点确实让模型在持续学习过程中更稳定。

实验结果表明，该方法在多个持续学习基准上显著优于传统LoRA-MoE方案。更重要的是，它保持了预训练模型的原始能力，旧知识不会因新任务的加入而褪色。对于需要长期迭代更新的大模型来说，这确实是个实用的突破。

目前团队已将论文及代码公开在arXiv上（编号2506.21035），供研究者复现与进一步探索。持续学习是通向通用人工智能的关键拼图之一，增量秩1联想记忆专家混合无疑为这块拼图提供了新的连接方式。