定制扩散模型(CDMs)尽管在生成个性化概念上表现突出,但绝大多数模型预设用户的概念集是静态的,无法随时间增长。近日,一项新研究为这一难题提供了解决方案,推出了名为“持续可定制扩散”的方法,实现了概念增量定制。
CDMs的静态假设问题

咱们得说,现有的CDMs确实挺强大的,能根据用户提供的一两张图片生成特定概念的新内容,比如画一只黑猫或一栋蓝房子。但问题在于,它们假设用户的“概念集”是固定不变的,不会新增。这其实不符合现实——谁家相册里没点新照片呢?
灾难性遗忘:学习新概念,忘掉旧概念
更麻烦的是,当CDMs被用来连续学习多个新概念时,会出现严重的灾难性遗忘和概念忽视现象。简单说,就是学了猫忘了狗,记住了蓝色又忘了红色。这对用户来说无疑是糟糕的体验,凭什么要为了新概念牺牲旧概念?
新方案:持续可定制扩散系统
为解决这些问题,新研究开发了一种持续可定制扩散系统,重点在于增量学习。你可以认为,它给模型装了个“记忆扩展器”,在吸收新概念的同时,不会把旧概念冲刷掉。这算是目前对个性化概念持续学习最直接的尝试。
这项系统的工作原理可以归纳为几个关键步骤:
没错,这样一来,用户就能逐步构建属于自己的动态概念库,从一只猫到一只猫加一只狗,再到更多。这难道不是AI真正走向“个性化”的关键一步吗?
这项研究目前以预印本形式出现在arXiv上,编号2606.04797。它提示咱们,扩散模型的个性化不应该是一次性的定制,而是一个可持续的、不断丰富的过程。未来,这种“概念增量定制”恐怕会成为AI应用的主流玩法。