DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models¶

论文基本信息¶

arXiv ID: 2605.07494
发表日期: 2026-05-08
作者: Mengxin Qin, Xiang Zhang, Xi Wang, Kun Wei, Xu Yang
研究领域: cs.CV，持续学习，灾难性遗忘，混合专家

摘要（翻译）¶

持续学习使视觉-语言模型能够积累知识并适应不断变化的任务，而无需从头重新训练。然而，在多域任务增量学习中，大的域迁移加剧了稳定性-可塑性困境。大多数现有方法依赖具有静态分配参数的固定架构，这限制了对新域的适应并加剧了灾难性遗忘。为应对这些挑战，我们提出 DIMoE-Adapters，一个动态增量混合专家适配器框架，引入动态专家进化范式来平衡稳定性和可塑性。该范式通过两个协同组件实现：自校准专家进化（SCEE）和原型引导专家选择（PGES）。SCEE 通过专家优化动态构建和进化稀疏专家池，提高可塑性同时减少冗余容量。PGES 基于 SCEE 塑造的池控制专家利用，提高对已见和未见任务的稳定性。大量实验表明 DIMoE-Adapters 在各种设置下优于先前最优方法。

核心贡献¶

动态专家进化范式: 首次在持续学习中引入动态专家进化，通过稀疏专家池动态适应新任务
自校准专家进化（SCEE）: 通过专家优化动态构建和进化稀疏专家池，提高可塑性同时减少冗余容量
原型引导专家选择（PGES）: 基于原型知识控制专家激活，提高跨任务稳定性
平衡稳定性-可塑性: 两个组件协同工作，在学习新任务和保留旧知识之间取得平衡
多域泛化: 在多域任务增量学习场景中展示优越性能

为什么重要¶

视觉-语言模型的持续学习对多模态智能体至关重要。传统方法使用固定架构，无法适应新域的分布迁移。本文提出的动态专家进化机制使模型能够在保留先前知识的同时，快速适应新任务。这为构建能在移动端持续学习和进化的多模态智能体提供了新思路。

与移动端/端侧相关性¶

稀疏激活: 稀疏专家池只激活相关专家，减少端侧计算量和内存占用
本地增量更新: 可在移动设备上本地进行专家池扩展，无需全量微调
参数共享: 多专家共享部分参数，减少存储开销
原型引导: PGES 使用原型压缩知识，适合存储受限的端侧设备