Hierarchical Dual-Subspace Decoupling for Continual Learning in Vision-Language Models¶

论文基本信息¶

arXiv ID: 2605.07512
发表日期: 2026-05-08
作者: Mengxin Qin, Xiang Zhang, Kun Wei, Xu Yang, Cheng Deng
研究领域: cs.CV，持续学习，灾难性遗忘

摘要（翻译）¶

类增量学习旨在持续获取新知识的同时保留已学信息，从而缓解灾难性遗忘。现有方法主要限制参数更新，但往往忽视其在高维空间中的结构性质。从子空间视角看，不同任务诱导的更新倾向于落在多个重叠的低秩子空间中，导致跨任务子空间干扰和严重遗忘。为解决这一问题，我们提出 HDSD，一个用于视觉-语言模型持续学习的层次化双子空间解耦框架。具体而言，HDSD 引入轻量级特征调制模块（FMM）将参数空间显式分解为通用子空间和任务特定子空间。基于此设计，开发了两个互补组件：通用融合模块（GFM）评估跨任务的相对参数变化并使用自适应阈值捕获稳定可迁移知识；层次化学习模块（HLM）通过奇异值分解（SVD）执行结构化参数分解，并使用缩放机制将更新约束在不同的子空间尺度内。这些设计共同减少子空间干扰和参数漂移。在常规基准上的广泛实验表明 HDSD 达到了最优结果。

核心贡献¶

子空间解耦视角: 首次从子空间角度分析持续学习中的任务间干扰，指出不同任务的参数更新倾向于落在多个重叠的低秩子空间中，导致跨任务干扰
轻量级 FMM: 引入特征调制模块将参数空间显式分解为通用和任务特定子空间
通用融合模块（GFM）: 评估跨任务相对参数变化，使用自适应阈值捕获稳定可迁移知识
层次化学习模块（HLM）: 通过 SVD 执行结构化参数分解，缩放机制约束更新在子空间尺度内
减少子空间干扰: 联合设计减少跨任务子空间干扰和参数漂移

为什么重要¶

持续学习是智能体记忆系统的核心挑战之一。当智能体需要学习新任务时，灾难性遗忘会导致其丢失对先前任务的记忆。本文从参数空间的几何结构出发，揭示了任务间干扰的深层机制（子空间重叠问题），为智能体的持续学习提供了新的理论基础和方法。视觉-语言模型的持续学习对多模态智能体尤为重要。

与移动端/端侧相关性¶

参数高效: FMM 轻量级设计减少可训练参数量，适合移动端部署
子空间约束: 层次化子空间分解计算量适中，适合资源受限设备
自适应阈值: GFM 自动判断知识稳定性，减少人工干预
多模态支持: 原生支持视觉-语言模型，适合移动端多模态智能体