SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning¶

论文基本信息¶

arXiv ID: 2605.07420
发表日期: 2026-05-08
作者: Fengqiang Wan, Yipeng Lin, Kan Lv, Yang Yang
研究领域: cs.LG，持续学习，灾难性遗忘，参数高效微调

摘要（翻译）¶

具有参数高效微调（PEFT）的预训练模型在类增量学习（CIL）中展现了良好潜力，但在适应新任务时灾难性遗忘问题仍然存在。本文从层间关系漂移的角度对灾难性遗忘进行分析，即在新任务学习过程中逐层表示之间关系的逐步破坏。我们从理论上证明，这种漂移的增加会降低先前任务的分类边界，从而降低整体模型性能。为解决这一问题，我们提出 SR$^2$-LoRA，一种通过约束层间关系漂移来缓解灾难性遗忘的简单有效方法。具体而言，SR$^2$-LoRA 在当前任务样本上构建前后模型诱导的关系矩阵，并对相应奇异值进行对齐。我们进一步从理论上证明，这种对齐比直接逐元素对齐对估计扰动具有更强的鲁棒性。在标准 CIL 基准上的大量实验表明 SR$^2$-LoRA 有效缓解了灾难性遗忘，且随着任务数量增加优势更加明显。

核心贡献¶

层间关系漂移视角: 首次从层间关系角度分析灾难性遗忘，揭示了逐层表示之间的关系破坏是遗忘的深层原因
关系矩阵奇异值对齐: 通过对齐前后模型在当前任务样本上的关系矩阵奇异值来约束漂移
理论保证: 证明奇异值对齐比逐元素对齐对估计扰动更鲁棒
参数高效: 基于 LoRA 的方法只更新少量参数，适合资源受限环境
可叠加性: 随着任务数增加优势更显著，适合长序列任务学习

为什么重要¶

灾难性遗忘是智能体持续学习的核心障碍。现有方法多从参数范数或正则化角度入手，本文创新性地从层间关系几何结构出发，建立了关系漂移与分类边界之间的理论联系。这一视角为理解智能体记忆遗忘的机制提供了新思路，SR$^2$-LoRA 的简洁有效设计也便于在实际智能体系统中部署。

与移动端/端侧相关性¶

LoRA 极低参数量: 只训练少量低秩矩阵，存储和计算开销极小，适合端侧
奇异值对齐高效: 奇异值对齐计算量远小于逐元素对齐，适合移动端
抗干扰强: 对估计误差鲁棒，适合边缘设备上不稳定的学习场景
叠加学习: 新任务只需增加少量参数，旧任务记忆被保留，适合长期端侧使用