Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

摘要¶

模型融合（Model Merging）将专门化知识整合到统一的多任务模型中，这一目标与持续学习（CL）中顺序知识获取自然契合。然而，保留多种形式先前知识的需求与 CL 固有的存储限制相冲突。本文系统分析了 CL 约束下现有模型融合方法，发现当前方法优先全局对齐，常导致任务特定误差在连续数据流中积累和放大；后续任务开始时的梯度消失也常使优化停滞。这些问题使融合模型在下一训练阶段开始时处于次优状态。为解决这些问题，本文提出 Trajectory Regularized Merging (TRM)，将融合阶段重新表述为扩展轨迹子空间中的优化过程，整合三个协同目标：任务对齐、预测一致性和梯度响应，同时保持融合模型的历史稳定性并重新激活优化动态。在多个基准上的广泛实验表明，TRM 达到了 SOTA 性能。

核心贡献¶

CL 约束下模型融合的系统分析：首次揭示全局对齐导致的误差积累问题和任务开始时的梯度消失问题
TRM 框架：在扩展轨迹子空间中进行融合优化，整合任务对齐、预测一致性、梯度响应三个目标
无存储依赖：不依赖样本存储（storage-free），避免隐私和存储开销问题
历史稳定性 + 优化动态重激活：同时保持旧知识稳定性并恢复新任务的学习能力
多基准 SOTA：在多个 CL 基准上达到最优性能

为什么重要¶

模型融合是近两年兴起的热门方向，被视为解决灾难性遗忘的潜在方案。但现有方法多假设可以存储所有历史数据或模型，在真实 CL 场景（受限存储、隐私敏感）中不适用。TRM 填补了这一空白，首次在纯 CL 约束下（无样本存储）实现高效模型融合，对边缘 AI 和移动端持续学习有重要意义。

与端侧/移动端的相关性¶

无存储依赖：不需要保存历史数据或完整模型，直接在模型参数空间操作，适合存储受限的端侧设备
边缘 AI：边缘设备需要持续学习新任务但存储资源有限，TRM 的存储无关特性直接契合
隐私友好：不存储原始训练数据，满足数据最小化原则
多任务融合：在端侧运行多个专业化 Agent 模型时，可通过融合而非存储来实现知识复用

参考文献¶

TRM 框架：扩展轨迹子空间优化
三个协同目标：任务对齐、预测一致性、梯度响应
多基准验证： CIFAR-100、Permuted MNIST 等标准 CL 基准