跳转至

Sequential Learning and Catastrophic Forgetting in Differentiable Resistor Networks

论文基本信息

  • 作者: Maniru Ibrahim
  • arXiv: https://arxiv.org/abs/2605.01383
  • 领域: cs.LG, cs.NE

摘要

可微分物理网络为研究学习提供了一个简洁的环境，其中可训练参数与物理平衡约束的交互可以被分析。论文研究由基尔霍夫定律支配的可微分电阻网络中的顺序学习。虽然个体输入-输出映射可以通过边电导的梯度调节学习，但顺序训练冲突任务会产生灾难性遗忘。遗忘受任务冲突程度和新任务适应程度的控制。统一锚定和正则化策略可以减轻遗忘，但无法完全消除。

核心贡献

  1. Resistor Network Sequential Learning: 首个研究电阻网络顺序学习的工作
  2. Catastrophic Forgetting Analysis: 系统分析可微分物理网络中的灾难性遗忘
  3. Task Conflict × Adaptation: 遗忘受任务冲突和适应程度的控制
  4. Mitigation Strategies: 统一锚定和正则化策略减轻遗忘
  5. Physics-inspired CL Insights: 物理启发的持续学习洞察

研究背景与问题

可微分物理网络是研究学习的理想理论模型，因为学习过程与物理平衡约束的交互是透明的。电阻网络中的灾难性遗忘提供了一个简洁但有洞察力的研究场景。

核心方法

  1. Differentiable Resistor Network: 由基尔霍夫定律支配的可微分电阻网络
  2. Sequential Task Training: 在冲突任务上顺序训练
  3. Forgetting Measurement: 测量遗忘的程度和模式
  4. Anchoring Strategies: 统一锚定策略防止关键参数偏移

为什么重要

电阻网络作为理论模型揭示了灾难性遗忘的物理本质：任务冲突和适应程度的交互。这对理解更复杂的神经网络中的遗忘机制有理论指导价值。

与移动端/端侧相关性

  1. 物理启发的记忆设计: 电阻网络的正则化思想可用于设计更鲁棒的端侧持续学习
  2. 理论分析: 端侧 CL 系统设计需要理论指导
  3. 能量效率: 电阻网络与忆阻器等新型硬件有潜在关联