Replay-Based Continual Learning for Physics-Informed Neural Operators

论文信息¶

标题: Replay-Based Continual Learning for Physics-Informed Neural Operators
arXiv ID: 2605.04832
发表日期: 2026-05-06
作者: Yizheng Wang, Mohammad Sadegh Eshaghi, Xiaoying Zhuang, Timon Rabczuk, Yinghua Liu
方向: 持续学习 · 灾难性遗忘 · 物理信息神经网络

摘要（翻译）¶

神经算子（Neural Operators）在分布内（ID）问题上通常表现出色，但当遇到分布外（OOD）数据时存在严重的性能下降问题。为解决此问题，本工作将持续学习引入物理信息神经网络，特别是在基于 Transolver 架构的神经算子上提出了一个简单而有效的基于重放的持续学习策略。

该方法完全遵循物理约束，不需要标注数据，仅依赖输入场和物理约束进行训练。当新的 OOD 数据出现时，通过基于蒸馏的约束将少量过去数据纳入，以保留先前获得的知识并缓解灾难性遗忘。同时，采用迁移学习 LoRA 实现对新数据的快速适应。

该框架在三个代表性物理问题上进行了系统验证：流体力学中的 Darcy 流问题、生物力学中的二维超弹性脑肿瘤问题、以及固体力学中的三维线性弹性三周期极小曲面（TPMS）问题。结果表明，该方法有效缓解了对先前学习数据的灾难性遗忘，同时保持了对新数据的快速适应性。与传统联合训练策略相比，该方法显著提高了训练效率，同时减少了额外的内存占用和计算成本。

核心贡献¶

首个物理信息神经算子持续学习框架: 首次将持续学习引入物理信息神经网络领域，针对神经算子的 OOD 适应问题提出系统性解决方案。
蒸馏约束重放策略: 在不完全保留原始数据的情况下，通过蒸馏约束将少量历史数据纳入训练，有效平衡旧知识保留与新知识获取。
LoRA 快速适应机制: 引入迁移学习 LoRA 适配器，实现新数据的快速适应而不遗忘先前学习的物理先验。
跨物理领域验证: 在流体力学、生物力学、固体力学三个领域验证了方法的有效性，证明了框架的通用性。
计算效率提升: 相比联合训练，显著降低内存占用和计算成本，适合资源受限场景。

为什么重要¶

物理信息神经网络（PINNs / Neural Operators）在科学计算领域变得越来越重要，但这些模型在遇到新的分布外数据时会出现严重的性能退化。本工作首次系统性地将持续学习引入这一领域，为构建能够持续学习新物理规律的神经网络提供了理论基础和实践方案。

对于 Agent 记忆系统的启发： - 遗忘机制的工程化: 该工作展示了如何通过精心设计的重放策略在"保留"与"适应"之间取得平衡，对 Agent 记忆的压缩与遗忘策略有直接参考价值 - LoRA 与记忆整合: 使用 LoRA 进行快速适应的方法与 Agent 记忆系统中通过适配器扩展记忆能力的思路一致 - 多物理域泛化: 跨流体力学/生物力学/固体力学的验证表明，持续学习方法具有良好的跨任务迁移能力

与移动端/端侧相关性¶

该方法对端侧部署有一定参考价值： - 内存效率: 通过选择性重放而非存储全部历史数据，降低了内存占用 - LoRA 轻量化适配: LoRA 的引入使得模型可以在不增加大量参数的情况下适应新任务 - 计算成本降低: 相比联合训练降低了计算开销

局限性: 该工作主要面向科学计算场景，直接的端侧移动 Agent 应用场景关联度有限，但其持续学习策略设计具有通用参考价值。

参考文献¶

Transolver (物理信息神经算子基础架构)
LoRA (低秩适配)
物理信息神经网络 (PINNs)
蒸馏式持续学习 (Distillation-based Continual Learning)