CMKL: Modality-Aware Continual Learning for Evolving Biomedical Knowledge Graphs¶

论文信息¶

arXiv ID: 2605.10510
发表日期: 2026-05-11
作者: Yousef A. Radwan, Yao Li, Qing Qing et al.
方向: 持续学习 / 知识图谱 / 多模态
开源: github.com/yradwan147/cmkl-neurips2026

摘要（英译中）¶

生物医学知识图谱正变得日益庞大、动态和多模态，受高通量测序等生物技术快速发展的推动。机器学习模型可以推断这些图中先前未观察到的生物医学关系并表征生物医学实体，但现有知识图谱嵌入方法及其持续学习扩展要么假设静态图结构，要么在数据分布演变时无法利用多模态信息。它们还在所有模型参数上应用统一正则化，忽略了不同模态在图演变时可能表现出不同的遗忘动态。

作者提出 CMKL，一种用于生物医学 KG 的持续多模态知识图谱学习器，原生编码结构、文本和分子，通过专家混合（MoE）路由器融合，并使用标准 EWC 正则化和 K-means 多样性多模态回放缓冲区保护先前学到的知识。

在包含 10 个任务的 129K 实体生物医学持续基准上评估，CMKL 在持续生物医学实体分类上达到 AP 0.591，对比最强结构基线的 0.370，获得 60% 的提升，这一提升由多模态特征驱动，并在整个序列中保持近乎零遗忘（AF 0.008）。在持续关系预测上，CMKL 达到 AP 0.062，与朴素序贯和 EWC（0.058）在种子噪声内相当，优于联合训练（0.047）和 LKGE（0.039）。冻结文本消融达到 AP 0.136，优于所有联合训练模型，但该信号无法通过边际排序梯度达到——贪婪-模态不对称性存在于表征层面而非融合层面，MoE 路由通过抑制不可达模态而不强迫其通过学习的瓶颈来管理它。

核心贡献¶

多模态持续学习框架：原生编码结构、文本、分子三种模态
MoE 路由器：动态管理不同模态的遗忘动态，解决贪婪-模态不对称问题
K-means 多样性回放：保持回放缓冲区中样本的多样性
近零遗忘：AF 0.008 的极低遗忘率，60% 性能提升
生物医学基准：129K 实体、10 任务的真实场景评估

关键洞察¶

MoE 路由通过抑制不可达模态而不强迫其通过学习的瓶颈来管理模态间的遗忘动态差异。

不同模态在持续学习中有不同的遗忘特性——文本模态可能更容易保留，而分子模态更容易遗忘。MoE 路由器根据各模态的当前状态动态决定依赖程度。

为什么重要¶

真实场景验证：生物医学 KG 是真实的大规模多模态动态数据
多模态融合：解决了多模态持续学习的核心难题
实践价值：在持续设置中保持近乎零遗忘，同时获得 60% 性能提升

与端侧/移动端的相关性¶

多模态处理能力适合端侧多传感器融合场景
MoE 路由的动态性可适应端侧资源的动态变化
EWC + 回放的组合是端侧持续学习的可行范式

参考文献¶

原论文: https://arxiv.org/abs/2605.10510
代码: https://github.com/yradwan147/cmkl-neurips2026