Anytime PAC-Bayes: Constrained Density-Ratio with CL Guarantees — arXiv:2605.17212
摘要¶
本文提出了一个面向协变量漂移（covariate shift）学习的统一框架，其中约束密度比网络（constrained density-ratio network）近似 Radon-Nikodym 导数 $r^ = dP/dQ$，支持重要性加权经验风险，并馈入一个 anytime PAC-Bayes泛化证书。通过变化率恒等式，将目标风险与重要性加权源风险之间的差距分解为：比值偏差项（由学习比值与 $r^$ 的 $L^2(Q)$ 接近程度控制）和泛化差距项（由加权损失的变异性控制）。三个结构恒等式——归一化、矩匹配和二阶矩惩罚——通过增广拉格朗日方案作为硬积分约束施加。PAC-Bayes 在固定时间体制下实例化为伯努利-KL 界限，在 anytime 体制下通过跨 epoch 的几何剥皮构建时间均匀证书。
核心贡献¶
- 密度比估计 + PAC-Bayes 统一框架：首次将密度比估计与 PAC-Bayes 泛化界结合，同时解决协变量漂移下的学习和持续学习保证问题
- 约束密度比网络：通过归一化、矩匹配、二阶矩惩罚三个硬约束保证学习比值的统计特性，用增广拉格朗日方法实施
- Anytime 泛化证书：构建时间均匀的 PAC-Bayes 界，突破传统固定时间证书的局限性，为模型提供随训练推进持续更新的泛化保证
- 难度自适应：根据学习任务的难度动态调整，在简单任务上快速收敛，在困难任务上保持谨慎
为什么重要¶
持续学习的一个核心问题是：当数据分布随时间漂移时，如何保证模型既能适应新分布又不遗忘旧知识。传统方法缺乏严格的泛化保证。本文通过 PAC-Bayes 框架提供了可验证的持续学习稳定性保证——无论数据分布如何变化， anytime 证书都能追踪模型的真实泛化误差。这对医疗诊断、金融预测等需要严格不确定性量化的端侧应用尤为重要。
实验结果¶
论文通过预注册的双阶段协议验证：在解析ground truth的patch test和真实数据部署两种场景下，密度比网络均产生校准的协变量比，在目标0/1损失上优于未加权ERM和经典直接比值估计基线，并按承诺达到 anytime 证书。
与移动端/端侧的相关性¶
PAC-Bayes 框架提供严格的不确定性量化，适合资源受限的端侧部署。Anytime 特性意味着证书可随设备上的持续学习不断更新，为端侧终身学习提供可验证的安全性边界。约束密度比网络通过增广拉格朗日训练，计算开销可控，适合移动端推理场景。
参考文献¶
Enabe, P. A. F. (2026). Anytime and Difficulty-Adaptive PAC-Bayes for Constrained Density-Ratio Network with Continual Learning Guarantees. arXiv:2605.17212.