Multilingual Machine Unlearning Evaluation — arXiv:2605.14404

摘要¶

随着 LLM 越来越多地用于商业服务，它们带来隐私风险，例如敏感个人身份信息（PII）的泄露。对于在多语言语料库上训练的 LLM，多语言机器遗忘（MMU）旨在跨多种语言移除信息。然而，现有的 MMU 评估未能捕捉跨语言的信息分布，主要局限于每种语言评估协议的直接扩展。本文提出两个评估跨语言信息传播的指标：知识分离分数（KSS）和知识持久性分数（KPS）。KSS 衡量跨多种语言的总体遗忘质量，而 KPS 更具体地旨在评估不同语言对之间信息的一致移除。通过这些指标对各种遗忘方法在多语言设置下进行评估，并进行了综合分析。通过调查，本文提供了对 MMU 独有现象的洞察，并为 MMU 评估提供了新视角。

核心贡献¶

KSS（知识分离分数）：衡量跨多种语言的总体遗忘质量。
KPS（知识持久性分数）：评估不同语言对之间信息的一致移除。
多语言遗忘评估框架：填补了多语言场景下机器遗忘评估的空白。
跨语言现象洞察：揭示了 MMU 独有的现象和挑战。

为什么重要¶

记忆隐私的一个重要维度是跨语言遗忘。Agent 系统在多语言环境中运行时，需要确保敏感信息在所有语言中都被完全遗忘，而不仅仅是主要语言。KSS 和 KPS 为评估这一能力提供了标准化指标。

与移动端/端侧的相关性¶

全球化移动应用需要处理多语言用户数据，跨语言遗忘能力对端侧隐私保护至关重要。该工作为评估移动端多语言 LLM 的遗忘效果提供了理论基础和评估指标。