AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition
论文基本信息¶
- 作者: Zeheng Wang, Zitong Yu, Yijie Zhu
- 方向: 多模态情感识别、多智能体检索增强
- 应用: 情感计算、多模态理解
研究背景与问题¶
基于 LLM 的多模态情感识别依赖静态参数记忆，在处理细微情感状态时容易产生幻觉。当前的单轮检索增强生成极易受到模态歧义的影响，难以捕捉跨模态的复杂情感依赖关系。
核心方法：AffectAgent¶
AffectAgent 是一个面向情感的多智能体检索增强生成框架，利用智能体间的协作决策：
- 情感导向的多智能体协作：多个专业智能体分别处理不同模态的信息
- 跨模态歧义消解：通过协作推理解决模态间的冲突和歧义
- 情感依赖建模：显式建模跨模态的情感依赖关系
核心贡献¶
- 情感专用多智能体框架：首个将多智能体协作引入多模态情感识别的框架
- 检索增强的情感推理：通过外部记忆增强情感推理的准确性
- 跨模态协作决策机制：有效整合视觉、语言等多模态信息
为什么重要¶
情感识别是人机交互的关键能力，但现有方法在跨模态复杂场景下表现有限。AffectAgent 证明了多智能体协作可显著提升多模态情感识别的准确性，为构建更具情感智能的 Agent 系统提供了新思路。
与端侧/移动端的相关性¶
情感识别在移动端智能助手、可穿戴设备等场景有重要应用。多智能体协作框架的模块化设计便于在端侧部署，针对特定情感识别任务进行定制优化。
参考文献¶
- 原文: arXiv:2604.12735