Memento: Augmenting Personalized Memory via Practical Multimodal Wearable Sensing in Visual Search and Wayfinding Navigation

作者: Indrajeet Ghosh, Kasthuri Jayarajah, Nicholas Waytowich, Nirmalya Roy 发表: 2025-04-28

摘要

工作记忆涉及信息在短时间内的临时保留，是人类执行各种在线处理任务（如拨打电话号码、回忆放错位置的物品位置或在商店中导航）的关键认知功能。然而，个体保留信息的能力有限，常常导致忘记重要信息。本文提出 Memento，一种通过实用多模态可穿戴传感增强个性化记忆的系统，专注于视觉搜索和寻路导航场景。

核心貢獻

1. 多模态可穿戴记忆系统: 整合视觉、动作和位置传感，构建多模态个人记忆
2. 视觉搜索记忆增强: 帮助用户记忆物品位置，通过可穿戴设备提示回忆
3. 寻路导航记忆: 在导航场景中整合空间记忆和视觉信息
4. 实践感知设计: 基于实际可穿戴设备设计，非实验室原型
5. 遗忘补救机制: 当用户遗忘时，通过多模态提示帮助恢复记忆

為什麼重要

可穿戴设备是个人记忆系统的天然载体——它们持续感知用户环境和行为，可以构建比手机更丰富的个人记忆。Memento 展示了可穿戴记忆系统在日常生活场景（找东西、导航）中的实际价值。

與端側/移動端相關性

1. 可穿戴原生: 专为智能手表、AR 眼镜等可穿戴设备设计
2. 端侧处理: 多模态感知在本地处理，保护用户隐私
3. 实时提示: 可穿戴设备提供实时记忆提示，无需掏出手机
4. 低功耗传感: 使用节能传感模式，适合可穿戴设备续航约束
5. AR 集成: 可与 AR 眼镜集成，提供视觉记忆增强