失智症影响着全球数百万人，并对个人参与日常活动的能力构成挑战。积极的生活对于减轻痴呆症的神经退行性影响至关重要，但失智症患者往往难以独立发起和完成任务。
现代技术提供了有希望的解决方案，帮助他们参与积极生活活动，并通过提示提高他们的生活质量。其中，混合现实（Mixed Reality, MR）技术在改善失智症患者即时感知和行动能力方面的有着巨大潜力。
本文研究旨在更好地理解失智症患者在混合现实环境中成功和正确感知提示的方式。通过观察失智症患者与四种混合现实技术的互动，探究他们对不同类型提示（视觉、声音）的感知和反应，以期为混合现实技术在失智症辅助技术中的应用提供科学依据（Desai et al., 2024）。
失智症患者该如何重建生活？
失智症是一种全球性健康问题，据阿尔茨海默病国际组织统计，全球有超过5500万人患有失智症，预计到2050年这一数字将增至1.39亿。失智症早期以轻度认知障碍和认知功能中度下降为特征，表现为工作表现下降、记忆力减退、注意力不集中、解决问题和管理复杂任务困难等。这些症状进一步恶化，会影响日常沟通和活动。
而积极生活可以通过促进失智症患者与更大社区的联系，并帮助他们管理身心健康来实现。这些活动应结构化和计划化，以匹配失智症患者的需求、能力和病程。例如，日常活动应包括购物、烹饪和家务等；轻度失智症患者可参与轻度家务、整理、洗涤和准备冷食；晚期失智症患者则可参与享受食物和饮料、味觉和嗅觉等活动。
混合现实技术的辅助潜力
神经心理康复方法通过适应环境和失智症患者的行为来提供提示。例如，看护者常用胶带封住微波炉上的数字键，以便失智症患者知道按哪些数字来加热食物。认知假肢方法则侧重于增强患者的能力，而不是由看护者或技术代替患者完成任务。
而随着传感器和可穿戴技术的发展，混合现实技术（Mixed Reality, MR）有望变得更加普及。该技术通过在虚拟和物理世界之间提供沉浸式体验，为失智症患者提供了可扩展的辅助工具，并可根据不同应用、行为和情境进行编程，从而提高其可扩展性。主要通过增强现实（AR）和增强虚拟（AV）两种方式，将虚拟元素融入物理世界或将物理对象融入虚拟世界。
通过理解失智症患者如何感知和响应混合现实技术中的提示，可以为设计更加用户友好、直观的辅助技术提供指导，从而提高失智症患者的生活质量。
在混合现实中与不同提示的交互行为
本研究采用设计研究（Research through Design, RtD）方法，通过观察研究了解失智症患者与混合现实技术的互动。
共招募22名患有阿尔茨海默病（AD）和轻度认知障碍（MCI）的失智症患者，通过蒙特利尔认知评估（MoCA）工具评估其认知功能，然后患者分别在四天与四种混合现实技术，即AR技术（Microsoft HoloLens、Apple Arkit；图1、2）和AV技术（Tangible Play Osmo、Microsoft Xbox Kinect；图3、4）进行互动游戏。
图1 飞行松鼠游戏
图2 搭积木游戏
图3 七巧板游戏
图4 保龄球游戏
采用游戏作为与失智症患者互动的方式，因为游戏能够创造响应性环境，允许参与者自然地与技术互动。游戏的选择考虑了失智症患者的兴趣和能力，确保他们在不受时间限制的情况下自由探索。
整个过程中使用诺达思的行为观察分析系统（The Observer XT）进行行为观察分析，系统地编码和分析视频中的特定行为，从而量化失智症患者在与混合现实技术互动时不同类型提示的感知和响应情况。
研究者对视频记录进行了主题分析，主要关注技术呈现的提示和被试的动作和手势。通过计算每种提示类型被成功感知的概率，评估不同类型提示的有效性。
首先，研究者编制了编码方案（表1），主要包括技术呈现的提示（视觉提示、声音提示和研究者干预）和被试的动作/手势（言语响应、身体动作、凝视、手势和触摸屏交互）。随后在The Observer XT中以此标记出技术呈现的提示和被试的响应动作，最后用以计算失智症患者成功感知提示的次数，以及每种提示类型被成功感知的概率。
表1
不同提示类型的即时感知概率
结果分析如下（图5）：
（一）听觉提示的感知
人类语音作为提示最容易被感知，因为它是一种自然的交互方式，与看护者和家庭成员的指令相似，而卡通人物的声音和音调音色则较难理解。目前，虚拟AI助手在失智症患者家中已被试用，并显示出有效性。然而，未来研究需评估这些技术中对话的质量和性质。
（二）视觉提示的感知
符号和图形提示最容易被失智症患者感知，而动画符号和图形则较难理解。形状提示的感知成功率适中，而闪烁的视觉元素则最难被感知。文本提示非常有效，但需避免使用复杂语言和隐喻。
（三）动作与手势
非语言形式的交互（如手势）比需要语言和语义认知处理的交互更有效。对失智症患者动作的反馈提示具有很高的感知成功率，有助于减少认知负荷。失智症患者能够成功地使用不熟悉的手势与混合现实技术互动。
图5 成功感知提示的概率聚类条形图
提高感知率的设计指南
本研究发现，人类语音、图形符号和文本提示是失智症患者在混合现实环境中最容易成功感知的提示类型。反馈提示对于提高感知成功率至关重要。这些发现为设计失智症患者的混合现实提示提供了科学依据。
基于研究结果，提出以下设计建议：
- 使用人类语音：作为主要的提示方式，因为它自然且易于理解。
- 简化视觉提示：避免使用复杂的图形和动画，使用直观且易于理解的符号和图形。
- 提供反馈：对失智症患者的每个动作提供反馈，以减少认知负荷并提高感知成功率。
- 考虑非语言交互：利用手势等非语言形式的交互，以提高失智症患者的参与度和自主性。
未来研究可进一步评估不同提示组合的效果，并可以根据失智症患者的个体差异（如认知障碍程度、兴趣爱好）开发个性化的提示系统。此外，可以进行长期效果评估，进一步探究辅助技术对失智症患者生活质量、认知功能和自主性的长期影响。
参考文献
Desai, S., Mutsuddi, R., & Astell, A. J. (2024). Enhancing prompt perception in dementia: a comparative study of mixed reality cue modalities. Frontiers in Sports and Active Living, 6, 1419263.
关注诺达思公众号，联系我们获取更多产品信息及学术文章！
