DiaryHelper：探索自动情境信息记录代理在激发日记研究中的应用

文献标题

DiaryHelper: Exploring the Use of an Automatic Contextual Information Recording Agent for Elicitation Diary Study

文献信息

• 主题领域: 人机交互、生成式人工智能在定性研究中的应用
• 关键词: 日记研究方法, 生成式AI技术, 语境信息,episodic memory, 用户参与

研究背景与问题

• 发现的问题或挑战:

  1. 引导参与者记录事件语境信息的传统方法存在局限性，例如日记条目可能不完整或模糊，影响参与者在后续访谈中的回忆能力。
  2. 当前的一些改进方式如使用外部设备记录（如相机、传感器），因设备成本与参与者负担问题对长期日记研究的可行性有限。

• 重要性: 语境信息在记忆唤起过程中至关重要，可提高定性研究的数据质量和洞察深度，但如何以低负担和高效率的方式捕获事件详情仍是挑战。

• 研究动机与相关工作:

  1. 根据episodic memory理论设计的系统可以优化记录过程与提高回忆质量。
  2. 用生成式AI技术自动捕获并补全语境信息，降低参与者负担，是一个值得探索的方向。

解决方案

• 提出的解决方案: 设计了一个自动化语境信息记录代理DiaryHelper，使用生成式AI技术帮助参与者捕获事件的时间、地点、情感、相关人员与活动等语境信息。

• 解决方案的创新:

  1. 集成生成式语言模型（GPT-3.5）与云服务（Microsoft Azure, Google Cloud）处理多模态数据。
  2. 提供轻量化的用户交互界面，从参与者的记录中推测并生成辅助回忆的语境信息。

• 实施步骤与关键技术:

  1. 系统设计: 选择五个基于episodic memory理论的语境维度（时间、地点、情感、人员、活动）。
  2. 多模态数据处理:
     • 使用云API分析图片、视频和音频中的信息。
  3. 生成语境信息: 利用大语言模型根据记录的日记数据预测可能的语境标签，并生成参与者可校对的备忘录。
  4. 用户交互设计: 提供Slack界面的集成，在参与者录入日记后自动生成可编辑的备忘信息表。

研究成果

• 具体成果:

  1. DiaryHelper能帮助参与者捕捉丰富且准确的语境信息，同时减轻记录负担。
  2. 提高了参与者的记录意愿与即时记录率，并促使他们使用更多种记录形式（图像、音频等）。
  3. 在回忆过程中，参与者能够更详细地重述记录事件，并提供了更多有意义的研究话题洞察。

• 与现有解决方案的优势:

  1. DiaryHelper的自动化语境信息记录显著减轻了参与者的负担，相比其他需要外部设备的解决方案更具成本效益与可扩展性。
  2. 系统具有高度互动性，能在情感标签等方面增强参与者的共情感与参与体验。

• 实验或评估结果:

  1. 实验数据显示，在采用DiaryHelper时，参与者记录的日记条目丰富度及详细度均较基线系统有显著提高（例如地点与情感维度的回忆提升）。
  2. DiaryHelper的预测准确度较高（如情感维度的F1分数达0.69），而人员维度识别更为出色（准确率达90%）。

• 局限性与未来方向:

  1. 当前系统对特定类型日记研究的适用性尚需进一步探索，例如特殊群体或高复杂性场景。
  2. 参与者年龄范围较窄（22-28岁）可能导致结果偏差，需要更广泛的群体评估。
  3. 系统在长时间日记研究中的表现、以及生成情境信息如何影响参与者的独立反思，有待进一步研究。
  4. 系统尚未支持物理对象数据的处理，未来可设计更丰富的多模态记录方式。