告知未被告知者:使用AI驱动聊天机器人的在线知情同意阅读改进

对话式聊天机器人大语言模型(LLM)的人机协作研究伦理与开放科学

文献标题

Inform the Uninformed: Improving Online Informed Consent Reading with an AI-Powered Chatbot

文献信息

  • 主题领域: 人机交互(HCI)、AI聊天机器人、在线知情同意
  • 关键词: 知情同意, 会话代理, AI聊天机器人, 人工智能与人类交互, 权力动态

研究背景与问题

  • 发现的问题与挑战

    • 当前的知情同意过程未能有效保证参与者对表格内容的充分理解,导致参与者容易忽视重要内容,并因此面临潜在的风险。
    • 在线环境中缺少研究者的指导,使得参与者需要独自阅读表格,这会进一步降低知情同意的质量。
    • 虽然已有研究尝试通过简化语言、交互性等方式改善这个过程,但效果有限。
  • 重要性

    • 无法充分阅读和理解知情同意表的参与者可能面临健康风险、隐私权威胁以及自决权受限。
    • 信息不对称的权力动态可能会影响研究的有效性,并降低数据质量。
  • 研究动机与相关工作

    • 近年来,AI聊天机器人因其可扩展性与交互性成为一种潜在的解决方案,可以模拟线下研究者指导的体验。
    • 现有文献中少有关于用聊天机器人替代传统同意表格的研究,尤其是在研究其广泛影响方面。

解决方案

  • 方法与解决方案

    • 构建了AI聊天机器人 "Rumi",该机器人结合了基于规则与AI技术的混合系统。Rumi 能够逐节进行表格讲解、回答问题并收集同意结果。
    • 研究设计了一项包含三种风险等级的线上调查实验,以评估聊天机器人在知情同意过程中的整体效果。
  • 创新之处

    • 首次系统性地将AI聊天机器人与传统文档式同意过程进行了对比,评估其对参与者阅读体验、权力动态以及研究结果的影响。
    • 提出了一个混合型解决方案,兼顾基于规则的稳定性和AI问答模块的灵活性。
  • 实施步骤与关键技术

    1. 实验设计
      • 设置了两种条件(聊天机器人 vs 表单)以及三种风险等级(低、中、高)。
      • 使用主题为社会媒体使用问题的虚拟研究作为实验场景。
    2. 聊天机器人构建与训练
      • 使用 Juji 平台开发聊天机器人 "Rumi"。
      • 创建200+对问答对,并用GPT-3生成语言变体与补充答案。
      • 进行预测试以收集更多可能的问题类型。
    3. 数据收集与分析
      • 收集参与者的阅读行为、填写程序以及后续调查问卷的完成质量数据。
      • 使用结构方程模型和贝叶斯统计方法分析数据,评估研究假设的因果关系。

研究成果

  • 具体成果

    • 与传统表单相比,Rumi 显著提升了知情表格的阅读质量:
      • 回忆能力:参与者能更准确地回忆表格中的具体信息。
      • 理解能力:参与者更清晰地理解内容,正确处理风险信息。
    • 参与者对研究者的信任感与合作感增加,权力差距缩小。
    • 在后续问卷调查中,使用Rumi的参与者提供了更高质量、更具体的回答。
  • 与现有解决方案的比较

    • 相较于静态表单,Rumi 提供了更人性化的交互体验,使参与者更愿意投入时间与精力,以及主动提出问题。
    • 改善了研究者与参与者之间的信息不对称,降低了权力不对等带来的伦理隐患。
  • 实验或评估结果

    • 使用结构方程模型显示出聊天机器人通过优化参与者与研究者之间的权力动态来间接提高了研究数据质量。
    • 与传统表单相比,Rumi 更能激发参与者在开放式问答中的深层次信息披露。
  • 局限性与未来方向

    • 局限性:
      • 研究主要聚焦于低风险背景下的文本问卷,对复杂研究的适用性尚需进一步探索。
      • 机器人系统的具体设计(如语言风格)可能对结果有影响,但未加以区分。
      • 尚未充分应对新技术的“新颖效应”可能带来的偏差。
    • 未来方向:
      • 探讨更多元的高风险或复杂研究场景下的应用。
      • 研究如何实现聊天机器人针对不同参与者的个性化以及在伦理框架中的应用。
      • 扩展AI在日常数据共享和隐私同意中的适用性。

通过该研究,作者提出了一种具有前瞻性的方法,展示了AI聊天机器人能如何增强在线研究中的同意体验,并为创建更有效的知情同意机制提供了新兴的设计理念与技术实践路径。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/96432/2023

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3581252
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
对话式聊天机器人、大语言模型(LLM)的人机协作、研究伦理与开放科学
work
职业/产业
article
内容状态
已索引正文
hub
相关论文
2 篇相关论文