LLooM：编织语言技术故事与探究体验

文献标题

LLooM: Weaving Stories and Probing Experiences of Language Technologies

出版信息

• 主题领域: 人机交互（HCI）以及用于研究语言技术体验的探针设计。
• 关键词: LLooM, 女性主义HCI, 探针设计, 讲故事, 语言技术, 自然语言处理（NLP）, 集体意义建构, 对齐, 价性, 参与式设计。

背景与问题

• 问题/挑战: 现有评估语言技术的方法通常将用户体验简化为技术指标或单一的成功概念，未能捕捉交互中情境化、多元化和矛盾的特性。
• 重要性: 语言技术（如语音助手、聊天机器人和大型语言模型）调节交流并影响社会意义。理解其影响需要能够反映多样化和复杂用户体验的方法。
• 动机与相关工作: 先前关于探针、讲故事和女性主义HCI的研究探索了主观和批判性的方法进行用户研究。然而，这些方法通常缺乏让参与者挑战或重塑研究框架的机制。本文基于这些传统以弥补这一空白。

解决方案

• 提出的方法: LLooM，一种通过讲故事和纺织编织捕捉语言技术用户体验的引导式集体探针。
• 创新点:
  1. 引入方法论协商，使参与者能够批判并重塑研究框架。
  2. 通过参与者贡献的可见累积支持集体意义建构。
  3. 在探针设计中实现女性主义HCI原则，包括多元化、参与性和自我披露。
  4. 将材料制作与讲故事相结合，激发情境化和反思性的叙述。
• 流程与关键技术:
  1. 参与者反思与语言技术的交互。
  2. 在织物条上写下一个简短的故事，并选择颜色表示对齐情况（蓝色表示不对齐，黄色表示对齐）。
  3. 将织物条编织到两个织机之一，分别代表正面或负面价性。
  4. 引导式对话和贡献的可见累积促进反思和集体解读。

结果

• 具体发现:
  • 56名参与者在为期六小时的部署中参与了LLooM。
  • 参与者通过引导式对话重新解读体验、合并类别或批判对齐-价性框架。
  • 集体贡献揭示了模式、矛盾和共同关切，例如跨语言背景中对自动校正的不同体验。
  • 材料选择支持选择性披露，使参与者能够控制其贡献的可见性。
• 相较基线的优势: LLooM通过使参与者能够影响研究方法论并通过材料累积促进集体意义建构，扩展了传统探针的功能。
• 实验/评估:
  • 在一个公共科学节上对多样化的参与者进行部署。
  • 数据通过参与者贡献、现场笔记和反思性主题分析收集。
  • 引导式互动和可见贡献支持了方法论协商和集体解读。
• 局限性与未来工作:
  • 由于短期公共环境，参与深度有限。
  • 参与者无法引入超出对齐-价性框架的新分析类别。
  • 精英机构背景可能排除了边缘化群体。
  • 未来工作应探索社区主导的环境、更长时间的部署，以及让参与者定义新评估维度的机制。

总结

LLooM是一种新颖的探针，通过讲故事和纺织编织捕捉语言技术的情境化和矛盾体验。它使参与者能够协商研究框架并参与集体意义建构，实现了多元化和自我披露等女性主义HCI原则。在科学节上与56名参与者的部署中，LLooM揭示了材料和引导式互动如何浮现方法论批判和共享的体验模式。未来的迭代应探索更具包容性的环境，并允许参与者引入新的分析类别。