HCI中LLM集成系统的报告与评审：挑战与考量

文献标题

Reporting and Reviewing LLM-Integrated Systems in HCI: Challenges and Considerations

出版信息

• 主题领域: HCI研究中关于LLM集成系统的报告和同行评审挑战。
• 关键词: HCI, LLM集成系统, 同行评审, 报告标准, AI不确定性, 技术评估, 透明性, 可重复性, 伦理问题, 跨学科冲突。

背景与问题

• 问题/挑战: LLM集成系统在HCI研究中的兴起导致报告和评审标准的不确定性，进而引发了不一致且常常持怀疑态度的同行评审实践。
• 重要性: 解决这些挑战对于确保公平评估、促进创新以及维护作者与评审者之间的信任至关重要。
• 动机与相关工作: 之前的研究已经指出了报告指南的缺乏、专有模型的伦理问题以及HCI与ML/NLP评审规范之间的紧张关系。本论文基于这些洞察，调查了作者和评审者的经验，并提出了改进报告和评审实践的考虑因素。

解决方案

• 提出的方法: 为作者、评审者以及HCI社区提供一套应对LLM集成系统报告和评审挑战的考虑因素。
• 创新性:
  1. 识别LLM不确定性对HCI系统研究提出的独特挑战。
  2. 提供关于作者报告策略和评审者期望的实证洞察。
  3. 提出在透明性、可重复性和实际约束之间寻求平衡的建议。
  4. 提议促进跨学科理解并建立特定会议的指南。
• 程序与关键技术:
  • 对18位撰写LLM集成系统论文的作者进行了访谈，并使用主题分析法分析他们的经验。
  • 将研究结果综合为可操作的报告和评审实践考虑因素。
  • 通过6位资深HCI研究人员的反馈验证建议。

结果

• 具体发现:
  • 作者在同行评审中面临更严格的审查和不一致的标准，通常需要为使用LLM进行辩护并提供详尽的技术评估。
  • 评审者要求更多的透明性和严谨性，包括报告提示、失败模式和系统架构。
  • 作者采取策略，如在论文框架中弱化对LLM的强调，以及出于实际原因使用专有模型，尽管存在伦理问题。
• 相较基线的优势:
  • 提供了关于报告LLM集成系统挑战的细致洞察，填补了现有指南的空白。
  • 提出针对HCI独特价值观和方法的实用考虑因素。
• 实验/评估:
  • 对18位参与者进行了访谈研究，并补充了评审、反驳以及6位资深HCI研究人员的反馈。
  • 分析了CHI和UIST等HCI会议中的报告实践和同行评审动态。
• 局限性与未来工作:
  • 参与者招募可能存在选择偏差；缺乏资深学者和行业研究人员的视角。
  • 依赖参与者的回忆以及有限的初始评审材料。
  • 未来工作可以探索LLM组件工程的标准化报告框架和工具。

总结

本论文研究了HCI研究中LLM集成系统报告和评审的挑战，重点分析了不确定性、透明性和跨学科冲突问题。通过对作者和评审者的访谈，识别了重新建立信任的策略，并提出了改进报告实践和同行评审标准的考虑因素。研究结果强调了需要制定平衡透明性、可重复性和实际约束的细致指南，同时促进跨学科理解。这些贡献旨在支持HCI社区应对LLM集成系统研究的复杂性。