作者身份漂移：LLM辅助写作中自我效能感与信任的演变

文献标题

Authorship Drift: How Self-Efficacy and Trust Evolve During LLM-Assisted Writing

出版信息

• 主题领域: 用户心理动态与LLM辅助写作中的作者身份。
• 关键词: 大型语言模型、自我效能感、信任、作者身份、人机协作、提示策略、用户行为、写作辅助、能动性、所有权。

背景与问题

• 问题 / 挑战: LLM辅助写作模糊了作者身份的界限，可能削弱用户的能动性和所有权感。现有研究通常将自我效能感和信任视为静态构造，未能捕捉它们在多轮交互中的动态演变。
• 重要性: 理解自我效能感和信任的演变对于在LLM辅助写作中维护用户的作者身份和能动性至关重要，这对教育、创造力以及人机协作具有深远影响。
• 动机与相关工作: 先前研究表明LLM在提高生产力和创造力方面的优势，但尚未系统探讨用户的自我效能感、信任与作者身份之间的动态关系。本论文通过分析这些构造在交互轮次中的变化及其行为关联来填补这一空白。

解决方案

• 提出的方法: 通过对302名参与者的实证研究，分析在LLM辅助的论证性写作任务中，自我效能感和信任的逐轮动态变化，以及它们与提示策略和作者身份结果的关联。
• 创新点:
  1. 对LLM辅助写作中自我效能感和信任轨迹的实证特征化。
  2. 识别自我效能感模式、提示策略与作者身份结果之间的关系。
  3. 提出支持用户作者身份的人机协作设计启示。
• 流程与关键技术:
  1. 参与者完成使用LLM的论证性写作任务，并在每轮交互后提供自我效能感和信任评分。
  2. 提示根据意图分类（如起草、编辑、审阅）。
  3. 自我效能感和信任的轨迹被分类为不同模式（如稳定、下降、恢复）。
  4. 实际作者身份通过词汇重叠和语义相似性测量，感知作者身份通过后续调查中的所有权和能动性评分评估。

结果

• 具体发现:
  • 自我效能感在交互轮次中普遍下降（−0.115分/轮），而信任则增加（+0.111分/轮）。
  • 自我效能感下降的用户更多依赖编辑提示，表现出较低的实际和感知作者身份。
  • 自我效能感恢复与审阅提示的使用增加以及中等作者身份结果相关。
  • 信任的增加更常见于初始信任较低的用户，并与信息搜索提示相关联。
• 相较基线的优势: 本研究提供了自我效能感和信任的动态逐轮分析，揭示了静态前后测量无法捕捉的细微模式。
• 实验 / 评估:
  • 通过Prolific招募302名参与者，筛选英语熟练度和近期LLM使用经验。
  • 评估指标：自我效能感和信任的Likert量表评分、提示类别比例、词汇重叠、语义相似性以及后续调查中的作者身份评分。
  • 统计分析：混合效应模型、Kruskal-Wallis检验和事后比较。
• 局限性与未来工作:
  • 自我报告评分可能影响自然交互模式。
  • 研究仅限于单次交互，未探索纵向效应。
  • 仅针对一种LLM配置，未来研究应考察多样化的系统和用户群体。

摘要

本文研究了自我效能感和信任在LLM辅助写作中的演变，发现自我效能感在交互轮次中趋于下降，而信任则增加。自我效能感下降的用户更多依赖编辑提示，表现出较低的作者身份；而自我效能感恢复的用户倾向于参与审阅导向的交互，并表现出中等的作者身份结果。信任的增加与信息搜索行为相关，尤其是在初始信任较低的用户中。这些发现突出了自我效能感和信任的动态特性，强调了通过反思性交互和校准信任来支持用户作者身份的系统需求。未来工作应探索纵向动态以及对用户感知的更少干扰的测量方法。