调查计算机科学研究人员如何与人工智能共同设计他们的合作写作体验
研究背景与问题
-
作者发现了哪些问题或挑战?
随着AI技术的发展,越来越多的智能写作助手被用于支持科学写作。然而,缺乏实证研究说明研究者如何在科学写作中与AI协作。特别是在涉及研究流程的复杂性和多种工具的使用时,这种协作如何开展尚不明确。此外,研究者面临的挑战包括写作工作流中断、对AI过度依赖,以及生成不准确或虚假的信息(如虚假引用)。 -
为什么这个问题很重要?
科学写作涉及多个迭代和非线性阶段,从思想形成到证据收集,再到文本的组织和表达。这是科学知识传播的核心工具,对准确性、原创性和伦理规范有着严格要求。理解人类与AI的写作协作方式不仅有助于开发更有效的写作助手,也能支持这些技术在科学领域的负责任使用。 -
研究动机与相关工作
作者受到之前关于AI在科学工作流中的潜力(例如生成内容和辅助文献综述)的研究启发,同时也继承了对AI造成干扰、虚假信息生成和写作技能退化的担忧。具体来看,在科学写作领域研究者如何“设计”自己的协作体验,以及如何利用现有智能写作助手的案例亟待深入挖掘。
解决方案
-
作者提出了哪些方法或解决方案?
作者采用了一种“使用中的设计(design-in-use)”视角,通过远程观察和半结构化访谈的方式研究了19位计算机科学研究人员如何与智能写作助手协作。他们分析了研究者在工作中如何调整写作助手以解决问题并满足个人需求。 -
该解决方案的创新之处是什么?
“使用中的设计”本质上将用户视为设计自己体验的积极参与者,而不是技术的被动消费者。作者揭示了研究者的自定义实践,包括教导、抵抗、重定义、协调和服从智能写作辅助工具的不同方式。这些实践体现了研究者如何利用AI辅助灵活适应迭代和复杂的写作过程。 -
实施步骤是什么?使用了哪些关键技术?
- 招募参与者:选择至少有一年研究经验,正在科学写作且定期使用智能写作助手的计算机科学研究者。
- 观察阶段:通过屏幕共享记录参与者正常写作过程中与智能助手的交互行为。
- 访谈阶段:进行半结构化访谈,以了解研究者对所使用工具的整体看法及具体应用场景。
- 数据分析:结合混合编码方法,通过归纳和演绎分析方式提取数据中的观察结果并验证分类方案。
研究成果
-
取得了哪些具体成果?
研究揭示了五种设计使用风格:教导(Teaching)、抗拒(Resisting)、重定义(Repurposing)、协调(Orchestrating)和服从(Complying),共14种具体实践。这些风格涵盖了如何通过工具组合优化写作工作流、抵抗AI生成内容的常见问题、以及如何利用AI工具支持需求。 -
与现有解决方案相比,它有哪些优势?
此研究第一次以远程田野观察的方式调查了研究者实际任务中的AI辅助写作行为,补充了之前仅通过问卷得到的用户反馈。同时,揭示了用户行为的复杂性,并捕捉了将工具组合与AI定制的实际策略。 -
实验或评估结果是什么?
发现以下趋势:- 研究者倾向于批判性地使用AI,避免直接采用AI生成的文本。
- 组合工具使用较普遍,例如将ChatGPT生成的初步文本通过Grammarly进行语法检查。
- 对AI辅助的优点包括提高写作效率、克服写作瓶颈和语言障碍;缺点包括写作流程中断及AI建议带来的质量问题。
-
局限性与未来方向
局限性:- 参与者样本偏重早期职业研究者且性别失衡,可能无法完全代表其他学术领域的情况。
- 研究集中在计算机科学领域,技术熟悉度较高的群体可能比其他领域研究者更批判地看待AI使用。
- 较短的观察时间可能限制了对深度交互的研究。
未来方向:
- 扩大参与者范围,尤其是不同学术背景和技术能力的研究者。
- 探讨写作助手在其他领域(如文学或社会科学)中的使用行为。
- 针对跨工具和协同设计开发新的集成生态系统。
- 深入研究用户与AI的伦理关系,解决文本原创性和隐私问题。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
研究问题
3- 研究者在科学写作中如何与智能写作助手协作?分类: 生成式写作与故事创作控制同类问题arrow_forward
- 在复杂的研究流程中,智能写作助手如何适配研究者的个性化需求?分类: 生成式写作与故事创作控制同类问题arrow_forward
- 研究者采用了哪些策略来定制、抵抗或优化智能写作工具的功能?分类: 生成式写作与故事创作控制同类问题arrow_forward
现实痛点
1- 研究者在科学写作中遭遇流程中断或AI生成错误内容的困扰。分类: 生成式写作与故事创作控制同类问题arrow_forward
- 67%
智能交互式写作助手的设计空间
CHI '24· 大语言模型(LLM)的人机协作 +2
- 67%
使用LLM同伴学习基于代理的建模:初学者和专家使用ChatGPT和NetLogo Chat的经验
CHI '24· 大语言模型(LLM)的人机协作 +1
- 67%
早期交互式机器学习的采样与搜索权衡
IUI '22· 大语言模型(LLM)的人机协作 +1
- 60%
MAPLE:利用大型语言模型嵌入的移动应用预测
UbiComp '24· 大语言模型(LLM)的人机协作
- 60%
LlamaTouch:一个可信且可扩展的移动UI任务自动化测试平台
UIST '24· 大语言模型(LLM)的人机协作
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)