Rambler：通过LLM辅助的概要操作支持写作的语音功能

文献标题

Rambler: Supporting Writing With Speech via LLM-Assisted Gist Manipulation

文献信息

• 主题领域: 语音辅助文本写作与大语言模型（LLM）在草稿生成和修改中的应用
• 关键词: 语音输入, 语音转文本, 文本生成, 写作, 人工智能, 大语言模型, 自然语言处理, 语音接口, 人机交互, 概要提取

研究背景与问题

• 发现的问题或挑战: 当前基于语音的文本写作存在输出结果繁琐、不流畅且组织性差的问题，用户需要大量后续编辑劳动。语音输入通常被当作“快速打字工具”使用，而非专业写作工具。此外，只依赖传统图形用户界面（GUI）或简单集成大语言模型（LLM）的交互系统，难以有效支持复杂的写作和迭代任务。
• 重要性:
  1. 语音输入可以显著提升移动端和跨平台设备的写作效率。
  2. 自动语音识别生成的内容往往过于冗长、缺乏连贯性，不符合用户期望。
  3. 写作是一种高度迭代、复杂的认知活动，需要创新工具降低用户负担。
• 研究动机: 探索如何设计能够“缩小语音与写作之间差距”的界面，通过支持语义级别的操作（如摘要提取、语义分割和非线性编辑），结合LLM技术提升语音写作的效果与用户体验。

解决方案

• 主要方法: Rambler系统，基于大语言模型的图形用户界面，用于“概要提取”和“宏观修订”。
  • 概要提取（Gist Extraction）：通过关键词提取和分层摘要展示，帮助用户快速理解和浏览语音转录内容。
  • 宏观修订（Macro Revision）：允许用户在概念层面上重新讲话、分割、合并和调整文本，而无需逐字精确定位。
• 创新之处:
  1. 提出了以“Ramble”为最小交互单元的新型界面结构，用于捕捉用户的灵感片段。
  2. 应用了语义缩放功能（Semantic Zoom），以多层次摘要形式可视化文本核心思想，让用户快速确定内容结构。
  3. 整合了LLM支持的高级编辑功能（如语义分割和自定义提示），并允许用户定制关键生成操作。
  4. 设计了轻量级用户交互，不依赖精确的输入定位，适配移动端屏幕和触摸操作。
• 实现步骤与关键技术:
  1. 语音输入即刻经过AssemblyAI进行转录，从实时语音转译中生成语法优化结果。
  2. Rambler预生成各级摘要，并通过GPT-4大模型支持关键词选择、语义分割与合并。
  3. 提供用户可见的微观和宏观编辑功能，包括手动分割、拖放合并和重新组织“Ramble”单元。
  4. Magic Custom Prompt允许用户通过定制提示，灵活调整文本结构和风格。

研究成果

• 具体成果:
  • 完成了Rambler系统设计，支持从混乱语音片段到清晰写作输出的迭代流程。
  • Rambler显著优于对照基线（语音转文本编辑器+ChatGPT），尤其在用户控制力、语义操作和总体用户体验方面。
• 优势:
  • Ramble结构让用户能够自然离散化自己的写作内容，从而便于调整和管理思想结构。
  • 语义缩放和关键词提取增强了用户审查和理解内容的效率。
  • LLM辅助的修订功能（如语义分割、语义合并）提供了创新的交互方式，提升生成文本的效果。
• 实验或评估结果:
  1. 实验中，12位参与者使用Rambler完成博客写作任务，10人表达出对Rambler的整体偏好。
  2. 与基线工具相比，用户认为Rambler更有助于内容的组织、迭代修改和高级编辑。
  3. Rambler输出的文本在流畅性、非冗余性和集中性上显著优于传统基线模式和真实网络日志的对比样本。
  4. 实验中发现了丰富多样的用户策略，体现出Rambler的适配灵活性。
• 局限性与未来方向:
  1. 当前实验是短期室内同质化实验，未来可通过长期现实环境测试验证其实际功效。
  2. 接下来需优化对更小屏幕设备（如智能手机）的支持界面，并集成多文档管理或同步功能。
  3. 探索某些机会以增强用户在使用Magic Custom Prompt和语义功能中的可预测性信任感。

总结而言，Rambler为语音写作定制了一种以语义为核心的图形化交互新模式，展示了LLM辅助写作的巨大潜力，并为未来更强大的写作工具开辟了道路。