TalkLess：融合提取式与抽象式语音摘要以保留内容和风格的语音编辑

DOI

数百万人收听播客、有声故事和讲座，但编辑语音仍然是一项繁琐且耗时的任务。创作者删除不必要的词语、削减离题的讨论，甚至重新录制语音，以使录音简洁且引人入胜。先前的工作通过删除完整句子（提取）自动摘要语音，但僵硬的提取限制了表达力。AI 工具可以摘要后重新合成语音（抽象），但抽象剥离了说话者的风格。我们提出了 TalkLess，一个灵活结合提取和抽象的系统，在压缩语音的同时保留其内容和风格。编辑语音时，TalkLess 首先生成可能的转录编辑，选择最大化压缩率、覆盖度和音频质量的编辑，然后使用语音编辑模型将转录编辑转换为音频编辑。TalkLess 的界面通过将低级用词编辑（通过压缩面板）与主要内容编辑（通过大纲面板）分离，为创作者提供对自动编辑的控制。TalkLess 实现了比最先进的提取式方法更高的覆盖度并能删除更多语音错误。一项比较研究（N=12）显示，TalkLess 显著降低了语音编辑中的认知负荷和编辑工作量。我们进一步展示了 TalkLess 的潜力，在一项探索性研究（N=3）中，创作者编辑了自己的语音。