流式传输，快与慢：认知负载感知的流式传输实现高效LLM服务

DOI

由大型语言模型（LLMs）驱动的生成式对话界面通常以计算预算决定的速率逐个token流式输出输出内容，往往忽略了实际的人类阅读速度和与内容相关的认知负载。这种不匹配经常导致计算资源使用效率低下。例如，在云服务中，以超过用户阅读速度流式传输内容似乎是不必要的，导致计算资源浪费并可能给其他用户带来延迟，特别是在高峰使用期。为了解决这个问题，我们提出了一种自适应流式传输方法，根据推断的认知负载实时动态调整LLM流式输出的节奏。我们的方法估计与流式内容相关的认知负载，并在复杂或信息丰富的片段战略性地放慢流速，从而释放其他用户的计算资源。我们进行了统计分析 和基于从针对各种LLM生成内容的众包用户研究中收集的数据得出的统计模型的模拟。我们的结果表明，这种自适应方法可以有效减少计算消耗，同时在很大程度上保持流式速度高于用户的正常阅读速度。