Morae：主动暂停UI代理以供用户选择

DOI

用户界面（UI）代理承诺让盲人和低视力（BLV）用户更容易访问难以访问或复杂的UI。然而，当前的UI代理通常端到端执行任务，而不涉及用户参与关键选择或让他们了解重要的上下文信息，从而降低用户能动性。例如，在我们的实地研究中，一位BLV参与者要求购买最便宜的起泡水，代理自动从几个价格相同的选项中选择了一个，而没有提及具有不同口味或更好评分的替代产品。为解决此问题，我们引入Morae——一个能在任务执行过程中自动识别决策点并暂停以便用户做出选择的UI代理。Morae利用大型多模态模型来解析用户查询以及UI代码和屏幕截图，并在需要做出选择时提示用户澄清。在与BLV参与者进行的真实网络任务研究中，相比包括OpenAI Operator在内的基线代理，Morae帮助用户完成了更多任务并选择了更符合其偏好的选项。更广泛地说，这项工作展示了一种混合主动方法，用户受益于UI代理的自动化，同时能够表达自己的偏好。