在多模态界面中发现自然语言命令

对于支持语音输入的多模态界面用户来说，确定说什么以及如何说仍然是一个挑战。用户最终只能"猜测"系统可能支持的命令，这往往导致理解错误和挫折。解决这个问题的一种方法是在用户与系统交互时显示与上下文相关的命令示例。然而，挑战在于决定何时、如何以及推荐哪些示例。在本工作中，我们描述了一种在多模态界面中生成和排名自然语言命令示例的方法。我们使用一个基于触摸和语音的图像编辑工具原型演示了该方法。我们通过增强用户界面进行实验，以了解何时以及如何呈现命令示例。通过在线用户研究，我们评估了这些替代方案，发现情境命令建议可以促进发现并鼓励使用语音输入。