Geno：为现有Web应用编写多模态交互的开发者工具

视频

DOI

在应用中支持语音命令能为用户带来显著好处。然而，如我们形成性研究所示，由于缺乏创建多模态界面的统一支持，为现有基于GUI的Web应用添加此类支持既耗时又具有高学习门槛。我们提出Geno，这是一个开发者工具，无需太多NLP专业知识即可为现有Web应用添加语音输入模态。Geno为开发者提供高级工作流程，用于指定语音支持的功能(意图)，创建从用户话语中检测意图和相关信息的语言模型，并通过编程调用相应功能或重放Web应用上的GUI操作来满足意图。Geno还支持语音命令中对GUI上下文的多模态引用(例如，在将光标指向事件时说“把这个[事件]移至下周”)。研究表明，几乎没有NLP专业知识的开发者能够使用Geno为两个现有Web应用添加多模态语音命令支持。