RoboClean:专业低资源环境中人机交互的语境语言接地研究
语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)大语言模型(LLM)的人机协作UI/UX 设计师AI/ML 研究员与工程师
由于工作人员的本地知识(如物体和空间的特定术语),为专业环境中的服务机器人构建有效的语音指令界面十分困难,这导致训练语言模型的数据有限(称为'低资源'领域),并带来语言接地的挑战。我们开展了一项语言接地研究,其中a)通过奥兹国研究(Wizard of Oz study)现场收集语境专家的口语自然语言并编制数据集,b)定性检查所产生指令的语言特性,以揭示构建语境中指令时使用的指称类别和参数。我们讨论了如何将我们的语言接地协议应用于在目标使用环境中引导语言模型。我们的工作贡献了一种对机器人指令的语言理解,可供设计师和研究人员开发专业低资源环境中人机交互的口语理解系统。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 特定低资源环境中,人类与机器人互动的语言语境该如何进行有效的语义绑定?分类: LLM 语音对话与通信修复同类问题arrow_forward
- 自然语言语料库的分析和分类能否显著提升机器人对专业化指令的理解能力?分类: LLM 语音对话与通信修复同类问题arrow_forward
- 使用WOz(巫师实验)方法收集的语言数据在低资源环境下的适应性如何?分类: LLM 语音对话与通信修复同类问题arrow_forward
lightbulb
现实痛点
1- 在特定低资源环境下,机器人难以理解专业化的语言指令。分类: LLM 语音对话与通信修复同类问题arrow_forward
- 80%
人类说话者帮助机器倾听者应对对话中的视觉不对称性
CUI '23· 语音用户界面(VUI)设计 +1
- 67%
茶,灰域,热:从《星际旅行》想象的理想中设计语音交互
CHI '21· 语音用户界面(VUI)设计 +2
- 67%
使用大型语言模型实现与移动UI的对话交互
CHI '23· 语音用户界面(VUI)设计 +1
- 67%
ONYX:通过多模式交互任务学习辅助用户教授自然语言接口
CHI '23· 语音用户界面(VUI)设计 +2
- 67%
在多模态界面中发现自然语言命令
IUI '19· 语音用户界面(VUI)设计 +2
- 67%
Screen2Words:基于多模态学习的自动移动端UI摘要生成
UIST '21· 语音用户界面(VUI)设计 +1
- 60%
简洁明了:语音助手响应行为的比较
CHI '22· 语音用户界面(VUI)设计 +1
- 60%
关于VUI准则的讨论?语音用户界面设计准则的元分析
CUI '23· 语音用户界面(VUI)设计
- 60%
VOICON:语音用户界面中基于几何运动的视觉反馈
DIS '24· 语音用户界面(VUI)设计 +1
- 60%
单元、生成器与透镜:面向大型语言模型面向对象交互的设计框架
UIST '23· 大语言模型(LLM)的人机协作
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
一眼看懂
fact_check论文快照
dataset
来源
CUI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
3 位作者
sell
研究子方向
语音用户界面(VUI)设计、智能语音助手(Alexa、Siri 等)、大语言模型(LLM)的人机协作
work
职业/产业
UI/UX 设计师、AI/ML 研究员与工程师
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文