通过控制屏障函数屏蔽增强学习演示算法的安全性
作者
AI 辅助决策与自动化系统人-机器人协作(HRC)软件工程师与开发者AI/ML 研究员与工程师HCI 研究员
学习演示(LfD)是一种强大的方法,允许非机器人专家的终端用户教授机器人新任务,使他们能够定制机器人行为。然而,现代LfD技术不会明确合成安全的机器人行为,这限制了这些方法在现实世界中的可部署性。为了在不依赖专家的情况下增强LfD的安全性,我们提出了一个新框架SECURE(使用逆强化学习中控制屏障函数的屏蔽),它从终端用户学习定制的控制屏障函数(CBF),防止机器人采取不安全的行为,同时对任务完成造成很小的干扰。我们在三组实验中评估SECURE。首先,我们通过实证验证SECURE从演示中学习高质量CBF,并在模拟机器人和自动驾驶任务上优于传统LfD方法,安全性提升高达100%。其次,我们证明机器人专家可以在真实世界的切刀切割、备餐任务上使用SECURE优于传统LfD方法,任务完成率提高12.5%,同时将安全违规次数降至零。最后,我们在用户研究中展示非机器人专家可以使用SECURE有效地教授机器人安全策略,避免与人碰撞并防止咖啡洒出。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
当前问题库还没有收录这篇论文的问题与痛点。
- 83%
《应该信任你还是信任人工智能?》——混合人机团队中领导者的信任与感知研究
CHI '26· 人-机器人协作(HRC) +2
- 80%
匹配思维与方法:基于调节模式理论的数字伴侣增强决策
CHI '23· AI 辅助决策与自动化系统
- 80%
用于RL训练机器人表现性用户控制的在线行为修改
HRI '24· AI 辅助决策与自动化系统 +1
- 80%
对齐人类与机器人表征
HRI '24· AI 辅助决策与自动化系统 +1
- 67%
胜任但僵化:识别赋予AI平等参与群体决策能力的差距
CHI '23· 大语言模型(LLM)的人机协作 +1
- 67%
为什么约翰尼不能提示:非AI专家如何尝试(并失败)设计LLM提示
CHI '23· 大语言模型(LLM)的人机协作 +1
- 67%
《你真的确定吗?》理解人类自我信心校准在人工智能辅助决策中的影响
CHI '24· 可解释人工智能(XAI) +1
- 67%
从大规模交互痕迹中自动挖掘宏命令
CHI '24· 大语言模型(LLM)的人机协作 +1
- 67%
REX:设计以用户为中心的修复和解释以应对机器人故障
DIS '24· 可解释人工智能(XAI) +2
- 67%
我信任我的机器队友吗?从感知到决策的探讨
IUI '19· 可解释人工智能(XAI) +2
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
一眼看懂
fact_check论文快照
dataset
来源
HRI
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
6 位作者
sell
研究子方向
AI 辅助决策与自动化系统、人-机器人协作(HRC)
work
职业/产业
软件工程师与开发者、AI/ML 研究员与工程师、HCI 研究员
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文