RepairBot框架：面向实际操作衣服修补的触觉感知对话式智能体

文献标题

The RepairBot Framework: Touch-Aware Conversational Agent for Hands-on Clothes Repair

出版信息

• 主题领域：人机交互与可持续实践的具身学习
• 关键词：对话代理、人类触觉感知、衣物修补、具身学习、触觉反馈、修补教育、可持续性、多模态教程、巫师实验法、循环经济

背景与问题

• 问题/挑战：初学者在学习修补衣物时面临程序性、具身性和情感上的障碍，包括缺乏互动性和情境感知的教学工具。现有的数字资源如视频教程是被动的、非互动的，无法传递修补所需的触觉知识。
• 重要性：修补衣物通过延长服装寿命和减少浪费来促进可持续性，但修补技能的衰退以及缺乏可获得的教学资源阻碍了修补实践的广泛采用。
• 动机与相关研究：先前研究强调了为修补学习提供互动性、整体性支持的必要性。虽然一些系统提供程序性指导或事后反馈，但它们无法感知和响应用户的具身行为，这对于缝纫等动手工艺来说是一个关键缺口。

解决方案

• 提出的方法：RepairBot对话框架（RBCF），一个模块化的对话代理，结合人类触觉感知和多模态学习资源，为学习衣物修补的初学者提供整体性、导师般的支持。
• 创新点：
  1. 引入人类触觉感知以辅助触觉技能发展和情感调节。
  2. 模块化框架结合结构化学习模块和基于项目的修补指导。
  3. 集成多模态教程（视频和3D）以解决空间和程序性挑战。
  4. 使用巫师实验法（Wizard-of-Oz, WoZ）模拟触觉反馈并探索其教学价值。
• 流程与关键技术：
  • 通过形成性研究（自传式研究、试点研究）识别初学者的挑战和设计目标。
  • 开发RBCF，包括六个修补步骤、双学习/项目模块和九种教学机制。
  • 实现混合聊天机器人架构，结合基于规则的对话管理、LLMs和WoZ触觉感知。
  • 通过实验室研究（N = 16）和家庭研究（N = 9）评估系统，分析访谈、日志和聊天机器人记录的定性数据。

结果

• 具体发现：
  • 情感支持：RepairBot创造了一个非评判性的“安全空间”，减少了表现焦虑并增强了信心。
  • 程序性学习：指导步骤揭示了隐藏的服装问题并改善了对修补过程的整体理解。
  • 触觉技能发展：人类触觉感知反馈促进了身体反思、触觉实验和专注的具身体验。
  • 可转移技能：参与者将修补知识应用于购物和衣橱管理，促进了谨慎消费。
• 相较基线的优势：
  • 结构化指导通过降低认知障碍并针对特定服装量身定制建议，优于开放式工具。
  • 人类触觉感知反馈将重点从动作纠正转移到促进感官探索和情感调节。
  • 多模态教程比传统二维媒体更好地解决了空间挑战。
• 实验/评估：
  • 实验室研究：观察聊天机器人指导的修补过程，结合WoZ触觉感知，捕捉实时互动和反馈。
  • 家庭研究：探索RepairBot在真实环境中的使用，记录自主修补实践和用户反思。
  • 数据来源：分析了75小时的视频、39份访谈记录、聊天机器人日志和22篇修补日记，通过主题分析提取结果。
• 局限性与未来工作：
  • WoZ设置模拟了触觉感知，需要未来开发自主触觉感知系统。
  • 范围有限，主要关注基础技能而非创造性修补过程。
  • 未来方向包括丰富多模态数据集、整合额外的感知模式以及探索技能在更广泛的服装管理背景中的转移。

总结

RepairBot对话框架引入了一种触觉感知对话代理，支持初学者学习衣物修补。通过解决程序性、情感和具身性挑战，该系统通过结构化指导、人类触觉感知反馈和多模态教程促进了整体性学习。评估结果显示其在建立信心、触觉技能和可转移知识方面的有效性，为可持续时尚实践提供了支持。未来工作将重点推进自主触觉感知技术的发展，并扩展框架的范围以涵盖创造性和更广泛的循环经济应用。