ChatHAP：一种通过对话设计振动的基于聊天的触觉系统

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 与文本驱动的图形和音频设计工具相比，触觉设计工具明显滞后，尤其是在振动数据生成和收集高质量、标准化数据集方面面临挑战。
  2. 无统一的触觉术语或描述标准，不同用户的描述会因身体位置、文化背景等而存在差异，导致收集均质化文本-振动配对数据极为困难。
  3. 现有的振动设计方法（如基于参数生成、库导航和修改）在用户自由设计和自定义振动时受到限制，需要用户对技术参数有一定了解，这对新手用户并不友好。

• 为什么这个问题很重要？ 触觉反馈应用在游戏、增强现实、虚拟现实等领域正变得越来越重要，但相关设计过程复杂且受限，限制了用户的广泛参与和个性化定制的能力。因此需要更简单直观的设计方法，降低技术门槛并提升效率。

• 研究动机与相关工作

  1. 文本生成模型（如图像和音频领域的生成技术）为低门槛内容创作提供了可能性。对此领域成功的案例（如OpenAI DALL-E）激发了运用自然语言描述同样设计触觉反馈的可能性。
  2. 与现有研究对局限于触觉振动参数生成和固定库推荐的关注不同，作者设想一种结合自然语言交互、动态学习用户偏好的触觉设计工具。
  3. 此外，现有研究未探讨文本驱动的触觉设计工具的功能需求和用户行为，作者尝试通过本工作填补这一空白。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 提出了ChatHAP，这是一种基于对话接口的触觉振动设计系统，支持用户通过自然语言交互设计振动。
  2. 系统综合了三种触觉设计方法：“生成”、“导航”（从库中查找）和“修改”，借助大语言模型（如GPT-4 Turbo）理解用户意图。
  3. 引入了一个自适应学习算法，可通过用户的主观偏好迭代改进振动推荐结果。

• 该解决方案的创新之处是什么？

  1. 交互方式创新：首次通过对话形式支持用户设计触觉振动，降低了设计门槛。
  2. 自适应学习：依赖用户偏好的集体反馈改进推荐效果，从而为用户提供个性化定制能力。
  3. 方法整合：结合生成、导航和修改方法，无需用户对技术参数有明确了解即可完成复杂振动设计任务。
  4. 数据采集贡献：在满足用户设计需求的同时，系统自动组织和收集了1,134个文本描述-振动配对的数据集，为未来触觉研究提供数据支持。

• 实施步骤是什么？使用了哪些关键技术？

  1. 系统架构：
     • 使用基于Python的Streamlit开发前端，提供用户友好的对话界面。
     • 后端通过GPT-4 Turbo大语言模型解析用户输入，分类适用生成、导航或修改方法。
     • 系统通过实时数据库（Firebase）存储用户设计数据、投票偏好和生成记录，作为持续学习的基础。
  2. 功能实现：
     • 生成：通过数学模型调整振动的幅度、频率、包络频率等核心参数。
     • 导航：从预先构建的振动库中根据用户需求推荐合适的振动。还添加了一种适应用户偏好的算法来动态改进推荐。
     • 修改：支持五种修改方式（如调整振动强度、节奏），通过进一步细化用户设计意图。
  3. 自适应算法：
     • 从用户的反馈记录（如“好”或“差”投票）中提取对指定振动特征（例如“节奏快”）的支持概率。
     • 采用Softmax变换结合特征权重，为每个振动候选项计算推荐概率以动态生成用户满意设计。

研究成果

• 取得了哪些具体成果？

  1. 实验结果：
     • ChatHAP在用户研究中被证明是易用的设计工具，系统的良好可用性得分（SUS平均得分81.25和85.50）。
     • 提出的自适应算法显著减少了任务完成时间（平均减少38%）、提示数量（减少25%）和提示冗长程度（减少36%）。
  2. 功能与数据贡献：
     • 公开了一套包含1,134个[文本描述，振动，用户偏好]的完整开放数据集。
     • 文本和用户偏好的多样性在促进触觉设计的个性化方面显示了潜力。

• 与现有解决方案相比，它有哪些优势？

  • 提供更直观的设计方式，让没有技术背景的新手用户能够快速上手，显著降低了门槛。
  • 系统能够自适应学习用户偏好，解决了现有振动库的静态局限性，并支持个性化设计。

• 实验或评估结果是什么？

  1. 自适应算法显著提升设计效率：
     • Group 2（启用算法）用户的任务完成时间显著低于Group 1。
     • Closeness-to-Target评分保持较高水平，表明设计结果与用户预期接近性较高。
  2. 用户调查和定性研究显示，用户对初始振动生成、个性化定制功能和交互模式的广泛需求。
  3. 观察到用户对复杂振动设计（如“模拟玻璃破碎感”）有更高期待，但LLM在理解高级触觉语义时仍有局限性。

• 局限性与未来方向

  1. 局限性：
     • 目前可控的设计参数较为基础（如均匀脉冲），对复杂触觉效果的支持有限。
     • 系统依赖一个较小的振动库（120模式），未能覆盖更多应用场景。
     • 研究重点为新手用户，且未与已有GUI工具直接对比，尚待补充专家评估。
  2. 未来优化方向：
     • 增加对复杂多脉冲节奏和振幅微调的支持。
     • 扩展振动库同时优化其语义标签，进一步整合多模态（如图像到振动生成）。
     • 探索将对话交互与直观GUI相结合的界面，支持更丰富的设计控制流程。
     • 开发生成模型专用的触觉语言大模型，加强对抽象用户描述的理解能力。