TFTune：使用强化学习创建和个性化指向传输函数

文献标题

TFTune: Creation and Personalization of Pointing Transfer Functions Using Reinforcement Learning

出版信息

• 主题领域: 基于强化学习的输入设备指向传递函数优化。
• 关键词: 传递函数, 强化学习, 个性化, 指向设备, 人机交互, macOS, Windows, 肌肉计算接口, 性能优化, 用户研究。

背景与问题

• 问题/挑战: 当前的指向传递函数自加速度增益引入以来改进有限。现有系统提供的个性化功能较少，之前的自动调优方法未能超越操作系统默认功能。
• 重要性: 指向操作是数百万用户每天的基本交互方式。改进传递函数可以提升生产力和可用性，特别是针对多样化设备和用户需求。
• 动机与相关工作: 以往关于传递函数的研究主要集中于静态或手动调节映射，性能提升有限。强化学习（RL）在人机交互优化方面表现出潜力，但尚未应用于传递函数调优。本文通过引入一个可扩展的基于RL的解决方案来填补这一空白。

解决方案

• 提出的方法: TFTune，一个基于强化学习的系统，用于创建和个性化指向传递函数，优化各种输入设备和用户场景的性能。
• 创新点:
  1. 首个基于RL的方法，显著提升指向传递函数性能，超越操作系统默认设置。
  2. 能够从零开始创建传递函数，并对现有函数进行个性化调整。
  3. 可适用于多种硬件和输入模式，包括肌肉计算接口（MCIs）。
  4. 在用户输入极少的情况下实现快速收敛（<10分钟）。
• 流程与关键技术:
  • 将传递函数调优建模为马尔科夫决策过程（MDP）。
  • 使用近端策略优化（PPO）训练神经网络策略，将输入状态映射到增益值。
  • 将训练好的策略转换为可部署的传递函数，通过查找表或直接推断实现。
  • 通过用户研究在macOS、Windows和MCIs上评估性能。

结果

• 具体发现:
  • TFTune在macOS（触控板）上提高了移动时间7%，在Windows（鼠标）上提高了8%，在MCIs上提高了16%。
  • 调优时间分别为macOS约7分钟，Windows约1分钟，MCIs约2分钟。
  • 参与者在2–4周的家庭使用后报告没有性能下降。
• 相较基线的优势:
  • 在研究1中，TFTune比macOS默认设置提高了7%，比AutoGain提高了5%。
  • 在研究2中，比Windows默认设置提高了8%。
  • 在研究3中，与MCIs中的比例控制相比，移动时间减少了16%。
• 实验/评估:
  • 研究1：在MacBook触控板上，比较TFTune与macOS默认设置和AutoGain，12名参与者参与。
  • 研究2：在参与者个人的Windows设备上测试TFTune，14名参与者参与，包括2–4周的家庭部署。
  • 研究3：在基于EMG的速率控制MCIs上评估TFTune，10名参与者参与。
• 局限性与未来工作:
  • 在某些条件下观察到稍高的错误率，可能与奖励函数设计有关。
  • 未探索个性化函数如何为全球传递函数改进提供信息。
  • 未来工作包括优化奖励函数、实现真实场景中的持续调优，以及探索更丰富的输入特征。

总结

TFTune是一个基于强化学习的系统，用于创建和个性化指向传递函数，相较于操作系统默认功能和之前的方法实现了显著性能提升。它在多种硬件上展示了可扩展性，并对肌肉计算接口等新输入模式表现出良好的通用性。用户研究显示其快速收敛和持续性能提升，参与者在长期家庭使用中未报告性能下降。该研究突出了RL在优化基本人机交互中的潜力，并为传递函数设计与个性化研究开辟了新的方向。