SimUser：通过模拟各种用户与移动应用程序的交互来生成可用性反馈

文献标题

SimUser: Generating Usability Feedback by Simulating Various Users Interacting with Mobile Applications

文献信息

• 主题领域: 人机交互 (HCI)、用户体验 (UX) 研究、人工智能驱动的用户模拟
• 关键词: 可用性反馈, 用户模拟, 大语言模型, 移动应用, 原型设计, 人机交互, 用户特征, 用户场景, 连续思维链 (Chain-of-Thought), 可用性评估

研究背景与问题

• 发现的问题或挑战:
  1. 快速原型迭代与耗时的用户测试之间的矛盾。
  2. 现有基于AI方法侧重评估系统的可行性，而往往忽视了用户特征和使用情境对可用性的影响。
  3. 数据集的局限性和可用性问题的复杂动态特性使得建模特定用户群体的交互反馈变得困难。
• 重要性:
  • 用户可用性检验对优化设计至关重要，但仍然难以通过现有工具快速、准确地模拟不同用户群体的真实交互。
  • ISO 9241-11（人机系统交互标准）明确指出，可用性应兼顾特定用户群及其所在场景的影响。
• 研究动机与相关工作:
  • 当前方法如视觉显著性检测和交互输入预测，未能系统性地考虑用户特征或情境相关的交互影响。
  • 尽管大语言模型（LLMs，如 GPT-4 和 LLaMA）在推测用户语境与行为上显示出潜力，它们仍面临理解界面和用户感知的局限性。

解决方案

方法与创新

• 方法: 开发基于LLM的工具 SimUser，结合连续思维链 (Chain-of-Thought, CoT) 和用户建模技术，通过模拟用户与应用程序的交互来生成可用性反馈。
  • 使用两种子代理（Mobile Application Agent 和 User Agent）分别代表移动应用和模拟用户。
  • 通过用户特征建模与情景扩展，引入更细致的用户交互上下文。
  • 构建"预期脱离"(Expectation Disconfirmation) 概念来帮助识别用户可用性问题。
• 创新点:
  1. 突出了用户特征（例如认知能力、交互能力）和情境因素对可用性反馈的影响。
  2. 利用 CoT 方法分步推理与控制减小推断过程中的偏差。
  3. 提出了详细的模拟执行过程：移动应用代理负责界面描述和逻辑反馈，用户代理负责生成用户预期、交互模拟和反馈。

实施步骤

1. 输入阶段: 设计师上传原型的代码和界面图像，并定义目标用户特征和测试任务。
2. 移动应用代理:
   • 生成界面自然语言描述，包括布局、对比度、视觉显著性等信息。
   • 定义操作逻辑：结合代码文件构建界面的结构性逻辑图。
3. 用户代理:
   • 基于用户画像生成人物特征并定义详细属性（如视觉需求、操作熟练度等）。
   • 推断模拟用户对界面的期待，逐步模拟用户操作和生成交互反馈。
4. 交互过程:
   • 用户代理通过人类行为模式推测界面内容。
   • 模拟用户的感知、误操作和最终任务完成后的主观评价。
5. 反馈输出:
   • 模拟用户的逐界面和整体交互逻辑的可用性反馈。

研究成果

• 具体成果:
  1. SimUser 在简单智能手表应用测试中的覆盖率从 35.7% 到 100% 不等，平均覆盖人类用户的可用性反馈率为 80%。
  2. 能够生成比人类用户更丰富的情境场景与反馈（例如极端场景和边缘案例）。
  3. 用户交互过程中70%以上的用户情景能够被SimUser覆盖。
  4. 实验结果表明其在界面信息、交互逻辑和操作可行性等方面与真实人类用户表现高度一致。
• 优势:
  • 与传统用户测试相比，SimUser 快速、低成本，能够模拟多个复杂情境。
  • 提供了丰富的设计启发，有助于改善原型迭代中的可用性分析。
• 实验或评估:
  • 实验使用两组用户（大学生与老年用户）的真实数据与SimUser生成的反馈进行对比。
  • 收集了24名人类用户和21位设计师对 SimUser 的评价。SUS（系统可用性量表）平均得分为66分，靠近平均标准。
• 局限性与未来方向:
  1. 局限性:
     • 复杂界面（如智能手机）的兼容性测试暂未完全覆盖。
     • SimUser 依赖完整的用户画像与环境信息，可能导致输入材料要求较高。
     • 大量的冗余反馈数据（未被人类用户提及）增加了设计师筛选信息的负担。
  2. 未来方向:
     • 改进LLM 模拟情感与动态因素的能力，使模拟结果更符合用户体验的细微差异。
     • 扩展到更复杂的设计场景，如多模态交互界面（如车载界面）。
     • 探索如何将生成的反馈与设计工具直接集成，提升使用的直观性与可解释性。

以上汇总详细阐述了本研究的核心成果与学术贡献，同时为下一步研究和实际产品优化提供了方向。