设计思维理解：支持AI赋能的用户体验设计构思的模型透明度信息需求

文献标题

Designerly Understanding: Information Needs for Model Transparency to Support Design Ideation for AI-Powered User Experience

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，人工智能设计 (AI Design)
• 关键词: AI设计, 模型透明性, AI文档化, 可解释性, 预训练模型

研究背景与问题

• 作者发现的挑战:

  1. 用户体验(UX)设计人员在设计以AI驱动的系统时面临复杂性和专业壁垒，尤其是理解如预训练语言模型等AI技术作为设计材料存在困难。
  2. 缺乏支持UX主导的AI产品创新手段，导致产品失败和意外的社会后果。
  3. 预训练模型的广泛应用降低了技术壁垒，但其可能加大责任，尤其需要负责的AI设计实践。

• 问题重要性:

  • AI技术与用户需求通常断开连接。而要充分发挥AI潜力，需要找到将其应用于解决用户问题的场景，并根据用户偏好优化模型行为。同时，这些任务通常是UX设计的核心，但当前方法和支持不足。

• 研究动机与相关工作:

  • 将AI透明性框架应用到设计过程中，以支持设计者形成针对AI模型的“设计性理解”(Designerly Understanding)，并探索各种模型文档化框架的实用性和缺陷。

解决方案

• 作者提出的解决方案:

  • 通过访谈和情景设计任务，研究UX设计人员如何使用透明模型报告框架获得对预训练模型的设计性理解。

• 创新之处:

  1. 将AI设计与AI透明性研究交叉，以帮助UX设计人员理解模型的局限性及其潜在用户影响。
  2. 提出四种设计目标，并详述设计师为每种目标需要的信息。
  3. 突出UX设计师在责任型AI中的关键角色，设计性理解可以帮助设计者评估模型局限性并提出改善建议。

• 实施步骤与关键技术:

  1. 使用AI服务中的示例文档及输出输入对比数据作为设计探针（design probe）。
  2. 引入交互式设计任务，使用基于预训练文本摘要模型的实际场景，让参与者设计解决信息误解问题的新产品特性。
  3. 在访谈中探查设计者关注的信息需求、使用策略及其设计目标。

研究成果

• 具体成果:

  • 通过23位UX设计从业者的访谈发现：

    1. 设计师在设计中面临多样挑战，如缺乏适用性评估模型的支撑和与数据科学家的交流机会。
    2. 当前的透明性文档有其效用，但也存在缺口，需要额外的信息支持设计任务。

  • 提出设计师常见的四种设计目标：

    1. 从发散到收敛的设计思维中，评估并去除风险设计想法。
    2. 创建条件设计，以满足不同用户场景的需求并减轻AI系统的不确定性。
    3. 向最终用户提供AI模型的透明信息。
    4. 与团队协作并进行谈判，以代表用户倡导更好的设计。

• 优势:

  • 有助于UX设计师更好地理解AI模型，以推动以用户价值为中心的设计。
  • 提供了一种框架，支持设计师预测模型局限性和风险，从而强化责任型AI实践。

• 实验或评估结果:

  • 提供的信息不足以满足大多数设计师的全部需求，但通过透明性文档可以让设计师更好地进行信息提取和设计方案构想。
  • 一些设计师通过模型的输入输出示例、文档审阅及对模型局限性的推测，能更深入体验模型特性，但缺失更深入的解释性信息。

• 局限性与未来方向:

  • 局限性:
    1. 所使用的具体预训练模型以及设计场景可能会影响实验结果的普适性。
    2. 参与者来自多个科技公司的UX设计背景，但大部分来自单一公司，可能限制样本代表性。
  • 未来方向:
    1. 探索更适合AI设计师的信息交互工具（如交互式模型说明文档）。
    2. 为设计师提供因变量探索支持，帮助他们测试模块特性对UX的影响。
    3. 发展指导性框架，支持UX设计师主动参与负责型AI开发生命周期。

总结

该研究展示了利用模型透明性支持UX设计师理解预训练模型并进行设计创意的潜力。进一步强调设计师在负责型AI中的角色，其信息需求不仅符合当前的透明性框架，还需要更深入的模型和用户相关背景知识。这为未来工具和框架开发提供了坚实的理论指导，旨在提升透明性框架的设计效用和促进跨学科协作。