如何绘制命令？一项关于电子表格草图的诱发研究

研究背景与问题

• 问题与挑战：
  • 现代用户界面（UI）较少利用人们自然的素描能力进行操作命令输入，而更多依赖传统的键盘、鼠标或触摸手势。
  • 尤其是在复杂数据操作如电子表格中，用户需要通过复杂菜单或键盘输入公式处理数据，这在触摸设备上尤其不便。
• 重要性：
  • 人类直觉自然地进行素描，这可以用于直接将命令表达为视觉信息，从而减少用户与复杂UI的交互障碍。
  • 支持以素描形式直接操作电子表格，能提升触摸设备上的用户体验，缓解使用屏幕键盘带来的不便。
• 研究动机与相关工作：
  • 作者识别到电子表格的复杂性（例如公式、数据的可视化）和现代设备（尤其是触摸设备）的直接交互需求之间的矛盾。
  • 大量相关研究已经探索了以自然语言、视觉操作或手势进行数据输入的可能性，但少有研究聚焦于“通过素描直接表达命令”。

解决方案

• 方法与解决方案：
  • 作者通过一项“引导性研究”（elicitation study），招募36名参与者，在静态电子表格图像上以素描的形式表达各种命令。
  • 提供了一组20个不同操作任务，并收集用户的素描形式输入，包括图形、文本和其他交互方式。
• 创新之处：
  • 相较于传统的键盘输入和复杂UI操作，采用直接素描可更自然地表达多个维度的复杂数据操作。
  • 作者分析了用户在素描中使用的“选择”、“箭头/连接”、“隐含信息”等视觉表达策略，提出一组潜在的通用视觉语言。
  • 提出了对模糊或重复性命令的表达，以及在复杂命令中通过“上下文”推测补全命令的潜力。
• 实施步骤与技术：
  • 将任务分为五大类型（数据编辑、结构更改、格式化、可视化、以及数学计算），以覆盖广泛的电子表格操作功能。
  • 使用静态电子表格截图与定制的应用程序记录参与者的素描表达，并根据“动作-参数分解”原则对素描进行分类分析。
  • 最终分类系统如箭头（CON）、选择（SEL）、文本符号（TXT）等，形成一个解构含义的分类框架。

研究成果

• 具体成果：
  • 确定了用户在绘制命令时使用的常见模式和表达策略：例如，箭头用来指示选择/操作的方向，单元格选择可以通过框选或下划线实现。
  • 总结了在“表达数据重复”（如复制行或计算列总和）中使用箭头或括号等具体图形方式的潜力。
  • 识别了表达“隐含命令”的普遍现象，例如仅通过上下文和表格结构设计来推断未明确标注的参数。
• 与现有解决方案的对比优势：
  • 基于视觉的“直接素描”比传统键盘输入在触摸设备上更直观，且比触摸手势更精细化表达出复杂命令。
  • 此方法可以在大屏交互环境或触摸设备上解决屏幕键盘遮挡和操作不便的问题。
• 实验或评估结果：
  • “命令一致性”（agreement rates）显示尽管用户大多倾向于使用相似的表达策略，视觉呈现的细节仍有较大差异，表明需要进一步抽象通用的可视语言。
  • 总体一致性表现为中到高（平均一致性率：~0.29）；简单任务和重复任务的一致性较高，创新任务表现多样。
• 局限性与未来方向：
  • 局限性：
    • 参与者年龄集中在18-40岁，缺乏更老龄化用户的数据。
    • 由于测试时无实时反馈，无法完全模拟动态交互环境。
  • 未来方向：
    • 探索更复杂公式的视觉素描表达，以及如何开发可实时解读这类复杂输入的“解释引擎”。
    • 研究素描与语音、多模式交互如触控的结合潜力。
    • 构建和评估真正基于素描的接口原型，测试其易用性和学习曲线。

通过这项研究，作者打破了传统电子表格操作的想象框架，为通过视觉素描表达复杂操作提供了可靠的基础。未来的研究和开发方向将推动更广泛的应用，包括机器学习支持的素描识别，以及跨设备的通用素描语言定义。