使用众包和深度学习建模移动界面的可点击性

点击是移动触摸屏界面中一个极其重要的手势，然而人们仍然经常需要通过尝试和错误来学习哪些元素是可以点击的。预测这个日常手势的人类行为可以帮助移动应用程序设计师理解应用程序可用性的一个重要方面，而无需进行用户研究。在本文中，我们提出了一种大规模建模移动界面可点击性的方法。我们使用众包技术对一系列丰富的移动应用程序的界面可点击性进行了大规模的数据收集，并计算地研究了人们用来区分可点击和不可点击元素的各种标识符。基于该数据集，我们开发并训练了一个深度神经网络，用于预测用户将界面元素视为可点击还是不可点击的可能性。利用训练好的可点击性模型，我们开发了TapShoe，这是一个自动诊断每个元素的可点击性与人类用户感知（由我们的模型预测）和开发人员或设计师指定的预期或实际可点击状态之间不匹配的工具。我们的模型达到了合理的准确性：平均精度为90.2%，召回率为87.0%，在匹配人类识别可点击UI元素的感知方面。通过与7位专业交互设计师进行的非正式评估，可点击性模型和TapShoe受到了设计师的欢迎。