通用AI系统与交互设计 / GUI语义建模与任务表征

如何同时捕捉GUI屏幕的任务上下文、交互信息和布局模式的语义表示?