Texterial:一种基于文本即材料的LLM中介写作交互范式Shen 等人提出 Texterial 文本即材料交互范式,让用户像塑造黏土或培育植物一样与LLM协作写作,显著提升创意写作体验。2026JSJocelyn J Shen et al.Microsoft Research人机交互与生成式 AICHI
ImaginationVellum:带空间提示、生成笔触和构思历史的生成式AI构思画布Marquardt等人开发ImaginationVellum生成式AI构思画布,将整个2D画布作为主动提示空间,通过空间排列和生成笔触实现设计空间的快速遍历与概念混合。2025NMNicolai Marquardt et al.生成式AI(文本、图像、音乐、视频)创意协作与反馈系统UIST
意图标记:探索微提示交互以支持细粒度的人类与生成式AI协同创作工作流程Gmeiner 等人设计IntentTagger系统,探索基于意图标签的粒度微提示交互,用户研究表明灵活表达意图和元意图提取能有效支持人与生成式AI的共同创作工作流程。2025FGFrederic Gmeiner et al.Carnegie Mellon University, Human-Computer Interaction Institute; Microsoft Research生成式AI(文本、图像、音乐、视频)AI 辅助创意写作创意协作与反馈系统CHI
AI仪器:将提示作为工具来抽象和反映图形界面命令作为通用工具Riche 等人提出 AI 工具概念,将提示体现为可操作界面对象,通过意图反思机制解决图像生成中的模糊意图与非线性迭代难题。2025NRNathalie Riche et al.Microsoft Research生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
超越音频:面向作为交互与传感场所的耳机设计空间Panda 等人探索耳机作为通用输入设备的潜力,结合惯性运动、电容触摸和深度相机等传感模式,为可穿戴交互设计提供理论框架。2023PPPayod Panda et al.触觉可穿戴设备全身交互与体感输入环境感知与上下文计算DIS
Escapement:一种通过传感器介导的时间抽象进行视频交互原型设计的工具Nicholas等人提出Escapement视频原型设计工具,通过传感器介导的时间抽象概念,支持跨设备、双向远程交互快速原型设计,适用于多设备与远程工作场景。2023MNMolly Jane Nicholas et al.UC Berkeley远程操控与遥呈现(Telepresence)原型设计与用户测试CHI
AdHocProx:使用双超宽带无线电感应移动的、自组网协作设备配置Li 等人提出AdHocProx系统,融合双超宽带无线电和电容握持传感器,以95%准确率识别临时设备配置,实现移动设备自组网协作。2023RLRichard Li et al.University of Washington环境感知与上下文计算普适计算(Ubiquitous Computing)CHI
理解多设备使用模式:物理设备配置和碎片化工作流程Yuan 等人调查97人跨设备使用实践,识别任务划分、设备整合等5种使用模式,揭示分散工作流程的优势与挑战。2022YYYe Yuan et al.Microsoft Research, University of Minnesota远程工作工具与体验分布式团队协作通知与中断管理CHI
风格闪烁:通过手工设计样式作为第一类对象探索结构化信息的数字墨水绘制Romat 等人提出 Style Blink 系统,将手工绘制样式封装为可重用的第一类对象,支持交互式墨水工具和自定义布局,13 名用户反馈显示样式适应在个人草图实践中具有潜力2022HRHugo Romat et al.Microsoft平面设计与排版工具代码创作与计算艺术CHI
AirConstellations:通过多个空间感知骨架实现空中设备组装的跨设备交互Marquardt等人提出AirConstellations系统,支持2-5个7自由度空间感知骨架在空气中自稳定组装,实现多设备灵活布局与上下文敏感的跨设备交互,适用于视频会议和协作办公场景。2021NMNicolai Marquardt et al.抬头显示(HUD)与驾驶辅助系统(ADAS)知识管理与团队意识普适计算(Ubiquitous Computing)UIST
速写笔记组件、设计空间维度及有效视觉笔记策略Zheng 等人通过对103份速记图的定性分析与六次访谈,提炼出内容、布局、结构元素和视觉样式等核心组件,为数字手绘工具提供设计框架。2021RZRebecca Zheng et al.University College London, Mumbli交互式数据可视化数据故事讲述(Data Storytelling)用户研究方法(访谈、调查、观察)CHI
SurfaceFleet:探索不受设备、应用、用户和时间限制的分布式交互Brudy等人开发SurfaceFleet系统,采用弹性分布式编程技术实现跨设备应用交互,通过半透明Applets和虚拟化云端数据同步,支持异步履行交互承诺。2020FBFrederik Brudy et al.分布式团队协作知识工作者工具与工作流UIST
数字绘画板的倾斜响应技术Romat 等人探索数字绘画板的倾斜响应技术,根据显示角度动态调整交互模式,实现阅读注释、公共个人空间等场景的自适应转换。2020HRHugo Romat et al.知识工作者工具与工作流通知与中断管理UIST
InChorus:为平板设备上的数据可视化设计一致的多模态交互Srinivasan 等人设计InChorus系统,实现平板上支持笔、触摸和语音的一致多模态交互,通过12人实验验证其在数据可视化任务中的有效性。2020ASArjun Srinivasan et al.Microsoft Research & Georgia Institute of Technology语音用户界面(VUI)设计交互式数据可视化通知与中断管理CHI
致象形文字:探究个性化和沉浸感在消费和享受可视化中的作用Romat等人在VR环境中让12名参与者制作象形图,研究发现个性化和沉浸感均对提升可视化体验愉快度产生积极影响。2020HRHugo Romat et al.Université Paris-Saclay, CNRS, Inria, LRI & Microsoft Research沉浸感与临场感研究数据故事讲述(Data Storytelling)可视化感知与认知CHI
SpaceInk:为上下文注释创造空间Romat 等人提出 SpaceInk 设计空间,通过触控笔+触控技术动态重排文档为手写注释创造空间,简化注释流程。2019HRHugo Romat et al.知识工作者工具与工作流原型设计与用户测试UIST
感知姿势感知的平板电脑笔+触摸交互Zhang 等人提出结合电容屏、惯性运动和电场传感器的姿态感知技术,实现笔+触摸交互对身体和握持姿态的细粒度自适应。2019YZYang Zhang et al.Microsoft Research & Carnegie Mellon University手部手势识别人体姿态与行为识别CHI
HoloDoc:启用混合现实工作空间,利用物理和数字内容Li 等人设计HoloDoc混合现实系统,融合实体与数字文档优势,通过丰富的交互和动态虚拟内容增强实体对象,提升文档分析效率。2019ZLZhen Li et al.University of Toronto混合现实工作空间交互式数据可视化CHI
ActiveInk: (Th)Inking与数据Romat 等人开发 ActiveInk 系统,支持笔触无缝转换数据探索与主动标记行为,通过激活墨水笔画实现分析操作,助力意义构建。2019HRHugo Romat et al.Microsoft Research交互式数据可视化数据故事讲述(Data Storytelling)CHI
DataToon:使用笔+触控交互绘制动态网络漫画Kim 等人开发DataToon数据漫画工具,结合笔和触控交互,支持快速生成可视化面板并定位布局,用户研究证实参与者能快速学会制作数据漫画。2019NKNam Wook Kim et al.Microsoft Research & Harvard University交互式数据可视化数据故事讲述(Data Storytelling)代码创作与计算艺术CHI