ADCanvas:为失明和低视力创作者打造的可访问对话式音频描述创作工具Li 等人开发 ADCanvas 多模态系统,支持视障创作者通过对话交互和键盘控制非视觉化创作音频描述,12 名用户研究表明对话代理可作为信息助手和起草助手,同时保持用户编辑主动权。2026FLFranklin Mingzhe Li et al.卡内基梅隆大学语音可访问性AI 辅助创意写作AI辅助写作与文本生成CHI
Gensors:利用多模态基础模型与推理构建个性化视觉传感器Liu 等人开发 Gensors 系统,利用多模态大语言模型帮助用户构建个性化视觉传感器,通过自动生成标准、并行测试调试和压力测试建议,显著提升用户定义传感器的掌控感与沟通便利性。2025MLMichael Xieyang Liu et al.卡内基梅隆大学眼动追踪与注视交互环境感知与上下文计算普适计算(Ubiquitous Computing)IUI
硒石:利用大型语言模型生成的综合概述在线构建意义框架Liu 等人构建Selenite系统,利用LLM作为推理机器自动生成选项和标准概述,显著加速信息处理并提升意义构建体验。2024MLMichael Xieyang Liu et al.卡内基梅隆大学大语言模型(LLM)的人机协作可解释人工智能(XAI)AI 辅助决策与自动化系统CHI
对视力障碍者在烹饪中的情境探究Li 等人通过12名视力受损厨师的情境探究,发现其依赖位置、方向、状态等八种上下文信息及锅具识别策略,为辅助视觉技术设计提供依据。2024FLFranklin Mingzhe Li et al.卡内基梅隆大学视觉障碍者技术(屏幕阅读器、触觉图形、盲文)环境感知与上下文计算CHI
使用实时注释工具促进咨询师的经验培训Chen 等人开发 Pin-MI 实时标注工具,通过互动角色扮演支持动机访谈经验学习,帮助医疗专业人员培养同理心并获得针对性反馈。2023TCTianying Chen et al.卡内基梅隆大学心理健康应用与在线支持社区原型设计与用户测试CHI
《它想让我怎么说》:弥合最终用户程序员与代码生成大型语言模型之间的抽象差距Liu 等人提出基于事实的抽象匹配方法,通过将代码翻译回自然语言弥合非专家与代码生成模型间的抽象差距,提升用户理解2023MLMichael Xieyang Liu et al.卡内基梅隆大学生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
Wigglite:低成本信息收集与分类Liu等人提出wiggling交互技术,通过指针快速摆动或手机上下滑动手势,帮助用户轻量级收集整理信息并编码心理情境,操作成本降低58%,速度提升24%。2022MLMichael Xieyang Liu et al.卡内基梅隆大学原型设计与用户测试UIST
结晶体:降低开发者收集和组织决策信息的成本Liu 等人开发 Crystalline 系统,利用自然语言处理和被动行为信号自动收集整理网络信息,使开发者创建比较表格速度提升约 20%,操作成本降低 60%2022MLMichael Xieyang Liu et al.卡内基梅隆大学大语言模型(LLM)的人机协作交互式数据可视化计算方法在HCI中的应用CHI
理解程序员如何在文档中使用注解Horvath 等人开发 Adamite 注释工具,支持开发者在 API 文档中创建上下文相关注释,使任务完成效率提升 67%2022AHAmber Horvath et al.卡内基梅隆大学编程教育与计算思维知识工作者工具与工作流CHI
"重用还是不重用?":一个评估总结知识的框架和系统Liu 等人提出 Strata 系统,通过捕获决策者行为并可视化信号,帮助开发者评估编程知识的重用适当性,显著提升决策准确性、深度和速度。2021MLMichael Xieyang Liu et al.卡内基梅隆大学Algorithms and Decision MakingCSCW
Unakite:利用 Web 支持开发者的决策制定Liu 等人开发 Unakite 原型系统帮助开发者收集和组织权衡信息,评估显示该工具可将信息收集成本降低 45%,比较表使理解速度提高约 3 倍。2019MLMichael Xieyang Liu et al.卡内基梅隆大学可解释人工智能(XAI)AI 辅助决策与自动化系统计算方法在HCI中的应用UIST
Popup:基于粒子过滤聚合众包响应重建3D视频Song 等人提出Popup方法,利用粒子过滤聚合众包不同视频帧的3D对象标注,相对误差降低33%,为困难标注任务提供通用解决方案。2019JSJean Y Song et al.密歇根大学遥操作驾驶(Teleoperation)众包任务设计与质量控制IUI