μCap:面向听障人士的器乐音乐字幕系统Ahn 等人开发了μCap器乐音乐字幕系统,采用音频特征提取和RAG管道生成音效模拟字幕,让听障用户也能欣赏器乐作品,显著提升了音乐沉浸感与细节感知。2026SASooYeon Ahn et al.Gwangju Institute of Science and Technology听觉障碍者支持(字幕、手语、振动)音频无障碍(字幕、手语、振动)CHI
从每日歌曲到每日自我:通过生成式AI歌曲创作支持失聪及重听人士的情感成长Choi 等人设计SoulNote系统,通过生成式AI支持的迭代歌曲创作帮助失聪及重听人士实现自我洞察、情感调节和日常态度改善的持续情感成长。2026YCYoujin Choi et al.Gwangju Institute of Science and Technology生成式AI(文本、图像、音乐、视频)情感反馈与情绪调节界面情感化人机对话CHI
通过前注意处理和双眼竞争理解基于注视的VR身份识别Jeon 等人通过前注意处理和双眼竞争机制研究VR中基于注视的身份识别,证实了使用26人、44,928个注视样本进行闭集识别的可行性,并发现用户对登录结果透明度有更高需求。2026JJJunryeol Jeon et al.Gwangju Institute of Science and Technology眼动追踪与注视交互语音用户界面(VUI)设计密码与身份认证CHI
为失聪和听力障碍个体设计生成式AI辅助音乐心理治疗工具Choi 等人设计了一款结合对话代理和音乐生成AI的心理治疗工具,让23名失聪及听力障碍个体通过协作歌曲创作实现情感释放和自我理解。2026YCYoujin Choi et al.Gwangju Institute of Science and Technology生成式AI(文本、图像、音乐、视频)智能语音助手(Alexa、Siri 等)听觉障碍者支持(字幕、手语、振动)CHI
HumanoidTurk: 扩展 VR 触觉技术——利用人形机器人驱动驾驶模拟Lee 等人开发了 HumanoidTurk 系统,将游戏中的 g 力转化为 VR 驾驶的同步人形机器人运动反馈,显著提升沉浸感、真实感和乐趣,但带来中等程度的舒适度与晕动症代价。2026DLDaeHo Lee et al.Gwangju Institute of Science and Technology车内触觉、声音、多模态反馈沉浸感与临场感研究机器人在教育与医疗中的应用CHI
确保平等音乐协作:混合听力群体音乐创作活动的经验教训Lee 等人比较传统与多模态辅助工具在混合听力群体音乐协作中的效果,揭示感官包容如何促进角色转变实现平等参与。2025CLChungHa Lee et al.Deaf and Hard-of-Hearing ResearchCSCW
OnomaCap:通过拟声词声音表示使非语音字幕易于访问和享受Kim等人开发声音-拟声词模型,收集7962对声音数据实验表明,拟声词显著改善聋人观众视频观看体验,最受欢迎的是结合类别与拟声词的字幕形式。2025JKJooYeong Kim et al.Gwangju Institute of Science and Technology, School of Integrated Technology/Soft Computing & Interaction Laboratory语音可访问性听觉障碍者支持(字幕、手语、振动)通用设计与包容性设计CHI
MVPrompt: 为AI艺术家构建音乐视觉提示以创作音乐视频场景设计Lee等人开发MVPrompt工具,通过设计研讨会确定目标并生成音乐视觉场景布置提示,24位AI艺术家用户研究验证其在视觉主题探索与场景语法规则细化阶段的协作创意效果。2025CLChungHa Lee et al.Gwangju Institute of Science and Technology, School of Integrated Technology/Soft Computing & Interaction Laboratory生成式AI(文本、图像、音乐、视频)AI 辅助创意写作视频制作与编辑CHI
理解基于提示的音乐生成人工智能的潜力和局限性Choi 等人评估三种音乐生成 AI 互动模式,发现专家用它验证音乐概念,新手生成参考样本,非专业人士将抽象想法转化为作品,揭示了基于提示 GenAI 的局限性。2025YCYoujin Choi et al.Gwangju Institute of Science and Technology, School of Integrated Technology/Soft Computing & Interaction Laboratory生成式AI(文本、图像、音乐、视频)音乐创作与声音设计工具CHI
BIASsist:通过偏见识别、解释和中立化来增强新闻读者Noh 等人提出BIASsist方法,通过LLM识别、解释和中和六种新闻偏见,36名参与者实验表明该方法显著提高读者偏见意识与批判性评估能力。2025YNYeo-Gyeong Noh et al.Gwangju Institute of Science and Technology, School of Integrated TechnologyAI 辅助决策与自动化系统AI 伦理、公平与问责虚假信息与事实核查CHI
探索音乐生成人工智能在聋人和听力障碍人士音乐创作中的潜力Choi 等人开发多模式音乐创作辅助工具,使聋人和听力障碍用户通过语言交互、视觉和触觉反馈独立创作音乐,增强其音乐创作信心与表达能力。2025YCYoujin Choi et al.Gwangju Institute of Science and Technology, School of Integrated Technology/Soft Computing & Interaction Laboratory生成式AI(文本、图像、音乐、视频)听觉障碍者支持(字幕、手语、振动)音乐创作与声音设计工具CHI
一种让聋人和重听人士通过探索和定制跨模式音乐概念来享受音乐的方式Choi 等人设计跨模式音乐概念化系统,帮助28名聋人和重听人士通过探索视觉和振动参数改善音乐欣赏体验,转变负面态度。2024YCYoujin Choi et al.Gwangju Institute of Science and Technology听觉障碍者支持(字幕、手语、振动)音乐创作与声音设计工具CHI
可见的细微差别:为聋人和重听人士可视化副语言语音线索的字幕系统Kim 等人设计音频可视化字幕系统,将副语言线索转化为字幕元素,与 20 名 DHH 参与者实验表明正式演讲时识别细微差别准确率显著提升2023JKJooYeong Kim et al.Gwangju Institute of Science and Technology语音可访问性听觉障碍者支持(字幕、手语、振动)通用设计与包容性设计CHI
我们节奏感地玩和学习:为智力发育障碍儿童设计的基于手势的节奏游戏以学习手动标志Choi 等人为IDD儿童开发Sondam节奏游戏,四周实验表明其能有效提升儿童注意力、动机和自愿手势数量,解决手语教学挑战。2022YCYoujin Choi et al.Gwangju Institute of Science and Technology手部手势识别严肃游戏与功能游戏特殊教育技术CHI
造型词:一种简单自然的方法,用于增加手势识别训练数据收集的变异性Kang 等人提出风格词方法,在手势数据收集中加入如“更快执行”等指令词,显著增加训练数据变异性并提升模型泛化性能。2021WKWoojin Kang et al.Gwangju Institute of Science and Technology手部手势识别可视化感知与认知CHI