听起来软糯：理解可变形形状与声音的跨模态对应关系

计算界面正变得越来越复杂，系统同时调动多个感觉通道。可变形和形状变化界面提供丰富的触觉体验，但关于如何与其他模态的感官反馈相结合的理解有限。我们系统性地探索了可变形形状的音频、视觉和触觉跨模态对应关系，特别关注听觉反馈。50名参与者被要求在视觉-触觉和仅触觉条件下，将具有不同硬度和形状的可变形触觉刺激与音高、亮度、淡入时间和淡出时间等声音质量进行关联。我们的发现提供了首次洞察：（1）形状，其形式和可见性，在音高和亮度的关联中起重要作用；（2）硬度在声音淡入淡出时间的关联中起主导作用。这些发现提炼成将听觉反馈集成到物理界面的首批设计指南。