我看到了一个IC：研究硬件逆向工程中人类问题解决过程的混合方法

文献标题

I see an IC: A Mixed-Methods Approach to Study Human Problem-Solving Processes in Hardware Reverse Engineering

文献信息

• 主题领域: 硬件逆向工程 (Hardware Reverse Engineering, HRE) 和人机交互 (Human Computer Interaction, HCI)
• 关键词: 硬件逆向工程, 集成电路, 眼动追踪, 逐声思维 (Think Aloud), 混合法研究, 问题解决, 半导体行业

研究背景与问题

• 发现的问题或挑战:

  1. 硬件逆向工程（HRE）需要工具和分析师的密切协作，但缺乏针对人类分析师如何解决问题的详细研究。
  2. 使用眼动追踪和逐声思维方法研究人的认知和行为过程已经在其他领域有应用，但在HRE领域尚属空白。
  3. 现有文献中对逐声思维 (Think Aloud, TA) 和眼动数据结合的方法得出结论不一致，缺乏方法学一致性。

• 研究的重要性:

  • 硬件信任和安全需要有效的逆向工程研究来识别伪造和恶意硬件组件。
  • 更好地理解人类分析师的行为能够促进教学工具和硬件保护方案的开发。

• 研究动机与相关工作:

  • Lee和Johnson-Laird将HRE描述为一种复杂的需频繁重新评估假设的特殊问题解决场景。
  • 人机交互研究、眼动追踪技术和逐声思维技术已成功用于其他领域探索问题解决的认知和行为特征。

解决方案

• 提出的方法或解决方案:

  • 构建基于眼动跟踪和逐声思维 (Think Aloud, TA) 的混合法(Hybrid Methodology)，以研究HRE中的问题解决过程。
  • 实验与41名参与者进行硬件逆向任务，通过眼动追踪和逐声思维数据捕获他们的视觉注意力和思维过程。

• 创新之处:

  1. 首次在HRE领域结合逐声思维与眼动追踪方法。
  2. 提出两种逐声思维方法（同步（CTA）和回顾性（RTA））的比较评估，并结合眼动数据提供更细粒度的问题解决过程理解。
  3. 在实验设计中测试不同任务复杂性（普通任务与门逻辑伪装任务）如何对问题解决影响。

• 实施步骤与关键技术:

  1. 设计基于游戏模拟的逆向工程任务(ReverSim)并结合眼动追踪设备（Tobii Pro Nano）。
  2. 对参与者的行为进行逐声思维记录（同时与任务进程并行记录CTA或基于事后复盘的RTA）。
  3. 通过AOI（兴趣区域）分析和定量的眼动跟踪数据识别任务的关键要点，量化注视分布特性。
  4. 结合逐声思维的代码分割与内容分析框架进行行为认识的深度研究。

研究成果

• 具体成果:

  1. 眼动追踪的可行性:
     • 眼动追踪揭示不同电路元件上的视觉分布特性，甚至在复杂场景下可以区分不同逻辑门的研究深度。
  2. 逐声思维的比较:
     • RTA在生成较多的高层次反思上更具优势，而CTA在记录细粒度行为和实时同步性方面有突出表现。
  3. 结合方式的潜力:
     • 将TA数据与眼动热图结合提供了参与者在电路分析的导航模式。
     • 眼动数据可用于识别参与者的任务解决策略，从而减少对手动标注的依赖。
  4. 任务案例分析:
     • 将干扰性较强的“伪装门”（Camouflaged Gates）用于引导攻击者的注意力，是一种潜在的“认知干扰”保护方法。

• 与现有解决方案的比较优势:

  • 不同于依赖工具输出的方法，提出的方法直接研究分析师的认知过程，为更高效的硬件保护和教育措施开发提供新视角。

• 实验与评估结果:

  1. 眼动指标（如注视时间和注视频率）表明，伪装门对视觉注意力有显著的分散作用。
  2. TA方法未显著影响参与者的任务性能和用户体验。
  3. 方法验证了混合分析相较单一方法的优势，加速了行为分析模型的实现。

• 局限性与未来方向:

  1. 局限性:
     • 参与者主要集中于年轻且受过良好教育的学生群体，样本局限性可能影响外部效度。
     • 非英语母语的参与者或许无法完全准确表达其思维。
     • 未全面涵盖认知因素如工作记忆和压力等对HRE过程的影响。
  2. 未来方向:
     • 自动化AOI定义和基于机器学习的行为分析。
     • 探索眼动与其他生理特征（如瞳孔扩张、电生理信号等）的共同潜力。
     • 擴展到更复杂的电路任务和更高级别的认知因素定量分析。

通过此次研究，作者不仅验证了所提出方法的可行性，还为硬件安全领域及其它视觉密集型问题解决领域提供了新的方法学指引。