视听言语感知的神经机制

摘要： 视听言语感知是人类特有的、重要的多模态信息处理能力, 是语言领域与感知觉领域高度交叉的研究主题。目前, 对视听言语感知的计算神经机制研究仍处于起步阶段。其中关键的科学问题是“人脑如何从模态特异的听觉信号和视觉信号中形成超模态语义表征”。围绕该问题, 我们设计了两项研究。研究一旨在从视听加工操作和视听信息表征两个角度, 界定视听言语感知大脑网络的核心脑区。研究二基于贝叶斯因果推断理论, 聚焦言语信号中不同抽象水平的视听关系, 考察人脑如何根据视听关系所反映的因果结构, 灵活地整合视听言语信号。研究成果将深化对人脑多模态信息整合机理的认识, 拓展对语言处理机制的理解; 对于开发符合人类心智规律的多模态人工智能交流系统有独特的启发价值。