该项目选择汽车导航和交互式口语学习两个典型展示领域，研究实现以口语为主，融合行为、情感等信息的口语分析与理解、多模态响应信息生成等，突破多模态信息在识别理解尤其在对话管理层次的深度融合。本项目通过融入对话结构和对对话建模状态空间的分类，减少用户模型和管理模型对数据资源规模的要求，同时通过用户模型加强对话模型的建模能力。通过综合集成语音等多模态信息识别，本研究成果可以广泛用于改善各种人机对话系统的效率和方便程度，从而提高社会的信息化程度。