【摘要】研究在轨人机交互的技术瓶颈在于如何实现视觉、听觉等多源传感器信息的高效融合，以满足一系列耗时长、难度大、风险高、环境恶劣的空间任务需求。为此提出了一种基于多模态信息融合的在轨人机交互系统设计，构建了适应于不同任务需求和极端环境的人机交互体系架构，设计了近程/远程交互方案，构建沉浸式多源信息交互机制，并提供自然友好、高效便捷的人机交互接口。开展了多模态信息交互地面验证试验，结果表明，在轨交互涉及的复杂场景三维重建、人体姿态估计结果能有效克服时延大、临场感差等缺陷；经训练后的机器人对规定手势、语音指令的平均识别正确率分别可达74%和86.1%。

【关键词】空间服务机器人；在轨人机交互；近程交互；远程交互；多模态信息融合

【作者】谭启蒙；陈磊；周永辉；孙沂昆；王耀兵；高升