扩展现实技术，是虚拟现实、增强现实和混合现实这3种技术以及其他类似沉浸式技术的统称，其创新应用在传统行业及数字化领域均有广阔的发展前景。近年来，在我国航天员训练中，虚拟现实技术及混合现实技术也得到应用。

上期内容中，我们介绍了虚拟现实技术在我国航天员训练中的应用，本期内容中，我们将继续介绍混合现实技术的应用。针对实物/半实物难以模拟的典型设备操作和故障排除等任务，利用混合现实技术，借助目前已有的实物、半实物模拟器环境，实现复杂设备智能虚拟辅助指导或智能定点定位引导操作，可应用于三维沉浸式天地远程支持。

 

 

混合现实技术是通过在现实环境中引入虚拟对象/场景信息，在现实世界、虚拟世界和用户之间建立起一个交互反馈的信息回路，以扩展增强用户体验信息范围，具有真实性、实时互动性以及构想性等特点。

 

 

空间站任务中，航天员面临更加复杂的在轨维护维修、科学实验以及应急模式预案外的紧急排故等技能操作，不但对航天员的操作技能、协作技能提出了新的要求，更对复杂任务模式下的航天员支持保障手段提出了新的挑战。传统模式下航天员通过地面实物、半实物和数字仿真综合构建的模拟器进行技能训练，存在以下不足：

①空间失重模式下交互操作以及复杂典型故障等模拟程度有限或者难以在地面模拟；

②复杂任务的操作通常通过手动查看文字图片手册来进行，理解容易有歧义且无法高效工作；

③远程天地支持通常通过语音和有限实时视频图像进行，支持中的语义理解受到限制。

在航天员训练和支持中，借助目前已有的实物、半实物模拟器环境，增加实物难以模拟的场景，达到虚实融合，可以实现常规实物半实物难以模拟的典型设备操作和故障排除、失重运动操作、复杂设备智能虚拟辅助指导或智能定点定位引导操作、天地远程支持模式下三维沉浸式指导标注等功能。为适应空间站航天员典型训练和支持任务动态变化需求，设计并实现了便于快速配置和扩展研发的航天员混合现实训练与支持系统的技术框架。针对训练和支持的特因环境，研究实现了空间弱纹理以及失重模式下的纯视觉位姿估计算法；针对训练中的多人协同以及天地远程支持，解决了对象操作同步、Mesh Anchor虚实空间匹配、天地虚拟场景虚虚匹配等关键技术，为当前工程任务完成提供了支持途径。

 

 

 

航天员混合现实训练聚焦地面训练和在轨支持2种模式。

地面训练模式主要在目前已有实物、半实物模拟器基础上，通过MR头盔实时渲染生成的三维标注信息对复杂设备操作进行虚拟导引，提高航天员操作效率与准确性；模拟损伤性火灾场景等典型性故障，用于航天员应急处置；模拟失重模式下设备操作状态，用于航天员熟悉在轨作业状态；用虚拟模式补充模拟舱内工程实物、半实物实现难度大的设备，构建真实的在轨空间环境。

在轨支持模式除复杂设备操作自主导引外，重点实现天地协同定点定位的三维协同支持。航天员佩戴MR头盔，实时下传操作场景，地面根据下传图像建立Mesh空间与预先虚拟场景进行虚虚匹配，在与空间一致的相对坐标位置进行虚拟信息的实时设置，上传虚实叠加导引，指导航天员定点定位操作。

 

 

依据航天员地面和在轨训练需求，科研团队设计了面向多人协同以及远程支持的混合现实训练与支持技术框架，研制了基于增强现实的航天员远程专家辅助系统，该系统为航天员复杂操作训练提供实时远程专家多模式支持，并在空间实验室任务组合体训练模拟器内进行实验验证。结果表明，与传统电子手册模式相比，可以提高航天员执行复杂工作的效率。

 

体系框架设计

 

 

 

 

基于设计的体系框架，针对典型任务训练，实现了出舱活动程序、应急火灾、环控生保在轨可更换单元、科学机柜在轨可更换单元以及控制力矩陀螺维修等任务的混合现实训练支持单机诱导程序。

航天员佩戴便携式混合现实眼镜，通过语音或手势指令与混合现实系统进行交互。混合现实系统对环境信息进行分析，得到可视化语义指导信息，叠加到现实环境中。航天员可通过透射式眼镜获取混合现实引导场景。

航天员混合现实训练系统根据场景理解模块识别结果及场景定位信息，记录采集图片在真实环境中的位置，调用引导信息库和引导模型库中相关设备的操作引导流程，在采集图片位置上进行叠加。具体方式为依据识别出的模型类型，从引导信息库和模型库中提取相关虚拟模型，然后将虚拟模型放置在识别出的边界框中，并投射至采集图片的位置上。如图所示，虚拟模型在混合现实场景中叠加在真实设备上，并显示虚拟箭头，引导航天员对设备进行操作训练。

 

混合现实训练环境

场景理解本地识别示意图

航天员混合现实系统引导场景

 

航天员可以通过MR协同模式进行多人训练与操作，地面专家可以通过MR远程支持模式对在轨航天员进行三维标注沉浸支持，提高支持效率和精准性。执行任务的航天员表示作为一种新颖训练手段，MR操作使用便捷方便，对解放双手和复杂程序引导有直观的辅助支持作用，提高了训练质量和效率，可以作为在轨自主训练和应急支持手段。

 

素材来源/中国航天员科研训练中心