沉浸式学习与演练中心
从基础理论研究、关键技术创新、推广应用示范三个层次展开系统性研究,研发了神经外科手术协同训练系统以及云应用平台。
主要创新如下:
1.研发了多模图像融合建立颅脑三维模型及模块化实体构筑技术。实现了颅脑不同组织的生物学特征在视、触觉上的直观体现,提高了手术操作的真实体验感。相比于传统单组织建模方法,实现对颅骨、血管、头皮、脑室、脑组织的5种不同组织结构建模,实体模型的力学性能还原度达80%。
2.研发了多目视觉下手术器械高效追踪定位技术。实现了颅脑模型与器械位姿信息的实时稳定获取,突破了单目视觉下追踪目标少、目标易丢失的局限性,有效提升了线上虚拟训练的临场感。器械跟踪精确度达到95.5%,相较于现有通用算法提升5%。
3.提出了虚拟、实体及医生间多模态融合交互技术。构建了包含视觉、触觉、听觉、运动的4种感知模态的手术环境,实现了虚实场景下医生与颅脑模型及器械的全方位融合,增强了实践操作能力。相比于通用算法,模拟训练中仿真力准确率达75%。
4.研发了手术技能的在线全方位考评技术。以颅脑解剖结构认知、阅片能力、术前规划、术中操作与纠错、术后判断为核心要素,实现了“全方位、全过程、全覆盖”的系统性考核,突破了依靠带教医师主观且非量化的评价模式,提供5要素10种量化考评指标。