基于VR/AR技术的PKP手术指导系统的设计及应用

基于VR/AR技术的PKP手术指导系统的设计及应用

董康然1朱伟健2王健林2张海娣1

1.绍兴文理学院附属医院浙江省绍兴市312000；2.绍兴市人民医院浙江省绍兴市312000

摘要：基于VR/AR技术的PKP手术指导系统通过虚拟现实术前计划系统可在术前提供充分的立体三维信息，模拟手术可帮助术者充掌握患者身体特点和手术进针点、进针角度及进针深度等参数，术中依上述参数操作可使骨穿针到达预定位置。VR技术应用于验证PKP的术前计划可行且有效，有效降低手术意外的发生。

关键词：VR/AR技术；PKP；手术指导系统

DesignandApplicationofPKPOperationguidancesystembasedonVR/ARTechnology

DONGKan-ran，ZHUwei-jian，WAGNjian-lin，ZHANGHai-di，elal.

【Abstract】ThePKPsurgicalguidancesystembasedonVR/ARtechnologycanprovidesufficientstereoscopicthree-dimensionalinformationbeforesurgerythroughthevirtualrealitypreoperativeplanningsystem.Thesimulatedsurgerycanhelpthesurgeontograspthepatient'sphysicalcharacteristicsandthesurgicalneedlepoint，needleangleandadvancement.Parameterssuchasthedepthoftheneedle，duringtheoperationaccordingtotheaboveparameters，thebonecanbeinsertedintothepredeterminedposition.ThepreoperativeplanningofVRtechnologyforverifyingPKPisfeasibleandeffective，effectivelyreducingtheoccurrenceofsurgicalaccidents.

【Keywords】VR/ARtechnology，PKP，Surgicalguidancesystem

随着VR技术的突飞猛进，VR覆盖的应用领域也越来越广。其中虚拟现实VR医疗是VR技术最有意义的应用领域之一[1]，虚拟现实VR医疗对人类来说是一大重要的进步。而且虚拟现实VR医疗的发展也是构建未来智慧医疗体系的必经之路。VR技术在医疗领域有着广泛的作用。虚拟现实技术给医生从无到有地制造了一个完全真实的体验经历，刚刚走出医学院校门的新手，借助虚拟手术系统可

以成为经验丰富的外科手术高手。同时可以大大缩短培训的时间，培养更加专业的生，今的医疗负担。

1.设计概述

系统通过虚拟现实术前计划系统可在术前提供充分的立体三维信息，模拟手术可帮助术者充掌握患者身体特点和手术进针点、进针角度及进针深度等参数，术中依上述参数操作可使骨穿针到达预定位置。VR技术应用于验证PKP的术前计划可行且有效，有效降低手术意外的发生。

手术中系统集成CT、核磁设备，通过术中的CT影像资料、核磁影像资料与术前的资料比对模块，快速掌握手术进度、效果情况。

术后依据术中获取的ct影像资料、核磁影像资料后保存，并与系统中的“手术评价标准”参数比对，自动或者像专家提供参考评测分值，帮助专家完成对某一特定手术的评价，并根据各项评价情况，给出评判结果。系统功能框架如图1。

◆

图1系统功能框架图

●术前

术前方案模板：医生设计出包含预定的进针通路，记录进针点、进针角度及进针深度等参数的术前方案（术前方案参数必须在参数库中选择，即此参数的参考点或者基线、基面等数据是在三维建模中被考虑到的）。

术前方案管理：医生依照选择的术前方案模板，进行术前方案参数范围估值填写。

手术方案推演：医生搭建好手术环境后，进行患者的选择，系统自动提供患者各项身体参数信息，医生掌握这些信息后开始进行手术方案推演；手术完成后，系统会根据医生的实际操作情况，依据系统手术评分标准进行打分，并将操作信息视频保存。

我的推演记录：系统将医生的手术模拟以录屏的方式记录和保存在系统中，支持点击和回放。医生可以对自己的模拟记录进行删除和查询操作。

●术中

指导案例：医生可以在“我的模拟记录”中设置某一个或多个模拟记录为指导案例，设置后，该模拟记录将在“指导案例”中可见，而指导案例是所有人员共享可见的模块。大屏播放视频选择的视频来源也是指导案例。

CT影像：系统集成CT影像系统，可以同时打开患者历史CT影像信息和术中影像信息，并可以进行比对，指导手术操作

核磁影像：系统集成核磁影像系统，可以同时打开患者历史核磁影像信息和术中影像信息，并可以进行比对，指导手术操作

标绘面板：系统提供标绘面板，可以在影像资料上面进行点线面的标绘，并可以放大局部。

大屏管理：手术中手术室触控播放大屏管理系统。系统资源关联系统中的“指导案例”库，可以简单快捷的打开术前模拟录屏视频资料，并控制播放速度，或者进行细节回放、重播。

●术后

手术评分标准：患者术前均行CTA或MRA检查，将影像数据传入VR系统工作站中，进行VR立体三维重建，设计出预定的进针通路，记录进针点、进针角度及进针深度，确定手术方案，拟行经皮穿刺椎体后凸成形术（PKP）术者进行VR模拟手术，记录预定针尖位置距椎体中线及椎体前壁的距离，再与术中正侧位X线透视所测得的实际针尖距椎体中轴线及椎体前壁的距离做比较，计算差值，取差值大的一个参与最终评价，差值5mm以下为优，5-10mm为良，10mm以上为差。此标准在系统中提前设置为评分模型。

手速术后评估：对每个完成的手术按照评估标准进行打分，确定出手术完成质量的高低。

2.工作原理

医学CTA/MRA图像的三维建模技术主要是指以CT/MRA断层图像为基础，综合运用计算机图像处理计算机图形学计算机辅助几何设计等理论，构造人骨的CAD三维模型。[2]这个过程可以分为两大部分：CTA/MRA图像数据采集和三维重建。如图所示，CTA图像到仿生骨骼系统图。

1、手术评价标准

患者术前均行CTA或MRA检查，将影像数据传入VR系统工作站中，进行VR立体三维重建，设计出预定的进针通路，记录进针点、进针角度及进针深度，确定手术方案，拟行经皮穿刺椎体后凸成形术（PKP）术者进行VR模拟手术，记录预定针尖位置距椎体中线及椎体前壁的距离，再与术中正侧位X线透视所测得的实际针尖距椎体中轴线及椎体前壁的距离做比较，计算差值，取差值大的一个参与最终评价[3]，差值5mm以下为优，5-10mm为良，10mm以上为差。

2、CT影像系统、核磁系统集成展示及标绘面板

与各类CT、核磁系统做数据库层面的对接，时时获取指定患者的影像资料信息后在本系统相应模块中做展示；系统提供标绘面板，可进行点线面的标绘[4]。

3、术中手术流程影像资料展示触控大屏

医生将术前本患者模型下模拟练习中操作最满意的一次操作信息保存（可以是自己操作，也可以是导师操作），在术前练习中按步骤参考比对，也可以在术中进行手术流程影像资料按步骤播放展示。

3.总结

VR系统所提供的术前影像为三维立体影像，较传统的CTA、MRA、DSA更为真实、可靠，可以充分显示出椎体与椎体的关系及距离，为手术提供了更为详尽的信息。对于从事手术的年轻外科医生而言，最困难的不是对解剖位置的记忆，而是对立体结构三维想象。VR手术系统术前计划具有较好的“身临其境”感和人机交互性，让年轻医生可以得到更好的学习。术中指导医生手术，术后记录相关数据，手术评分标准，对手术质量评价。VR技术的应用让我们看到了电子计算机的发展对传统临床医学的推动作用，受益的不仅是患者，还有医生。

参考文献：

[1]黎学坚，黄泽文，苏渊湖.浅谈虚拟现实技术在医疗领域中的应用[J].广东科技，2015，7（14）：76-78

[2]黄露，朱明，张伟峰.基于人工路标的室内机器人导航方法[J].计算机系统应用，2017，26（7）：1-9

[3]杜航原，郝燕玲，赵玉新.基于模糊自适应卡尔曼滤波的算法[J].华中科技大学学报自然科学版，2012，40（1）：58-62

[4]孟颖，洪如.虚拟现实技术在骨科手术导航系统中的应用[J][J].装备制造技术，2010，（5）：104-105

基金项目：浙江省医药卫生卫生科技（编号：2018276762）