您所在的位置:首页 > i医疗 > 智能医疗设备 >  张强医生:VR+医疗五大结合应用
张强医生:VR+医疗五大结合应用
  • 2016-04-26 16:13
  • 作者:张强 潘耿
  • 来源:火石在线

洞悉全球医健创新创业实践

我们自己做医生集团是基于我们过去认为,中国整个医疗产业生态里面,医生一直是被忽略的一个群体。过去在我们传统的体系里面,医生的身份都是医院雇员的时候,医生的劳动力和创造力实际上受到了一定程度的约束。我们出来独立成立了医生集团之后,整个生态包括保险、医疗、医院、互联网、药品、器械等,所有的环节都要靠医生来实现它的应用。我们出来以后也受到了各家产业机构的看好,我们的创造力也得到了释放,VR就是其中一个很重要的领域。

对VR技术的结缘于大学时代的实训课程的幻想

说起VR,以前我没有概念,我上大学的时候上解剖课就很头痛,书本上显示的解剖没有立体的概念。那个时候没有3D解剖,通过尸体解剖来获得3D的概念。而尸体又很紧张,大概八个人一组去解剖,解剖剩下的东西还要留给附属医院的医生。所以一具尸体,代价很高、成本很高,而我们接触的机会也很少。解剖课能够进入到解剖尸体的话,课程也不是很多。又是几个人一组轮流解剖,大家真正能看到这个东西的很少,如果前面有一个人解剖坏了,就不能看到原貌。而尸体又都是靠福尔马林浸泡的,所以一堂课进去大家都在流眼泪。即便是这样,大家的热情还是很高,因为通过解剖的确能在我们的脑海中浮现出书本上学习的东西。

那个时候就有一种想法,如果是立体的模型该多好,那时候也有一些模型,比如解剖的标本或是什么,但是人与标本之间没有互动。那时候就觉得学解剖是一件非常痛苦的事情,一直在想,如果有一个模拟的东西,像打游戏一样的,可以随时剖开来,来来回回地看,那对我们的解剖该多有帮助。

那其实就是VR的一种雏形,当时还没有电脑等很多东西,就是一个想法,我就想世界上有没有这样一种东西。当时我觉得只有外星人才有这个东西,但是现在发现很多现今的东西已经比我当时想的还要好。今天,我们就来谈谈虚拟现实在医生集团可以有哪些可想象的应用。

我从一个医生的角度来看VR技术,大致可将其分为五大应用。这五大类应用在将来可能给我们VR技术的研发机构提供思路,因为医生知道哪些VR技术是能够真正在应用过程中提高我们的医疗品质的,所以我就把这五个应用跟大家分享一下。

第一个应用就是解决我们解剖学的学习问题。

我们现在大学的学制是八年,我自己经常在想,伴随互联网的继续发展,如果我们的医学学习能够通过VR的技术,我认为至少在解剖学的学习上课程可缩短80%,这基于一个非常逼真、立体、可互动的虚拟现实。心脏的虚拟现实非常逼真,我可以把心脏托在手里面,随时都可以转圈、打开肌肉看,血流都可以看,这就可以大大缩短我们的学习周期。尤其对于外科医生来讲,外科医生一个很重要的知识就是解剖知识,局部解剖知识。局部解剖知识以前我们通过书本的学习,看到的都是平面的东西,脑子里很少有立体的概念,无法产生互动。VR技术的出现使得外科医生在做手术之前,就能获得局部解剖的经验,能够有效提高手术的安全性。而我们的医学生通过VR解剖技术,学习速度会大大加快,同时降低学习的成本。当然我们不仅仅是在医学的解剖学上面,我认为是在生理生化方面都是我们可以通过VR技术模拟的场景,就涉及一些我们肉眼看不到的东西,比如说化学反应、生理的改变,这种改变就可以通过虚拟现实的模拟。如果我们可以获得很形象的信息的话,对医生的知识拓展和学习速度都会加快。

第二个应用,我们会在未来在医学生的实习中降低我们的实习成本。

我们现在医生的实习都是在现场,由老师来指导,要安排在手术室里面怎么穿衣服,怎么保证无菌状态或是怎么样,这种场景将来可以设置在VR的产品当中去的,也就是说,很多时候我们并不需要跑到医院的真实场景里面去,直接在虚拟的场景里就可以熟悉医院的整个流程。现在我们的公立医院,一大堆医生进去看病人的手术,病人也没法说什么。在未来,越来越多的病人提出来说,我不喜欢这样子,我不愿意有那么多人围着我看。这个时候怎么办?学习的必要性又不能随便取消,所以必须要有模拟的场景来体现真实学习的过程,那就是用VR的场景。这样的话呢,保护病人的隐私,第二个就是降低成本。就是一个老师带教,整个讲课的过程实质上没必要反复去重复,以前我们都是分四组,每一组轮到去的时候老师来讲一遍,那么老师可能重复讲四遍。

那么每个同学也只能进入到这个场景一次,有些同学出来以后记性不好的就忘记掉了,那么VR技术就可以解决这个问题,你可以反复地去复习,然后老师也不用讲那么多。这点来讲它教学的成本会大大下降。前面两大类就是基于未来我们可能对于年轻医生的培养上,在基础知识方面,或是新的员工如何熟悉我们的领域。我们医生集团还是在不断地优化我们的治疗场景,这种场景对于一些新的医生进来如何去熟悉,我们都可以以最快的速度,可能在家里就能够完成所有的手续过程。

第三个是模拟手术,我认为这个在未来在国际上面发展会非常快。

因为我在前面参加美国外科年会的时候,你就会看到整个会议外面的展台大概有一半都是模拟手术。这一点跟中国不一样,中国大部分是灰色收入的展台,支架或是设备之类的。他们大量摆的是模拟手术的展台,这个跟我们非常不一样,从中我们可以看出,模拟训练在国外的医疗中的应用是非常广的。

以前医生练刀的机会都是在病人身上练的,所以经常说有名的医生都是踏过多少人的血液才走过来的,这样付出的代价实在太大。在将来,模拟手术在医生成长过程中非常重要的就是,你可以在不伤害病人的前提下模拟各种场景,模拟的场景可能比你真实遇到的情况还要多,这样模拟训练的效果实际上就超过了真实的练刀。一方面,模拟训练可以在家里反复模拟,深化印象,这个在病人身上是做不到的,因为病人的资源是有限的。我们以前开刀,几个研究生围在外面一圈,里里外外三层,所以医生真正能接触到病人的机会都是很少的,模拟手术就是把每个手术都呈现在你的面前,每个人得到的机会都是无穷次的,你可以反复看,并且对病人没有伤害。

如果从这点来讲,一个经过模拟训练的医生再给病人做手术时,他的学习周期就会很短很短,这个实际上是对病人利益的极大保护。当前模拟手术在中国也已经有了,像我们参观过强生公司啊,科汇公司的外科培训中心已经有腹腔镜的模拟,也有介入手术的模拟,当然还有达芬奇手术的模拟,但这种模拟还不是真实场景的,也就是说未来在VR技术里面,可以完全进入到手术室,然后在真实的场景里面进行模拟手术,那可能就更加接近于现实。

第四大领域是我认为将来VR技术会直接进入到我们的治疗领域,就是它可以治病的。

我们认为在康复这块,虚拟现实的应用会非常的广泛,我们现在的康复主要集中在运动训练和心理上的帮助。最简单的例子就是病人在运动康复的时候,虚拟现实可以让他在一个安全的治疗环境当中,去体验外面世界有障碍的地方,让他的训练更加有趣,也可以更加真实地做一些动作。

我们甚至可以设想肩周炎的病人,他的手臂抬不起来但是他必须要做一些抬手的动作,那是不是可以让他到那个果园里面摘苹果,这个苹果要高有低,他可以摘几个苹果,他就可以进入到这个真实的虚拟世界当中去,去举手去抬起来摘苹果,这种要比医生让他抬手的动力要有效得多。

我们和北京的和睦家医院搞了一个国内唯一的血管康复中心,主要针对下肢动脉闭塞症的病人,通过运动训练的治疗效果有时候是好于支架的。这些运动训练必须是要在医生的指导下面,它的治疗周期一般在三个月左右,这时候如果有虚拟现实技术引入的话,如果在病人步行的时候设置一种场景,比如说前面五分钟是在公园,或者他喜欢在海边散步,或者国外的大街上,我相信这种训练对于病人的动力和兴趣都是很大的帮助。我们的运动训练要求他在走路走不动的时候,还要坚持走一段路,如果有这样一种场景在,对他来说是更加模拟现实生活,更加有趣好玩。

因此,VR在运动训练方面有得天独厚的优势。当然我觉得更加重要的是一个心理的支持,虚拟现实是视觉上对人的刺激,视觉刺激是非常强烈的。现实生活中,很多人心情不好的时候会想,会想到去丽江走一走,非得要跑到老远的地方释放心灵。那为什么不可以在家里就可以完成整个旅行的过程,甚至可以设计现实生活中没有的场景,跟个人的情绪产生互动。

这张图大家其实可以看到,实际上你戴上头盔看见的心脏就是跟图上看到的一样,完全是真实的就在你眼前,你可以把它拉近、放在手上、打开、转圈,这对于学习解剖是非常有用的。将来虚拟现实深度发展之后,它设计出来的就不会是一个静态解剖的图,应该会有一个动态的,比如说血流动力学都会融合进去。甚至你可以看到模拟出一种血流,假如我主动脉这个地方放了支架以后,血流改变会是怎么样的,虚拟现实可以在将来帮助医生判断血流可能产生的改变,就是通过虚拟的方式了解不同尺寸的支架对血流改变的影响,这对医生制定方案来说都是非常有帮助的。

最后一块,就是对于我们医生集团来说,我们设想未来患者体验的提升。

因为我们过去看病,患者到一个场景都是陌生的。以前我们看病,病人到了医院,这个医生根本就不了解的,我们现在医患关系的紧张实际上跟患者的体验是有关系的。也就是说,患者跟医生是在完全陌生的情况下要建立信任实际上是蛮难的。因为在美国很多是家庭医生,病人对医生事先都有了解。还有一种就是说在医生和患者之间建立信任是需要时间的,在美国都会教医生如何在最短的时间内与患者建立信任。我们国家看病的模式有点不同,现在的公立医院人多的话,三五分钟就要看一个病人,所以医生和患者的信任感还没有建立起来治疗就结束了,这个时候是很容易产生冲突的。

我们医生集团跟患者的关系非常好,是因为我们有充足的时间,即便是这样还是有一些紧张或是距离感。他到医院里来整个流程是怎么样的,他对医院也不熟悉,他的过程能不能使我们将来用VR的技术来呈现给患者,他在家里面事先都复习好了,他对于到了医院之后的流程是非常熟悉的。另外,一部分病人会对手术室产生神秘感,这个时候我们就可以考虑让患者体验手术的整个过程,让他也知道这个手术是怎么回事,那这对他消除恐惧感可能会非常有帮助。

我们的患者在手术结束回到家里之后,我们如何指导他一些东西?当然我们以前有看图片、视频、录像这样,但假如有一个虚拟现实的东西,那患者就是在医院里的感觉,这种感觉对患者的整个恢复过程都是很有帮助的。

另外一个方面,我们医生也给他们提供了许多信息,从技术角度来讲,他们会考虑到非常完美的细节。但是从医生角度来讲,哪些环节是可以简化的,哪些环节是重点,那么我们提出的这些方案可能会大量减少他们的成本,同时也会提高他们对产品培训的整个的重要性。因为一场培训课一定是有重点的,哪些致命性的差错一定会造成手术的失败,哪些是问题比较小的,如何设计成一个更接近现实的产品,我们的医生团队可以给医疗制作的团队提供很多有用的信息。我们已经做了一期了,还没有看到手术的那个东西。现在,我们接下来就请医微讯的潘总来介绍一下他们的产品和对VR的看法,也很希望知道医微讯的团队为什么选择我们的医生集团,期待医生集团在产品上能够给予他们怎样的帮助。我就先讲到这里,有请潘总继续这个话题。

医微讯CEO潘耿先生分享内容

我们的产品设计有很多都源自专业医生的亲身体会。大家刚刚看到我们做的一个3D虚拟现实产品的视频,是今天下午刚刚出炉的产品。这个产品是基于HTC Vive的虚拟交互设备。它可以像张强医生说的那样,可以让使用者在虚拟的手术室里,进行外科手术的操作。时间的关系,这一组Demo没有和张强医生合作,我们选择了一个相对简单的骨骼固定的手术做Demo。

刚刚张强医生讲到几个VR在医学领域的应用。我补充一点关于解剖教学方面,我们在跟医生用户接触的时候,大家普遍提到的问题。其实解剖和3D虚拟技术的结合很早就已经开始,但是很遗憾的是,目前为止国内没有专门针对东方人的解剖模型。目前人民卫生出版社的《解剖学》所用的解剖图谱都是源自50年代苏联引进的版本。大家看到的比较具有代表性的一些虚拟解剖的软件,大部分都是基于西方人的特点研发出来的解剖软件。这对于我们这种数字3D制作公司来说是我们的遗憾。因此我们大量的时间还是在做一些医学动画或者医学虚拟交互,而没办法做虚拟解剖方面的研究。这是我们目前遇到的难点。尽管现在我们没有完整的解剖3D模型数据图,但是我们现有的在系统解剖方面的数据是齐的。我们公司在某些如心血管、骨科、骨外科领域的数据可以满足要求。所以在今后我们所设计的产品里面,都会按照张强医生建议那样的,我们在做虚拟手术的同时都会把3D模型作为重要辅助手段,在大家操作前、操作中、以至于操作后,都能把三维模型调出来。时时刻刻从另一个视野提醒医生,现在所操作手术的进展,所处位置,有什么需要避免的血管,以及主要病灶的位置在哪里。

第二个问题是关于医学生对产品的体验。这一点张强医生说idea的非常好。因为我们没有进过手术室的人,或者很少跟外科医生接触的研发人员,体会不到进入手术室的紧张感和环境带来的效果。我进过手术室,当时的紧张感和兴奋感我印象很深刻。VR技术能对产品进行再造,能帮助我们尽快适应环境。

第三个问题是关于在模拟手术方面的研究。这个张强医生在前面也提到了它的意义和价值。我们发现很重要的问题是,现在手术具有标准化规范化的趋势。在这个过程里,难度主要体现在没办法做出有效的引导。所以我们现在进行VR手术培训的过程中,我们希望完成规范化和标准化的工作。另一个难点是技术角度的,就是让VR手术尽量贴近于真实。

大家在这次的Demo里看到了,我们花了很大的精力研究物理碰撞和手术的精准性。因为手术不等同于游戏。其实在HTC Vive里有一个叫“CrazySurgeon”的游戏。但是这个游戏的最大的问题是随意性太强了,到最后变成了一个重口味的游戏,因为它随便拿什么设备就能在人身上乱开乱划。我个人觉得这是一个不严肃的行为。我们的方式是,不把他变成一个很随意让人操作的软件。

我们用了一些绑定和锁定,用户必须按照手术的步骤一步一步的执行下去。如果有跳跃或者有不符合常规的操作,用户是进行不下去的。同时它也是有自主性的,这个自主性就是我们有一些手段,能够帮助外科大夫处理手术当中的应急状况。比如用手术刀进行切割时,超出标准切口的范围会有特效,提示切口一定要符合标准。

但是外科手术的确太复杂了,我们现在在做的工程蛮费劲的,但是它的意义和价值却很大。我这里要特别强调一点,医微讯是技术应用创新公司,我们不生产外科手术知识,我们只是医学经验的传播者。所以我们现在大量的成本用于与医学专家的沟通和交流。这些沟通和交流的过程中有一个很重要的问题是,我们团队的成员虽然有外科背景的人做项目经理,但是大部分不是医学背景的。因此我们要花很多时间进行内部讨论;我们做出来的过程性的文件也需要跟专家和医生们进行深入的交流,我们做出来的Demo也要跟他们进行测试。

这个过程相对来说还是比较漫长的,但是我们很愿意这样做。因为就像张强医生刚才说的那样,一个好的医学模拟设备能够帮助外科大夫解决很大的问题,让他们不再需要在人身上练手,不需要在动物或者在尸体标本上练手。这些都是稀缺且不可逆的资源。我经常开玩笑说,外科手术就跟画画一样,但是画画不好撕掉重画就行了,但是手术一刀开不好,能再重开一刀?不行的,这是对患者生命权的不尊重。我个人觉得VR技术最大特点是,虽然制作成本非常昂贵,但是在实际教学应用的成本非常低。因为可以多次演练,多次模拟,做错了也没有任何伤害。

另外,其实在上一次的分享中我提到了VR技术对临床的辅助,这是除了教育以外的一个发展方向。比如现在很火的3D打印,它的核心就是通过对患者影像数据的3D重建,还原患者的复杂病变,以及解剖上的关系。大家知道,它最终的目的也是为了做术前的设计。现在3D打印尽管现在技术已经很成熟了,但是成本很昂贵。

我前段时间看到一个报道,复旦的儿科医院有一个连体婴儿,他们就花很大的经历打印连体婴儿的3D模型。我个人感觉,有了VR技术,我们可以把不需要打印的模型,直接在VR的世界里进行观察,3D还原这个场景。就像张强医生刚刚分享出来的图片一样,它可以在3D空间里真实地还原胀气、病灶、手术路径。我不是说3D打印不好,至少某种意义上,我们真的不需要把病例打印成实物来观看。这一点我相信对临床辅助是很有价值的。

另外我上次也提到AR技术,在未来的应用空间比VR更有想象力。如果我们能像刚刚一样,把患者影像的3D重建和实体位置互相叠加,那医生在手术时,通过佩戴AR设备就能实时观察到手术区域内重要神经以及血管的走向,也能明确指示出病灶的位置,这样手术控制力就会更强。我觉得这一点的想象空间非常大。

我还想和大家分享VR技术在动作捕捉的应用。大家应该知道在体育运动里,比如足球、体操,都有慢动作回放,有动作捕捉去分析运动员动作是否做到位了,失误的原因是什么。这个技术同样可以用到外科手术里。通过运动捕捉或者手势识别和VR技术,在外科大夫进行学习或尝试以后,可以复原手术,看到手术的过程,如果有失误,原因是什么。这种回放能极大的帮助医生改进他们的技术。这是我们最新的研究,我也在找国内做手势识别和穿戴设备的供应商,一起来攻破这个难点。

此外,我想讲一讲张强医生提到的患者方面的应用。患者到了陌生环境,难免会有应激反应。我曾经跟患者聊过,他觉得在手术室外等候,麻药还没有生效的时候,他的紧张感和恐惧感是最强烈的,他甚至有了濒临死亡的体验。我们现在想一想,这种体验对每个人来说都是非常不好的。如果运用VR技术,在这种环境下给他放一段容易让他放松的内容,让他在进手术室之前,大致了解手术室和手术过程是什么样子的,就能消除他对未知环境的恐惧。我相信这对患者来说是人文的关怀,这在提高医学服务水平里面可以得到有效的应用。张强医生现在非常重视患者服务,我相信这是我们未来有机会合作的。

最后还想讲一个问题,就是医患沟通问题。刚才张强医生也强调了,即使像张强医生集团这样有充足时间做沟通,但是单纯靠用嘴讲、用图、甚至手画示意图,都是一件非常累的事情,因为医学知识的复杂性和专业性,包括一些专有名词,对患者来说真的是选择性记忆,他们有可能听了上半句,就忘了下半句,甚至把最主要的东西漏掉,支离破碎地理会你的意思,这都是所有医生在进行医患沟通时候的呼声。

其实我们真的可以利用虚拟现实技术,虚拟出一个关于手术的大概病因、病理、方案,以及手术的过程,不用讲的特别详细,只需要大概讲一下,重要的是要讲到手术风险以及我们的应对措施,让患者安心,这样远远比把一张冰冷的手术同意书放在患者面前要好得多,这种沟通方式,我相信对于目前破解医患矛盾的紧张是有帮助的,希望VR下一步往患者教育、医患沟通这一方面做一些研究,今天补充大概到这,最后感谢张强医生,希望张强医生和他集团下面的所有医生继续一如既往的支持我们的项目。

转载请注明出处:HC3i中国数字医疗
【责任编辑:文颖 TEL:(010)68476606】

标签:VR技术  医患沟通  医微讯  
  • 分享到: