您所在的位置:首页 > i医疗 > 智能医疗设备 >  AI医疗的重大突破,谷歌推出AR显微镜平台帮助癌症检测
AI医疗的重大突破,谷歌推出AR显微镜平台帮助癌症检测
  • 2018-04-20 10:16
  • 作者:佚名
  • 来源:SnailShellVR

科技改变生活。大家都听说过AR(增强现实)、VR(虚拟现实),电影《头号玩家》也展示了未来VR游戏的巨大潜力。而当前非常热门的人工智能非常有可能会在未来几年的时间里,为无数领域的重大技术变革提供强有力的支撑。而对于人类的不治之症癌症的研究自然也不会缺少人工智能的支持,谷歌公司目前就在这个领域里潜心研究。

今天,在美国癌症协会年会上,谷歌披露了其正在通过加持了AR和AI技术的显微镜,使得对普通癌细胞的病理学检测可以实现实时观测结果。

工作原理是这样的:用机器学习的方法实时分析显微镜视野下的图像,并实时输出模型的结果,通过AR组件,在原本的图像上绘制出潜在肿瘤的边缘。整个过程都是实时和迅速完成的。检测人员可以边移动被检测的细胞,边得到最新的结果。可以说是一种显微镜下的AR影像。

更重要的是,谷歌的ARM平台组件可以直接被装入各个医院和诊所中现有的光学显微镜中,成本低且易于使用。

通过现代计算组件和深度学习模型,例如建立在TensorFlow上的模型,人们将能在此平台上运行大量预训练模型。使用方式和传统的显微镜类似,用户通过目镜观察样本,机器学习算法将其实时输出投影到显微镜的光路中。

这种数字投影被叠加在样本的原始图像上,以帮助观看者定位或量化感兴趣的特征。重要的是,计算和视觉反馈更新迅速——目前,模型以每秒约10帧的速度运行,因此当用户在显微镜载玻片上移动或改变放大率时,模型输出可以无缝更新。

左图:ARM的示意图。数码相机捕获与用户相同的视场(FoV),并将图像传送到能够运行机器学习模型的实时推断的附加计算单元。结果被反馈到一个自定义的AR显示屏中,该显示屏与目镜齐平,并将模型输出投影到玻片所在的平面上。右图:原型图,由典型的临床级光学显微镜改装。

ARM可以提供多种视觉反馈,包括文本、箭头、轮廓、热图或动画,并且能够运行多种类型的机器学习算法,旨在解决不同的问题,如目标检测,量化或分类。

为了展示ARM的潜在用途,谷歌在其上运行了两种不同的癌症检测算法:一种检测淋巴结标本中的乳腺癌转移,另一种检测前列腺切除标本中的前列腺癌。这些模型可以在4-40倍的放大倍数下运行。下图中的绿色轮廓是检测到的肿瘤区域,也就是模型输出的结果。这些轮廓有助于将病理学家的注意力吸引到感兴趣的区域,而不会掩盖潜在的肿瘤细胞外观。

虽然这两种癌症模型最初都是在扫描仪的图像之上训练,且扫描仪的光学配置明显不同,但这些模型在ARM上执行得非常好,无需额外重新训练。

谷歌认为,ARM有潜力对全球健康带来重大的积极作用,特别是对发展中国家中传染病的诊断,如肺结核和疟疾。另外,对于正在采用数字病理工作流程,但其扫描仪仍然面临重大挑战或需要快速结果的医院而言,ARM同样能够发挥重要的作用。

 

转载请注明出处:HC3i中国数字医疗
【责任编辑:程泱溥 TEL:(010)68476606】

标签:AI  人工智能  谷歌  AR显微镜  癌症检测  
  • 分享到: