您所在的位置:首页 > i医疗 > 医疗信息化 >  语音电子病历——填补医疗卫生领域语音技术的空白
语音电子病历——填补医疗卫生领域语音技术的空白
  • 2016-11-29 15:59
  • 作者:合肥市第二人民医院信息中心 孙胜
  • 来源:中国数字医疗网

卫生部关于《关于深化医药卫生体制改革的意见》,明确以建立居民健康档案为重点,构建区域医疗卫生信息平台;以医院管理和电子病历为重点,推进医院信息化建设。

语音电子病历及应用平台项目实施,将极大提升医生录入电子病历的效率,为全科医生的诊疗提供辅助手段,为分级诊疗提供有益的探索。该项目对智能语音技术和人工智能技术在医疗卫生领域的应用具有较强的示范意义,推进该项目可填补医疗卫生领域语音技术及人工智能技术应用的空白。项目具有适应性、前瞻性和先进性,能够促进 “互联网+医疗”超前发展。

本项目建设范围主要包括三部分,具体如下:

 

(一)公众健康服务平台

公众健康服务平台主要面向居民、患者开放,采购人希望通过该项目平台的搭建与实施,实现与已有医疗卫生政策、数据资源的对接,从而实现为公众提供更高医疗服务水平的愿望。本平台共包含健康档案、便民服务、医保信息、个人设置四大模块。其中,健康档案包括查询和录入门急诊记录、住院记录、手术记录、检查检验报告、体检记录等功能;便民服务包括医院导航、智能导诊、预约挂号、健康咨询、政策咨询、附近药房等功能;医保信息包括查询缴费记录和报销记录等功能;个人设置包括家庭成员管理、隐私设置、生物安全认证、身份绑定设置等功能。

在大用户量、高访问率的前提下保证系统的高可用性、高可靠性,系统采用云计算的技术路线。云服务具备更高集约化程度和更加灵活的弹性伸缩特性,具有按需使用、随时扩展、易于管理、安全可靠、共享资源的特性,且能快速应对应用功能扩展以及用户规模增加,以实现管理、维护、升级更加便捷。

公众健康服务平台的关键技术要求如下:

1)利用数据库集群技术,实现关系型数据的高可靠、稳定的存储和使用;同时利用非关系型数据库实现非结构结构化资源数据的存储和使用。

2)采用垂直搜索引擎技术,实现用户按任意关键词等搜索后台的资源以及相关信息,并结合用户特征信息进行相关性筛选,提高搜索结果的符合度。

3)采用数据统计分析技术,运用统计分析方法,对医疗活动中产生的数据进行多维度数据挖掘,辅助决策支持。

4)采用语音转写等语音技术,实现语音的输入,提升用户的交互体验;使用自然语言理解更快更准确地快速地让用户检索到资源。

5)采用自动化监控技术,对平台以及应用的运行情况、容量进行实时监控,以做到准确的故障排查、容量估算,为系统扩容提供科学依据。

面向居民患者的公众健康服务平台功能架构主要包括配置管理子系统、健康知识库子系统、运营管理子系统及权限管理子系统等内容,整体架构如下图所示:

1)数据库整体要求

2)数据库的主要子系统要求

 

公众健康服务平台主要分为接入模块、智能语义引擎模块和智能语义资源编译三大模块。

1)接入模块

接入模块主要包括对外的渠道接入、流程控制、业务处理模块以及输出模块等部分组成。该模块主要实现App等渠道前端与后端智能服务引擎的通讯接口服务,并且能够针对各渠道不同的业务逻辑提供二次开发的接口。同时,该模块还需负责公众健康服务平台整体的负载均衡和响应调度等功能。

2)智能语义引擎模块

智能语义引擎是整个公众健康服务平台的关键模块之一,它负责从对客户发送过来的提问内容进行自然语言理解,将客户的问题与智能知识库中的相关问答对进行匹配,最终将最合理的答案反馈给客户。智能语义引擎模块包括对外接入服务模块、业务能力模块、语义理解模块、核心语义资源模块等。具体如下:

`对外接入服务模块:对外提供接入服务,支持C和WebService两种接入方案;

`业务能力模块:对外支持高并发的管理,对内实现语义资源动态加载及自动更新功能;

`语义理解:封装管理VQA、NLP等核心引擎,完成语义理解功能,支持查询、办理及咨询类业务的语义理解,及文档搜素功能;

`核心语义资源:管理语义理解所依赖的资源,包括文法、语义权重、分词模型及QA对、文档等;

3)智能语义资源编译模块

智能语义资源编译模块根据用户的权限来获取语义知识,分析语义知识类型来分别调用不同的编译功能,将智能知识库管理系统中的知识数据编译成引擎能够使用的二进制资源。

应用层,此模块实现ISM核心功能,既包括web应用服务,支持词库管理、模板管理、知识库管理、语义管理、配置管理、1+N知识库管理、一键分发、批量导入等语义知识管理功能,同时,也包括语义解析服务和语义资源编译服务对接,实现语义解析、语义资源编译及语义资源合法性检检查功能。

数据层,此模块为上层提供数据的缓存和本地存储功能。

统一认证平台,为登录用户提供用户统一认证、单点登录功能。

附:由上述各模块组成的公众健康服务平台与终端应用、第三方信源的之间的业务处理流程如下所示:

5、系统性能效果需求

(二)语音电子病历及查房系统平台

语音电子病历、查房及辅助诊断系统平台主要面向医院医生,通过该平台的建设,使市卫计委、医院、医生随时随地均可自由、快捷地享用高效准确的语音识别服务,医生通过说话就可以完成电子病历的输入,准确客观记录居民患者的病历情况,提高医生工作效率,提升优质医生资源的价值。同时,医生在查房、会诊以及进行手术之后,都有形成相关电子文档的需求,如果通过在医生会诊、查房以及手术时利用移动查房系统,或者直接面向PC语音录入客户端,说出患者病历,通过智能语音能力平台完成语音转文字的过程,为医生的文档整理工作提供了较好的参考和便捷,可以较大幅度的提升医生的工作效率。该系统平台试点机构由采购人指定,要求能够满足500名医生并发使用。

面向医院医生的语音电子病历系统需采用领先的智能语音识别技术,代替键盘和鼠标,帮助医生提高病历书写的工作效率。系统需要和目前医院已经建设的电子病历系统进行无缝融合。为了提升录音质量并最终提升电子病历的录入效果,投标供应商提供的产品及方案中须包含移动查房系统(包含语音电子病历录入功能)和PC端的电子病历录入系统及功能,录音设备需要采用基于麦克阵列的声学前端技术。

语音电子病历平台主要包括移动查房系统和PC语音录入客户端两大模块(语音电子病历平台需要厂商另外提供智能语音能力平台)

1)移动查房系统:主要包括查询患者病程信息、医嘱信息、检查检验报告,实时识别医生针对患者的医嘱、病程语音,PC端电子病历同步助手。

2)PC语音录入客户端包括软件控件、麦克风等硬件。

语音电子病历系统的功能架构要求如下图所示:

医生通过PC语音电子病历客户端或者移动查房系统,使用专用的录音设备或者移动终端进行录音,语音被实时的发送到智能语音能力平台的识别服务器上进行识别,识别的文本结果再返回到PC客户端和移动查房系统,并嵌入到电子病历的适当位置。

业务处理流程如下图所示:

系统性能能够满足500名医生同时使用,单句响应时间不超过3s,医疗领域语音识别准确率不低于90%。

该辅助诊断系统要求具有结合患者的病症、病史、基本信息等有效辅助医生的功能,以实现病理(分病种)影像辅助诊断、常见病的症状分析与查询、临床指南数据服务的具体功能应用,从而提高医疗质量和效果。该系统平台搭建成功后由采购人指定医疗机构试点使用。

基于大数据分析的辅助诊断系统技术要求包括数据存储、数据建索、知识规则、数据建模、挖掘分析、病历检索、智能机器学习等内容,他们是辅助诊断系统的底层技术,厂商必须具备相应技术储备。

1)数据存储:辅助诊断系统底层数据存储于HDFS分布式文件存储系统,基于HDFS技术之上是分布式数据库,海量数据根据不同的业务功能存储在不同的数据库。数据库采用MYCAT分布式关系型数据库、ELASTICSEARCH搜索引擎,HBASE分布式NOSQL数据库存储不同的业务数据。

2)数据建索:要求所建索引能够快速的检索匹配数据,为病例搜索、模型匹配等功能提供高效的检索技术支持。

3)数据计算层:须使用spark、mapreduce分布式计算框架,为辅助诊断智能模型训练和大数据分析提供相关技术支持。

4)机器学习:要求具有MLBASE机器学习技术。

投标供应商须提供符合要求的功能和流程架构,以达到同时实现病理(分病种)影像辅助诊断、常见病的症状分析与查询、临床指南数据服务的目标。投标供应商所提供系统应按“底层向上一层提供/接收数据和服务”的原则从三个层次体现功能架构,参考图示如下:

1)存储层

该层为服务层提供/接收数据,包括语义知识库即语义资源数据,可通过优化语义资源来提高语义理解效果;病例模型是基于海量历史病例数据通过机器学习认知,以分布式建模的方式实现的病例知识存储;知识模型是基于海量外部知识包括字典、医疗文献、新闻、文学以及其他可以建立知识库的参考材料等进行分析和建模的知识模型;外部知识就是机器学习的原始资料,机器学习的过程就是将这些资料转化为模型的过程;系统日志是系统运行过程中产生的业务日志记录,便于运维人员问题的分析以及系统效果的优化。

2)服务层

该层为应用层提供/接收服务,为语音转写文本提供语音识别能力,为自然语言理解和问题分解提供语义分析能力,为机器学习提供分布式建模能力,为模型分析提供分布式计算、搜索服务。

3)应用层

该层包括应用入口、业务流程和业务模块,语音转写完成对语音输入资源的文本转写;外部知识导入提供机器学习资料的入口,便于不断学习和优化,同时系统也能够从工作过程中总结建模学习,实现基于成果的改善学习,使每一次迭代和交互都更智能,该学习系统能够在结构化数据和非结构化数据基础上进行,从而实现多元化的学习渠道。

系统内部模块主要分为语音识别、语义理解、智能模型训练平台、监控系统、以及系统前后台服务。语音识别模块对医生或病人咨询的语音进行识别并转写成文字提供给语义模型分析;语义模块对转写文字进行解析,理解医生或病人意图,并提取出关键词信息。

系统根据意图结合智能模型得出诊断结果返回给医生。

智能模型训练系统用于自动智能建立模型,帮助系统精准定位病情和提供正确的解决方案。智能模型训练系统训练数据从多渠道获取,主要有医疗系统内部病例、外部研究数据、医师导入经验数据,通过多渠道数据自我学习,智能建模,数据源也会不断迭代更新,保证模型的正确。智能模型主要分为病例模型和医疗知识模型,病例模型用于匹配症状,筛选出候选答案,知识模型根据病例模型匹配出的答案特征,结合知识库进行综合筛选,最终筛选出置信度最高的诊断结论返回给医生。

3、业务流程功能需求

业务流程图示如下:

1)语音、文本或医疗影像转写:系统须能够接收语音、文本以及医疗影像形式的自然语言获取病症、问题和主题,针对语音的输入需要转化为文本,从而统一分析数据源,语音转写主要使用语音识别技术实现。

2)文本数据理解、问题分解与特征提取:系统须统一对病历或健康文本进行分析、语义理解、问题分解和特征提取。本项目要求投标供应商研发面向业务需求(特别是病历和卫生领域的业务)的知识问答系统以及基于本体库自动构建、推理的自动问答系统,从而为各种类型的语义理解需求提供相应的技术支撑。

3)病例模型分析和知识模型分析:要求具有判断的全面与准确性。

4)外部知识导入:通过该模块扩大数据收集与分析范围,系统需要将认知计算辅助决策顾问纳入决策支持体系中。

5)机器学习认知:要求通过外部数据导入和系统反馈通道实现收集历史病例数据和外部知识数据的能力。

当症状、问题和主题以语音或文本的方式提交给系统时,系统能够对语音进行识别转化为文本描述,进而对文本问题加以解析、语义理解、问题分解,以提取问题的主要特征;通过特征组合并基于系统学习的海量病例模型进行计算与分析得出备选答案及置信度;基于备选答案置信度、特征组合结合机器学习的海量知识模型进行计算与分析从而进一步论证了备选答案的有效性,形成最终的答案和置信度。

主要包括智能语音服务平台、大数据分析平台、标准规范及与其他系统平台集成服务等,投标供应商可针对该项内容进行具体阐述。

转载请注明出处:HC3i中国数字医疗
【责任编辑:孙杨 TEL:(010)68476606】

标签:语音电子病历  语音技术  
  • 分享到: