文献速递技术与安全腹部泌尿生殖CT

基于语音识别和自然语言处理的智能对话系统在放射科高效结构化报告中的应用

Efficient structured reporting in radiology using an intelligent dialogue system based on speech recognition and natural language processing.
PubMed 文献 · Insights Imaging · 2023-03-16

研究开发了一种基于语音识别和自然语言处理的任务导向对话系统,可将口述自由文本自动转换为结构化报告,并在遗漏发现时提供视觉反馈。在泌尿系结石CT报告用例中,虚构样本测试F1为0.98,50份原始报告测试F1为0.90。作者认为该工具结合了结构化报告与自由文本报告的优势。

要点

  • 该工具可将口述自由文本自动转换为RadLex术语填充的结构化报告模板。
  • 在虚构样本中F1为0.98(精确率0.99,召回率0.96)。
  • 在50份原始报告测试中F1为0.90(精确率0.96,召回率0.83)。

核心结论

  • 该工具独特地实现了将自由文本报告自动转换为结构化报告,并向放射科医生发送遗漏发现的消息。
  • 通过基于自然语言处理将语音整合到结构化报告中,该工具结合了结构化报告和自由文本报告的优点,同时避免了两者的缺点。

研究设计与样本

  • 研究为技术开发与验证研究,开发了一种基于语音识别和自然语言处理的任务导向对话系统报告工具。
  • 工具在泌尿系结石腹部CT用例中测试,使用虚构文本样本和50份来自疑似泌尿系结石患者的原始自由文本报告进行评价。
  • 原始报告测试仅纳入右肾至少提及一枚结石的报告,由13位委员会认证的放射科医生撰写,以人工记录的右肾结构化模板值为金标准。

关键影像表现/征象

  • 泌尿系结石模板包含41个字段,每个字段测试两次,共82个虚构示例。
  • 虚构样本测试中假阳性由形态描述歧义引起,假阴性由实质描述符、肾周间隙描述符和分级描述符的同义词缺失引起。
  • 原始报告测试中假阳性由涉及其他部位(如左肾)的文本及三维尺寸描述未被正确检测引起,假阴性出现在仅称「结石」而未明确写「一枚结石」的单发结石报告的数量字段。

诊断标准与关键数值

  • 虚构样本测试:F1为0.98(精确率0.99,召回率0.96)。
  • 50份原始报告测试:F1为0.90(精确率0.96,召回率0.83),共比较350个值(50例×7字段),可能真阳性总数为237。
  • 结构化模板使用RadLex术语填充,因RadLex缺少泌尿系结石模板所需概念,添加了5个标记为RadLex ID扩展的概念。

临床应用与阅片要点

  • 本研究中心的做法是使用临床常规中的标准泌尿系结石结构化报告模板。
  • 本研究中心于2016年建立了符合IHE-MRRT的基于网络的传统结构化报告平台并与RIS连接。
  • 作者认为该工具可轻松适配其他有结构化模板的放射学检查,目前正在整合直肠癌MRI分期和疑似椎间盘突出的下段脊柱MRI。
  • 作者认为对话系统关于遗漏发现的反馈可能提高报告完整性,对经验不足的住院医师尤其有帮助。

局限性

  • 该工具开发用于德语地区,结构化模板以德语开发,自然语言处理引擎使用德语自由文本报告训练。
  • 该工具尚未整合到临床影像工作流程中。
  • 仍需更多关于放射科医生在实际临床实践中体验和认可该报告工具的数据,用户体验评价正在进行中。
  • 所有测试病例均为右肾结石阳性,未使用阴性报告进行测试。
  • 未来研究将评估易用性、可能的培训需求、避免报告错误和监测放射科医生表现的潜力,并在用户研究中比较使用该工具与传统结构化报告的报告时间和完整性。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2023 Mar 16;14:47. doi: 10.1186/s13244-023-01392-y

背景

在放射学领域,结构化报告(SR)受到专业学会的强烈推荐[1, 2]。与自由文本报告(FTR)相比,SR具有诸多优势——包括更好的可读性、更好的可比性以及更详细的报告内容[3–5]。然而,SR尚未成为放射学报告的主要形式,其使用率仍然较低。这是因为SR也存在缺点。由于SR模板由复选框和下拉菜单组成,放射科医师的视线必须集中在报告显示器上以填写模板。SR需要使用鼠标和键盘,而非FTR中常用的语音识别手持设备。除了耗时之外,这还带来了从影像检查中分心的风险(“视线转移”问题)[6]。

报告中的语音识别技术于20世纪80年代初引入[7]。此后,它在放射科医师中获得了广泛接受,研究已表明其益处,包括缩短报告周转时间[8]。随着检查数量的增加导致放射科医师工作量稳步上升,时间高效的报告至关重要[9]。有必要改进语音识别与SR的整合,以提高SR的性能和接受度[10]。近年来,人工智能(AI)在放射学领域发展势头强劲,可能在这一任务中带来变革。AI可以帮助放射科医师促进各种诊断和非诊断主题的流程[11–13]。例如,AI工具可以在计算机断层扫描中自动对器官进行体积测量[14],或在X射线中检测骨折[15]。此外,AI预计未来将对放射学报告生成产生积极影响。AI算法可能能够自动化复杂病例的报告并降低错误率[12]。

自然语言处理(NLP)是一个与AI相关的领域,提供了一种基于机器的方法来自动结构化和分析自由文本。NLP可以解释句子中的词语并理解上下文中的词语,结合了语言学、模式匹配和机器学习等方法。多项研究表明,NLP可以成功从自由文本报告中提取内容并自动将其转换为结构化形式[16–18]。提取的内容可以使用RadLex进行分类,RadLex是一个专门的放射学词汇表,包含带有定义和同义词的概念以及它们之间的关系[19]。尽管研究已广泛探索了NLP分析现有自由文本放射学报告内容的潜力,但尚未将其用于从自由文本创建结构化放射学报告。

对话系统,如聊天机器人,是基于NLP的对话代理,具有不同级别的对话管理能力。聊天机器人在放射学中有多种潜在应用场景。聊天机器人可以应用于与患者的交互中以进行筛查目的,如在放射学检查前对门诊患者进行COVID-19筛查中所展示的[20]。此外,已有研究评估了聊天机器人在乳腺活检前对妇科患者的教育目的[21]。据我们所知,目前尚无关于将任何类型的对话系统整合到报告工作流程中以与放射科医师本身进行交互的可用数据。

综合这些考虑,我们开发了一种新型报告工具,可利用语音识别和自然语言处理(NLP)将自由文本自动转换为结构化报告。该工具被设计为任务导向型对话系统,在报告过程中为放射科医师提供辅助。此外,我们在疑似泌尿系结石患者的腹部CT用例中对该工具进行了评估。

方法

该新型报告工具通过结合已有和新开发的组件构建而成。用户界面开发为Microsoft®.NET应用程序。语音识别采用indicda® speech(DFC-Systems GmbH,慕尼黑,德国)。任务导向型对话系统构建于Empolis Knowledge Express®(Empolis Information Management,凯泽斯劳滕,德国)之上。

使用该报告工具的工作流程与临床常规中的标准报告工作流程相似。放射科医师使用语音识别手持设备进行自由文本报告(FTR)。需要两台显示器分别显示用户界面和PACS查看器中的影像检查。该工具包括由用户界面表示的前端,以及由技术功能表示的后端——包括语音识别、NLP组件和任务导向型对话系统(图1)。

该工具被设计为适用于任何放射学检查的报告。选择疑似泌尿系结石的腹部CT作为首个用例。因此,我们采用了本机构临床常规中使用的标准泌尿系结石结构化报告(SR)模板。选择泌尿系结石是因为它是放射科医师日常工作中的常见检查,且具有足够的复杂性来测试和评估该工具。

图1 使用报告工具的报告工作流程图示。报告通过语音识别以自由文本方式完成。该报告工具包括用户界面(前端)和一个对话系统,后者能够基于NLP将自由文本转换为结构化报告并与放射科医师进行交流(后端)。这些组件的结合实现了高效且高质量的报告 查看原图 ↗

前端

用户界面包括两部分(图2)。第一部分是左侧的模板窗口,显示该用例待完成的结构化报告(SR)模板,底部包含可能回答选项的概览。SR模板分别考虑各个器官系统,例如右肾、右输尿管、左肾、左输尿管和膀胱。在左上边缘,每个器官有一个选项卡,放射科医师必须依次对每个器官进行报告。第二部分包括右侧的报告窗口和聊天窗口。放射科医师可以激活语音识别手持设备并口述自由文本报告,报告显示在底部的报告窗口中。报告窗口的红色边缘表示语音识别已激活。完成报告后,左侧的SR模板会自动填充。如果缺少某些发现,对话系统会向放射科医师发送消息,显示在界面右上部分的聊天窗口中(图3)。完成一个器官系统后,界面会自动切换到下一个。如果放射科医师对某一系统提到“无病变”,该系统会自动完成,系统切换到下一个。界面底部的黄色/绿色条显示报告进度。

图2 报告工具图形用户界面的截图(由德语翻译为英语)。左侧显示待完成的SR模板,包括底部的内容建议。右侧显示报告窗口(下方)和对话窗口(上方)。放射科医师已开始使用语音识别以自由文本形式进行报告。 查看原图 ↗
图3 报告工具图形界面的翻译截图,处于报告过程的较后阶段。先前关于右肾肾结石的口述自由文本(如图2所示)已传输至左侧的SR模板(绿色背景)。由于未对肾实质和肾周间隙作出陈述,对话系统建议放射科医师讨论这些发现(对话窗口)。放射科医师可以通过口述关于肾实质和肾周间隙的自由文本(报告窗口)来开始新一轮对话。 查看原图 ↗

后端

报告工具的后端部分包括一个任务导向的对话系统,含有多个技术组件,包括语音识别、自然语言处理(NLP)、对话管理、知识库、自然语言生成(NLG)和视听呈现(图4)[22]。其设计目的是帮助放射科医师尽可能高效地记录其发现。因此,它代表放射科医师填写模板。它被设计为无状态(网络)服务,这意味着相同的输入将产生相同的输出,与任何先前的输入无关。其输入是用户的通信内容。作为输出,它返回已完成的模板以及对用户的额外建议。该系统必须处理口语理解中的各种挑战,例如同义词、缩写、否定、推测和不确定信息。

系统各组件相互交互(图4)。语音输入通过语音识别转换为非结构化文本,NLP组件将文本转换为结构化形式(片段、概念和否定检测)。对于否定检测,神经网络以概率方式确定否定状态并选择最可能的状态(肯定、否定或推测)。对于片段和概念检测,NLP组件应用基于规则的匹配方法。RadLex概念被分配给结构化内容。然后,对话管理接管结构化内容,基于所传递的结构化内容识别并返回用户的意图。检测到的意图用于填写SR模板的字段(模板意图),并建议用户可能的注意事项(建议意图)。在此过程中,对话管理使用包含必要意图专家知识的知识库。数据进一步传输至NLG组件,该组件将意图从机器生成的代码转换为人类可理解的形式。视觉呈现组件通过自动完成SR模板以及通过用户界面上的聊天窗口将结果传达给用户。视觉呈现之后,一个对话轮次完成。用户可以发起新的轮次。

图5展示了报告工作流程的一个示例。用户报告了右肾中的两枚结石。语音被转换为文本(语音识别),文本被转换为由意图和槽位构成的结构化内容(自然语言处理(NLP)和对话管理)。检测到的意图是完成模板。槽位是结构化报告(SR)模板字段的值。结构化内容用于完成模板,并在图形用户界面中向用户提供自然语言建议(自然语言生成(NLG)和视觉呈现)。模板使用RadLex术语(RID28453异常和RID4994结石)完成。额外的建议意图返回给用户。在本例中,建议用户讨论潜在的梗阻性尿路病变(RID34394梗阻性尿路病变)。每个意图都有一个置信度。对于模板意图,置信度等于模板的完整度,可在用户界面的进度条上可视化显示。对于建议意图,系统使用置信度过滤掉不太可能的意图。除标准RadLex概念外,对于某些代码,实际文本被用于完成模板——例如,在本例中,结石数量输入为“两枚”。在此类情况下,文本可能由视觉呈现组件进行预处理以适配模板。

为使系统在该用例下正常运行,需要对单个组件进行特殊配置。由于RadLex不包含尿石症模板所需的所有概念,因此必须添加五个概念。这些概念被标记为RadLex ID扩展(RIDE)。所有概念的同义词均已添加。

知识库中的一套85条规则决定了对话管理在意图检测中的行为。这些规则定义了特定情况下需要哪些SR模板字段——意味着如果记录了一枚结石,系统将询问用户关于其特征(大小、密度、形态和位置)的附加信息。进一步的规则定义了值之间的关系,从而实现SR模板字段的隐式完成(例如,如果记录了一枚结石,肾脏自动记录为异常)。这些规则在Excel表格中描述为决策表,并自动转换为知识库中使用的格式[23]。知识库使用本体语言(OWL/RDF)和推理机(ELK推理机)。

NLG组件使用57组建议意图与聊天窗口自然语言问题之间的映射。它还使用SR模板与其自然语言表示之间的映射,包含65个变量。

图4 报告工具后端的图形表示。对话系统包括语音识别、自然语言处理(NLP)、带知识库的对话管理、自然语言生成(NLG)和视觉呈现。箭头表示典型的数据流。语音识别和视觉呈现构建于indicda® speech之上。NLP、对话管理、知识库和NLG构建于Empolis Knowledge Express®之上 查看原图 ↗
图5 对话系统的功能。文本被转换为由意图和槽位构成的结构化内容。模板使用RadLex术语完成。建议意图返回给用户。为每个意图计算置信度 查看原图 ↗

结果

该报告工具通过两种方式测试了其将自由文本转换为结构化报告的能力。首先,我们使用由委员会认证的放射科医师创建的尿石症虚构文本示例对该工具进行了评估。虚构示例具有真实性,但与任何特定患者无关。尿石症模板有41个字段。每个字段测试两次,共产生82个虚构示例。测试用例结果显示F1分数为0.98(精确率0.99;召回率0.96)。

假阳性结果由形态学描述模糊引起——例如,如果某个形态学描述词与结石的形态无关,而是与实质缺损有关。假阴性结果由实质描述词、肾周间隙描述词和分级描述词的缺失同义词引起。

其次,我们使用50份疑似尿石症患者接受平扫CT的原始自由文本报告对该报告工具进行了评估。该评估以右肾为例进行;因此,我们仅纳入提及右肾至少一枚结石的报告。这些报告从我们的影像归档中人工选取,由13位不同的委员会认证放射科医师撰写。关于右肾的自由文本从报告中人工提取。报告的金标准标注方式为:在Excel表格中人工记录工具结构化报告模板中右肾的各项值——包括结石数量、最大结石的大小、密度、形态和位置、梗阻性尿路病变及尿路病变分级。每份报告的文本由报告工具自动分析并与金标准进行比较。共比较了350个值(50例,每例7个字段)。可能真阳性的总数为237。测试用例显示F1分数为0.90(精确率0.96;召回率0.83)。

假阳性结果由与右肾无关而是与其他部位(如左肾)相关的文本示例引起。此外,结石的三维尺寸描述未被正确检测,因为结构化报告模板仅提供一维尺寸规格。假阴性结果出现在结石数量字段中,原因是报告提及单枚肾结石时仅称之为“结石”而未明确命名为“一枚结石”。

讨论

我们的报告工具可以自动将自由文本报告转换为结构化报告,并发送关于缺失发现的消息。据我们所知,这是首次使用自然语言处理(NLP)生成结构化报告的方法,也是首次将对话系统整合到报告流程中的方法。

该工具的可行性已通过使用虚构文本样本和我们归档中的现有报告获得的高测试分数得到证明(F1分数:0.98和0.90)。其他关于基于NLP从自由文本报告中提取结构化内容的研究显示了可比或略低的分数。例如,一个与我们的引擎相当的NLP引擎在从自由文本X线报告中检测骨折方面达到了0.81的F1分数[17]。在一项关于NLP应用于放射学报告的164篇出版物的系统综述中,83%的研究报告的F1分数< 0.85。然而,这些方法大多使用了不同复杂度的数据集,使得对其进行比较评估较为困难[24]。

我们当前的测试聚焦于右肾的评估,以右肾为代表示例整个模板。这是一种合理的方法,因为在我们报告工具中每个器官系统是分别报告的。因此,对其他器官系统(输尿管、膀胱和左肾)的评估不应显示重要偏差。此外,所有测试病例均为右肾肾结石阳性。未使用阴性报告进行测试。

在大多数既往研究中,自然语言处理(NLP)被回顾性地应用于现有放射学报告以提取结构化内容[16–18]。这种回顾性研究设计存在模型过拟合的风险,且侧重于自动化数据分析而非NLP在真实世界临床中的应用[24]。我们当前的方法具有独特性,因为它使得NLP能够前瞻性地用于创建结构化报告。

在本世纪初结构化报告(SR)刚刚发展之时,从自由形式的口述创建结构化报告被描述为终极追求。已有提案提出结合两者特征的理想报告系统,这被认为是未来报告所必需的[10]。然而,尚无可用系统被开发出来,这可能部分解释了为何SR尚未成为主要报告形式。自2000年代初以来,人工智能领域取得了巨大进展,为促进和自动化诊断影像工作流程中的流程提供了巨大潜力[13]。NLP所提供的能力已足够先进,使得开发理想的报告系统成为可行。

将语音成功整合到SR中可能使我们能够解决SR所谓的“视线转移问题”[6]。随着影像数据集变得日益庞大和复杂,放射科医生的大部分认知努力应集中于图像,而非需要使用鼠标和键盘完成的复杂报告模板。使用我们的工具,放射科医生可以继续依赖他们数十年来一直便捷使用的语音识别,同时还能受益于SR已证实的巨大优势,如数据挖掘的可能性、促进流行病学研究、更高的转诊医生满意度等[25–27]。我们的新方法融合了SR和自由文本报告的优势,同时避免了它们的缺点。

聊天机器人已在多个放射科被用于患者筛查和患者教育目的[20, 21]。然而,尚无关于其在报告工作流程中使用的已发表数据。在我们的报告工具中,对话系统作为放射科医生的智能决策支持。由于它还能完成SR模板,其能力超越了普通聊天机器人。对话系统关于缺失发现的反馈可能带来更高的完整性,从而带来更高质量的报告。这对经验不足的放射科住院医师尤其有帮助。事实上,该系统可以引导他们完成报告,提供学习效果。

除了本文介绍的泌尿系结石使用案例外,这种新型报告工具可以轻松适用于任何其他有可用或可创建的SR模板的放射学检查的报告。许多专业学会在线提供免费的SR模板[5]。截至2022年12月,仅RSNA RadReport网站就提供了超过400个SR模板[28]。大量现有模板的可用性凸显了我们工具可能的广泛适用性。我们目前正在将更多检查整合到我们的工具中,包括用于直肠癌分期的MRI和疑似椎间盘突出症的下脊柱MRI,后续还会有更多。

优势、不足与局限性

综上所述,我们工具的主要优势在于能够从自由形式的口述中自动创建结构化报告,并向放射科医生发送关于缺失发现的视觉反馈。然而,它也有几个不足和局限性。首先,我们开发该工具是供德语地区使用的。因此,SR模板是以德语开发的,NLP引擎是使用德语自由文本报告训练的。然而,由于系统使用RadLex概念对发现进行分类,它也很容易适用于英语。其次,该工具尚未整合到临床影像工作流程中。在我们机构,2016年我们建立了一个符合IHE-MRRT标准的基于网络的传统SR平台,该平台与RIS相连[29]。整合我们工具的最佳方式可能是在工具和SR报告平台之间建立连接(例如FHIR)。这将使工具能够在平台上为完成模板提供支持,而无需改变平台与RIS之间的连接。

仍需要更多关于放射科医生在实际临床实践中如何体验和认可我们报告工具的数据。用户体验的评估目前正在进行中,但超出了本文的范围,本文侧重于技术开发和验证。

未来研究将评估易用性以及培训放射科医生如何使用该工具的可能需求。此外,还将研究该工具在避免报告错误和监测放射科医生表现方面的潜在价值。在一项用户研究中,将使用该报告工具的报告时间和报告完整性与传统结构化报告进行比较。最后,该工具可能对AI开发可用数据的可获得性产生积极影响,因为它以高度结构化的形式提供了用于训练和验证的大型数据集。

结论

我们的报告工具在自动将自由文本报告转换为结构化报告以及向放射科医生发送关于缺失发现的消息方面具有独特能力。通过将语音基于NLP整合到SR中,它结合了SR和FTR的优势,同时避免了两种方法的缺点。其在临床常规中的应用可能使创建结构化和完整的报告成为可能,这些报告可以通过语音识别方便地自由口述。因此,这种新型工具有巨大潜力彻底改变放射学报告的未来。

引用

  1. Jorg T, Kämpgen B, Feiler D, et al. Efficient structured reporting in radiology using an intelligent dialogue system based on speech recognition and natural language processing. Insights Imaging. 2023. PMID: 36929101. doi:10.1186/s13244-023-01392-y
  2. 全文:PMC10019433(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10019433/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。