文献速递胸部技术与安全DR

一种将人工智能结果自动整合入结构化放射学报告的新型报告工作流程

A novel reporting workflow for automated integration of artificial intelligence results into structured radiology reports.
PubMed 文献 · Insights Imaging · 2024-03-19

本研究开发了AI到结构化报告(SR)的流水线,将商用胸部X线AI工具检测结果以DICOM SR格式自动预填充结构化报告模板。60例胸片回顾性随机抽样显示,AI-SR流水线报告时间66.8秒,显著短于自由文本85.8秒和传统结构化报告85.6秒(均p<0.001),且报告质量评分显著高于自由文本报告(p<0.001)。

要点

  • AI-SR流水线胸片报告平均时间66.8秒,显著短于自由文本85.8秒和传统结构化报告85.6秒(均p<0.001)。
  • 流水线报告质量评分显著高于自由文本报告(p<0.001),与传统结构化报告无显著差异(p=0.640和p=1.000)。
  • 60例胸片中AI检测294处病变,全部正确转移至预填充结构化报告模板。

核心结论

  • AI到结构化报告流水线提供了一种标准化、省时的方式,将AI生成结果作为结构化报告的一部分整合入报告工作流程。
  • 该流水线有潜力改善临床AI整合,并可能进一步增加AI与结构化报告之间的协同效应。

研究设计与样本

  • 本研究为单中心回顾性设计,无外部验证,从影像数据库回顾性随机选取60例胸部X线检查。
  • 使用商用胸片病理检测AI工具(Rayscape,布加勒斯特,罗马尼亚),结果以DICOM SR格式发送至符合IHE-MRRT标准的结构化报告平台。
  • 三位放射科住院医师采用交叉设计共创建180份报告,每种报告类型各20份/人:自由文本、传统结构化报告、AI-SR流水线报告。
  • 由两位获得委员会认证和欧洲放射学文凭(EDiR)认证的放射科医师共识阅读定义金标准报告。

关键影像表现/征象

  • AI工具可检测多种肺部病变,包括气胸、胸腔积液、实变、磨玻璃影、肺不张、肺水肿、肺气肿、心脏增大(心胸比)、纵隔/肺门异常和骨折。
  • AI可定位病变侧别和位置(左、右、双侧;肺上野、中野、下野),并给出检测病变的概率(高、中、低)。
  • AI结果以DICOM SR格式输出,从检查完成到输出平均约5分钟。

诊断标准与关键数值

  • AI-SR流水线报告平均时间66.8秒(SD 23.0秒),自由文本报告85.8秒(SD 27.9秒),传统结构化报告85.6秒(SD 27.1秒)。
  • AI-SR流水线报告时间显著短于自由文本和传统结构化报告(均p<0.001);自由文本与传统结构化报告之间无显著时间差异(p=0.990)。
  • 报告完整性和正确性采用5点Likert量表评估(1=不正确/不完整,2=较不正确/不完整,3=模棱两可,4=较完整/正确,5=正确/完整),评分者间一致性为alpha=0.73(substantial agreement)。
  • AI-SR流水线与传统结构化报告在完整性和正确性上无显著差异(p=0.640和p=1.000),两者均显著高于自由文本报告(均p<0.001)。

临床应用与阅片要点

  • 本研究中心的做法是:结构化报告平台于2016年引入临床常规,AI工具于2018年引入临床常规。
  • 放射科医师可在SR模板中修改AI结果的位置或概率、添加病变强度(如胸腔积液:轻度、中度、重度),点击「拒绝AI发现」排除假阳性结果,点击「加入最终报告」确认正确或修改后的结果,并可添加AI遗漏的发现。
  • 平台因硬件故障不可用时,AI生成的DICOM SR元素留在队列中,系统恢复后发送;数据库每日备份,DICOM SR转换后立即删除,最终结构化报告内容存储在数据库中。

局限性

  • 流水线的性能分析在单中心以回顾性设计进行,无外部验证。
  • 结构化报告并非放射学报告的主要形式,并非同等适用于所有类型放射学检查,AI-SR流水线也将如此。
  • 胸片表现并不总如横断面影像那般清晰,即使经验丰富的放射科医师也可能对图像解读存在分歧;结构化报告留给模糊措辞的空间很小,放射科医师倾向于在胸片报告中避免使用。
  • 本研究使用DICOM SR和XML标准进行流水线技术开发,未来包括FHIR在内的更新标准在建立并广泛可用后可能更合适。
  • 本研究主要目的为评估新报告流水线能否改善AI整合,未关注AI性能,未计算AI假阳性或假阴性发现的比例,仍需在未来研究中解决。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Mar 19;15:80. doi: 10.1186/s13244-024-01660-5

引言

由于人工智能(AI)在帮助放射科医生促进各种诊断和非诊断任务流程方面具有巨大潜力,AI是一个快速发展的领域,近年来在放射学中获得了发展势头[1–3]。通过支持耗时任务,如体积测量、分割或量化,AI工具旨在实现效率的提升[2, 3]。此外,这些工具对于X线和断层成像中的病变检测尤其有帮助[4–6]。除了大量关于该主题的科学出版物外,截至2023年12月,已有超过200个获得CE标志的放射学商业AI应用。此外,临床AI用户的数量正在稳步增加[7, 8]。

为了使AI生成的循证信息能够在临床常规中用于诊断,这些工具需要适当地整合到放射科医生的工作流程中。尽管AI整合是当前研究的主要焦点,但在大多数医院中其开发程度较低,甚至完全缺乏,并且最近被确定为临床AI实施的主要障碍[7, 9, 10]。大多数用于病变检测的常见AI工具仅提供这样的解决方案:其发现必须由放射科医生在报告工作流程之外的单独窗口中进行审核[11]。然后,放射科医生必须手动将这些发现添加到他们的报告中,抵消了使用AI所提供的时间节省潜力。医学数字成像和通信(DICOM)对象提供了更先进的结果传达方式,AI发现可通过其自动发送到图像存档与通信系统(PACS)[9]。然而,这种将AI结果自动传输到PACS的方式也有缺点。除了结果仍须手动添加到报告中之外,它们是在未经放射科医生事先验证的情况下传输的。不正确的AI结果(例如,假阳性肺结节)可能被纳入并对每个PACS用户可见。这可能会产生误导,尤其是对于未受过放射学培训的转诊医生,并可能因误读而导致患者的错误治疗。最后,PACS内的AI结果不会自动传输到专用的结构化数据库,而从该数据库中可以轻松地将其用于数据挖掘目的,如流行病学或科学研究。相反,从PACS中的AI报告收集数据将需要大量的人工工作。仍然需要将AI标准化、安全且省时地整合到放射学工作流程中,以充分利用其潜力,而这只有在将AI生成的发现自动传输到放射学报告的情况下才能实现。

结构化报告(SR)近年来一直是一个令人兴奋的关注领域。它最初是作为试图结构和标准化放射学报告的方法而出现的,原因是传统自由文本报告在质量、长度和内容方面存在很大的异质性[12]。如今,SR通常被视为放射学报告的有利形式,其相对于自由文本报告的优势已在数十项研究中得到论述[13–15]。除了提高报告本身的质量外,SR作为一种基于IT的方法,提供了以高度结构化的形式聚合大型数据集的可能性,这些数据集可以轻松用于后续数据分析[16–18]。

人工智能与结构化报告(SR)之间的协同与依赖关系非常广泛[19]。一方面,人工智能严重依赖大型结构化数据集进行训练和验证,而这些数据集往往缺乏。源自SR的结构化数据有潜力填补这一空白[20, 21]。另一方面,人工智能工具的结构化输出可以轻松整合到结构化报告中。此外,自然语言处理(NLP)形式的人工智能已被证明有助于将语音识别整合到SR中[22]。未来,人工智能与SR更紧密的结合可能有助于改善临床人工智能整合不足的问题。

因此,本研究的目的是利用这一潜力,开发一种报告工作流程,使SR模板能够根据人工智能工具提供的结果自动填充。

方法

工作流程的开发

在我科,一个符合IHE-MRRT标准的基于网络的SR平台于2016年首次引入临床常规工作,该平台与放射信息系统完全连接[23]。此后,针对不同影像模态下各种检查类型的报告模板已被开发并建立于工作流程中[24]。

人工智能工具于2018年首次应用于临床常规工作。为开发名为“AI到SR流水线”的新工作流程,选择了一款市售的胸部X线自动病理检测工具(Rayscape,布加勒斯特,罗马尼亚)作为用例。选择胸部X线的决定基于以下事实:它是放射科医生日常工作中最常需要报告的检查之一,这意味着对人工智能支持有极大兴趣。它也是一种复杂度适合开发SR模板的检查。

该人工智能工具能够检测多种肺部病理,包括气胸、胸腔积液、实变、阴影、肺不张、肺水肿、肺气肿、心影增大(心胸比)、纵隔/肺门异常以及骨折。此外,它能够根据病理的侧别和图像中的位置(左侧、右侧、双侧;肺上野、中野、下野)进行定位,并指示检测到的病理的概率(高、中、低)。

在临床常规中,X射线图像采集后会被发送至PACS。从PACS中,图像被自动转发至AI进行进一步分析。图1是一张已分析X射线图像的截图,标注结果仅对放射科医师可见。对于每张已分析的胸部X射线图像,结果以DICOM SR格式输出,从检查执行到输出平均约需5分钟[25]。DICOM SR对象被导入SR平台并转换为XML格式。来自XML表的数据通过XPath提取至数据模板。以XML作为中间表示的优势在于,可通过XPath直接访问转换后DICOM SR中的单个条目。数据模板包含AI的所有发现及其概率,以及这些发现在胸部X射线矩阵中的精确坐标信息(多边形/折线)。绘制多边形的确切DICOM图像通过服务对象对(SOP)实例和类唯一标识符(UID)进行引用。从数据模板中,仅将临床发现(包括其概率和定位)提取至结构化报告。图2是数据流的截图。数据传输仅需几秒钟。放射科医师在报告过程中访问预填充的结构化报告。放射科医师可通过更改位置或概率来修改模板中的AI结果。此外,还可添加发现的强度(例如,对于胸腔积液:轻度、中度或重度)。错误的AI结果可通过简单点击“拒绝AI发现”从报告中剔除。正确和修改后的结果可通过点击“添加至最终报告”进行确认。AI遗漏的发现可被添加(图3)。完成报告后,报告通过放射信息系统发布至医院信息系统和PACS,临床转诊医师可在那里访问。图4展示了用于AI至SR流水线的完整工作流的图形化表示。

若因硬件故障或其他情况导致平台不可用,AI创建的DICOM SR元素将留在队列中,待系统重新上线后发送。数据库每日进行备份。DICOM SR在转换后立即删除,而最终结构化报告的内容存储在数据库中。根据GDPR的被遗忘权,所有患者数据可应请求轻松删除。

图1 标注有AI发现的胸部X射线图像 查看原图 ↗
图2 从AI生成的DICOM SR元素(左)到对应初步数据模板(中)及预填充SR模板(右)的数据流截图 查看原图 ↗
图3 预填充SR模板的截图(由德文翻译为英文)。在此病例中,AI在左下肺野检测到胸腔积液,概率为中等 查看原图 ↗
图4 使用AI至SR流水线的完整工作流的图形化表示 查看原图 ↗

工作流评估

报告流程的性能针对胸部X射线工具以两种独立方式进行了评估。由于该工具能够在DICOM二次捕获文件中以图形方式标记其在所分析X射线中的结果(图1),因此可以通过将标记的X射线与生成的预填充报告进行比较,来评估所提供的结果是否已正确且完整地传输至结构化报告。该比较共针对60例胸部X射线检查进行,这些检查是从我们的影像数据库中回顾性随机选取的。两名委员会认证的放射科医师手动审阅了所有经AI分析的X射线及相应的预填充结构化报告。

在第二种方法中,三名放射科住院医师为这60例检查创建了报告。每位住院医师创建了20份自由文本报告、20份传统结构化报告以及20份使用SR to AI流程的报告,共计180份报告。所有类型的报告均使用了AI支持,但在自由文本和传统结构化报告的情况下,AI提供的发现必须手动添加至报告中。为避免重复判读,本研究采用交叉设计(表1)。对于每例检查,向放射科住院医师展示原始X射线图像以及包含AI提供的图形标记结果的二次捕获图像。报告在正常临床环境下的班次开始时完成,没有任何特殊的时间压力。在完成第一和第二组各20份报告后,有30分钟的休息时间。每位住院医师以不同的组别(报告类型)开始研究。所有报告的完成时间均被测量。此外,两名委员会认证及欧洲放射学文凭(EDiR)认证的放射科医师通过共识判读定义了金标准报告。所创建的报告与金标准进行比较,并由每位委员会认证的放射科医师就其完整性和正确性采用5点Likert量表进行评估(1 = 不正确/不完整,2 = 较不正确/不完整,3 = 不确定,4 = 较完整/正确,5 = 正确/完整)。

表1 研究设计 查看原表 ↗

统计分析

所有统计分析和图形均在R studio(RStudio Team [2020]. RStudio: Integrated Development for R. RStudio, PBC, http://www.rstudio.com)中使用R 4.0.3(A Language and Environment for Statistical Computing, R Foundation for Statistical Computing, http://www.R-project.org)完成。均值与标准差(SDs)以及中位数与四分位距(IQRs)均基于报告计算。数据分布使用Shapiro–Wilk检验进行检验。由于变量不服从正态分布,使用非参数Mann–Whitney U检验来识别差异。对于评定者间一致性的评估,计算Krippendorff's alpha,并使用以下alpha值解释:0.0–0.2,轻微一致性;0.2–0.4,一般一致性;0.4–0.6,中等一致性;0.6–0.8,显著一致性;0.8–1.0,近乎完美一致性[26]。p值 < 0.05被视为显著。

结果

研究样本

对于纳入的60次胸部X线检查,患者年龄中位数为69岁(IQR 64–77),性别分布为1.1:1(男:女)。所有检查均采用前后位胸片视图;48%在重症监护病房完成,32%在普通病房完成,20%在急诊门诊完成。检查最常见的指征为心脏手术后(25%)、疑似肺炎(23%)、失代偿性心力衰竭(20%)、中心静脉导管位置核查(20%)及其他(12%)。

工作流程评估

在60次胸部X线检查中,AI工具共检测到294处病变。将该工具生成的DICOM二次捕获图像与预填充的SR模板进行比较,结果显示所有病变均被正确传输。

以自由文本创建的报告中,平均报告时间为85.8秒(SD 27.9秒);结构化报告为85.6秒(SD 27.1秒);使用AI至SR流水线生成的报告为66.8秒(SD 23.0秒)(图5)。尽管自由文本报告与结构化报告之间未产生显著时间差异(p = 0.990),但AI SR的报告时间显著短于两者(均p < 0.001;图5)。

关于报告的完整性和正确性,评分者间一致性为实质性(alpha = 0.73)。不同报告类型在完整性和正确性方面的均数和中位数见表2和图6。尽管SR与AI SR在报告完整性和正确性方面无显著差异(p = 0.640和p = 1.000),但两者的评分均显著高于自由文本报告(均p < 0.001,图6)。

图5 不同报告类型的报告时间分布。自由文本报告(FT,蓝色)、结构化报告(SR,红色)以及使用AI至SR流水线生成的报告(AI SR,绿色) 查看原图 ↗
表2 不同类型报告的完整性和正确性评分 查看原表 ↗
图6 自由文本报告(FT,蓝色)、结构化报告(SR,红色)以及使用AI至SR流水线生成的报告(AI SR,绿色)在5点Likert量表上的完整性(A)和正确性(B)评分 查看原图 ↗

讨论

本研究开发了一种新的报告工作流程,其中SR模板由AI提供的结果自动填充。通过将AI标记的胸部X线片与其对应的生成结构化报告进行比较,证明了该AI至SR流水线的技术可行性。我们发现,与自由文本报告和传统SR相比,使用AI至SR流水线可以更快地生成报告。此外,主观质量评估显示,与自由文本报告相比,使用该流水线生成的报告获得了更高的评分。

已有研究表明,AI工具能够帮助放射科医师评估数十种检查类型的模型[1–6]。然而,在真实临床环境中,AI对放射科医师阅片时间的影响尚不明确。近期一项前瞻性研究显示,胸部X线片上的AI异常检测对节省时间仅有边际影响,而在复杂病例中,甚至可能导致阅片时间比无AI支持时更长[27]。在本研究中,我们能够证明,AI辅助的胸部X线片报告时间取决于所采用的报告类型,并且如果应用将AI结果自动传输至结构化报告,则报告速度更快。这突显了一个事实:为了充分利用AI在临床常规工作中的潜力,强烈需要标准化、无缝且时间高效的人工智能整合。

此外,报告以结构化报告的形式生成并自动存储在数据库中,从而使后续数据分析成为可能。这不仅有利于放射科医师将获得的数据用于研究目的和质量保证,而且将来也可能对相应的AI工具有所帮助。可能创建一种反馈环路,其中用户验证后的结果以高度结构化的形式返回给AI工具,将使AI能够持续学习并进一步提高其性能[28]。此外,以结构化报告形式发布给转诊医师的经过验证的AI结果,不像PACS中未经验证的二次捕获结果那样存在被误读的风险。

基于AI的放射学工作流程优化目前是科学界的一个重要主题,已有大量研究正在进行。大多数已发表的工作集中在报告生成以外的工作流程组成部分的优化(例如,AI辅助改进扫描方案、工作列表或挂片协议)[1, 29, 30]。确实关注报告流程的研究包括:将基于NLP的语音识别整合到SR中、基于大语言模型(LLM)从自由文本报告创建结构化报告,或自动预测自由文本报告的印象部分[22, 31, 32]。一项非常近期的研究描述了AI为肺栓塞CT生成结构化报告以实现持续AI学习的可能性[28]。然而,该方法在放射科医师用户研究中的临床适用性尚未被研究。据我们所知,此处介绍的方法是首个临床部署的、能够将AI结果自动整合到结构化放射学报告中的系统。

一些商业AI病理检测工具能够自动创建其发现的自由文本报告。然而,由于没有工作流程整合,这些报告必须由放射科医师手动转移至正式放射学报告中。此外,由于它们是自由形式的,因此缺乏结构。

在本研究中,我们展示了针对胸部X射线AI工具的应用场景,成功建立了一条从AI到结构化报告(SR)的报告流水线。总体而言,该流水线可以轻松适用于任何其他AI工具,前提是这些工具能够生成结果的DICOM SR文件。我们目前正在努力将该报告流水线的适用性扩展到更多工具,包括自主研发的工具(例如,腹部CT的脾脏和肾脏自动分割、肌肉减少症量化)和市售工具(例如,胸部CT的肺结节检测和模式识别)。然而,目前每个AI工具都必须单独集成到SR平台中并创建定制的SR模板,这需要大量工作。未来,随着商业供应商推出类似应用商店的AI平台,对整个平台进行一次集成即可取代SR平台与各个AI应用之间分别连接的需求。此外,AI平台解决方案的成功临床实施在很大程度上依赖于无缝的工作流程集成,这要求放射科医生尽可能少(如有)的额外交互。商业SR平台可在此方面提供额外优势,特别是由于其高互操作性标准、广泛使用以及大量可定制模板的可用性[33]。

本研究存在若干局限性。第一,流水线的性能分析是在单一中心以回顾性设计进行的,未进行外部验证。第二,尽管SR具有优势且有大量研究[34, 35],但它并非放射学报告的主要形式;它并非同等适用于所有类型的放射学检查,AI到SR流水线也将如此。就胸部X射线而言,所见并不总是像横断面成像那样清晰,即使是经验丰富的放射科医生也可能对图像判读存在分歧。由于结构化报告留给模糊措辞的空间很小,放射科医生往往避免将其用于胸部X射线。然而,只有SR本身取得成功,基于SR的AI工作流程集成才能成功。未来,与自由文本报告相比能在更短时间内创建高质量AI辅助结构化报告的可能性,以及由自然语言处理(NLP)和大语言模型(LLM)推动的自由文本向结构化报告转换的改进,可能会提高放射科医生对SR的接受度。

我们使用DICOM SR和XML标准进行流水线的技术开发。然而,未来包括FHIR在内的更新标准一旦建立并广泛可用,可能更为合适。

最后,由于本研究的主要目的是评估新的报告流水线能否改善AI集成,我们并未关注AI的性能。AI假阳性或假阴性所见的比例未进行计算,但这仍然具有很大意义,应在未来研究中加以探讨。

结论

我们成功开发了一种新的报告工作流程,能够将人工智能(AI)工具提供的发现自动整合到结构化报告(SR)中。借助这一所谓的“AI到SR”流水线,胸部X线报告可以以标准化、省时且高质量的方式生成。因此,该流水线具有改善AI整合的潜力,而在日常临床常规中充分利用AI支持所提供的全部可能性,正迫切需要这种整合。它尤其有助于增强AI与SR之间的协同效应。

引用

  1. Jorg T, Halfmann MC, Stoehr F, et al. A novel reporting workflow for automated integration of artificial intelligence results into structured radiology reports. Insights Imaging. 2024. PMID: 38502298. doi:10.1186/s13244-024-01660-5
  2. 全文:PMC10951179(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10951179/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。