文献速递胸部技术与安全DR

人工智能智能工作列表优先级排序用于胸部X线:临床工作流程模拟

Smart chest X-ray worklist prioritization using artificial intelligence: a clinical workflow simulation.
PubMed 文献 · Eur Radiol · 2020-11-21

该研究基于汉堡-埃彭多夫大学医学中心的数据构建模拟框架,比较按先到先服务(FIFO)与基于人工智能按紧急程度排序的工作列表处理方式;模拟显示排序可显著降低危急发现的平均报告周转时间,但最大周转时间增加,引入最大等待时间上限后最大周转时间显著降低。

要点

  • 基于AI的胸部X线工作列表优先级排序可显著降低危急发现的平均报告周转时间。
  • 无最大等待时间阈值时,AI假阴性预测可使危急发现的最大报告周转时间大幅增加。
  • 设置最大等待时间上限可显著降低各类的最大报告周转时间并保留平均周转时间获益。

核心结论

  • 模拟结果表明,基于AI的智能工作列表优先级排序可降低胸部X线危急发现的平均报告周转时间,同时通过最大等待时间上限将最大报告周转时间维持在类似FIFO的较小水平。
  • 采用无最大等待时间阈值的智能工作列表优先级排序,存在AI假阴性预测大幅增加报告周转时间的风险。

研究设计与样本

  • 研究为基于汉堡-埃彭多夫大学医学中心经验数据的临床工作流程模拟框架。
  • 模拟框架纳入医院特异性胸部X线生成率、报告速率及病理分布,生成过程基于1408次检查的采集与报告时间离散分布。
  • 病理分布通过对600份2016年8月至2019年2月的胸部X线报告手动标注八种发现获得。
  • AI采用定制ResNet-50架构,输入尺寸448×448,经肺野裁剪与骨骼抑制预处理,在ChestX-ray14预训练后在Open-i数据集微调,气胸使用Gooßen等训练适配的ResNet-50模型。
  • 模拟运行11000个24小时临床日的蒙特卡洛模拟,覆盖约1,000,000张胸部X线,每24小时将工作列表完全处理至零。

诊断标准与关键数值

  • AI分类八种病理并按紧急程度降序排列:气胸、胸腔积液、浸润、淤血、肺不张、心影增大、肿块、异物。
  • 为降低平均报告周转时间的最佳操作点对应假阳性率0.05,多数发现的假阴性率约为0.20。
  • 另选假阴性率0.05的低假阴性操作点用于评估降低最大报告周转时间。
  • FIFO模拟中气胸平均报告周转时间为80.1 min,Prio-lowFPR模拟为35.6 min,Prio-MAXwaiting模拟为38.5 min,完美分类模拟为30.4 min。
  • FIFO模拟中气胸最大报告周转时间为890 min,Prio-lowFPR为1178 min,Prio-lowFNR为1293 min,Prio-MAXwaiting为979 min。

临床应用与阅片要点

  • 模拟显示AI工作列表优先级排序可显著降低危急发现的平均报告周转时间,但需设置最大等待时间上限以控制假阴性导致的极端延迟。
  • Prio-lowFPR模拟中正常检查的平均报告周转时间从FIFO的80.2 min增加至113.9 min。
  • 作者指出分诊工具应基于本地临床环境和需求进行定制。
  • 作者指出只有放射科医生及时可靠地将发现传达给转诊临床医生,才能确保患者获得所需临床治疗。

局限性

  • 训练CNN所用的Open-i数据集主要包含门诊患者,而医院患者以住院患者为主,算法性能不能直接迁移至本院患者群体且很可能下降。
  • 研究仅关注UKE胸部X线中八种最常见发现并按相应排序,未考虑同一病理不同表现程度的影响,例如大的肺不张可能比小的胸腔积液对患者健康风险更大。
  • 作者未来希望纳入更多病理及不同表现程度,并研究按住院、门诊和急诊进行预分诊的其他临床工作流程。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2020 Nov 21;31(6):3837–45. doi: 10.1007/s00330-020-07480-7

引言

放射学工作量不断增加、医学专家短缺以及收入下降,往往导致未报告检查出现具有潜在危险的积压,尤其是在公共资助的医疗系统中。随着对放射影像需求的增加、图像采集的持续加速以及远程放射诊疗的扩展,放射科医生如今在越来越大的时间压力下工作,而这种压力无法通过改善RIS-PACS集成或使用语音识别软件来弥补[1]。

关键发现向转诊医生的延迟沟通存在延迟临床干预的风险,并损害医疗治疗的结果[2–4],尤其是在需要立即采取行动的情况下,例如张力性气胸或导管错位。为此,联合委员会将及时报告关键诊断结果定义为患者安全的重要目标[5]。

许多机构仍按照先进先出(FIFO)原则处理其检查工作列表。申请医生的紧急程度信息往往不完整,或表现为含糊且定义不清的优先级,例如“危急”、“尽快”或“立即”[6, 7]。

人工智能(AI)方法,如卷积神经网络(CNN),为简化临床工作流程提供了有前景的选择。自动化疾病分类可以实现工作列表的实时优先级排序,并减少关键发现的报告周转时间(RTAT)[8]。对于胸部X线(CXR),Annarumma等人[9]已报告了CNN实时分诊的潜在益处,但他们主要关注AI系统的开发,没有真实的临床模拟,也未给出最大RTAT。

智能工作列表优先级排序的益处不仅需要基于平均RTAT讨论,还需要基于最大RTAT讨论。使用AI方法进行智能工作列表优先级排序的一个问题是,关键发现可能并且确实会被AI“漏掉”——即假阴性率(FNR)不为零。FNR越高,带有关键发现的个别检查被排到工作列表末尾的可能性就越大,从而存在延迟治疗的风险。

在本研究中,我们使用汉堡-埃彭多夫大学医学中心(UKE)的经验数据,在真实临床环境中模拟多种针对CXR的智能工作列表优先级排序方法。我们开发了一个 realistic 仿真框架,并评估AI是否可以通过使用智能工作列表优先级排序而非标准FIFO排序来减少关键发现的RTAT。此外,我们提出了一种最大等待时间的阈值方法,以减少AI假阴性预测的影响。

材料与方法

卷积神经网络架构与训练

基于先前的工作[10, 11],我们采用了定制化的ResNet-50架构,输入尺寸更大,为448 × 448。此外,在训练前我们使用两种方法对每张胸部X线片(CXR)进行预处理(即肺野裁剪和骨抑制);如早期实验所示,在集成中结合两种方法可获得最高的平均AUC值[11]。我们在公开可用的ChestX-ray14数据集[12]上预训练了模型,并在替换收敛模型的最后一个全连接层后,在开源的Open-i数据集[13]上对其进行了微调。两位专家放射科医师(分别具有5年和19年CXR报告经验)对修订版Open-i数据集(包含3125张CXR)就八项发现进行了标注[11]:气胸、充血、胸腔积液、浸润、肺不张、心脏增大、肿块、异物。

由于气胸检测的重要性以及Open-i中“气胸”病例数量较少(n = 11),我们针对该发现使用了Gooßen等人[14]专门训练并适配的ResNet-50模型。两个数据集均包含每项发现的不同程度临床表现。

因此,我们的最终模型包含两个独立的CNN,二者均处理正位CXR。在先前实验中,与不同网络架构相比,这两个CNN获得了最高的平均AUC值(图1)。

使用GPU(Nvidia GTX 1080)时每张图像的平均推理时间约为21 ms,使用CPU(Intel Xeon E5-2620 v4;8核)时约为351 ms。两种方案对报告流程增加的开销均可忽略不计。

图1 人工智能算法对全部八项不同发现的受试者工作特征曲线。我们展示了受试者工作曲线并计算了受试者工作曲线下面积(AUC) 查看原图 ↗

病理分诊

对于分诊,由两位经验丰富的放射科医师定义了病理的排序(表1),反映临床处理的紧迫性。由于我们的标注未包含不同程度的病理表现,优先级排序仅考虑病理是否存在。此外,未考虑不同病理组合的影响。

表1 大学医院胸部X线片中发现的患病率(根据2016年8月至2019年2月的600份样本近似)。表中按两位专家放射科医师定义的发现紧迫性排序 查看原表 ↗

工作流程模拟

为评估在真实条件下通过AI重新排列CXR工作列表的临床效果,我们分析了汉堡-埃彭多夫大学医学中心放射科当前的工作流程,并将该数据转化为计算机模拟(图2)。我们设计了一个由四个主要部分组成的模型:第一,CXR生成频率的离散分布;第二,八项发现的科室特异性疾病患病率,用于为CXR分配标签;第三,最先进CNN对全部八项发现的性能,用于对每张CXR进行分类;第四,放射科医师完成CXR报告速度的第二个离散分布。

通过监测总计1408次检查的CXR采集和报告过程,我们能够提取后续CXR采集时间和报告时间的离散分布,以计算RTAT[15]。通过手动标注600张CXR中的全部八项发现,分析了科室特异性的病理分布。

为了模拟全天临床工作量,开发了一个胸部X线(CXR)设备模型,持续生成新检查以填充工作列表。生成过程使用我们采集时间分析的离散分布(图3)进行建模,包括所有效应,如昼夜不同患者频率的差异。

此后,根据源自医院疾病患病率的先验概率,为每张生成的图像分配零至八种病理。

最后,建立了一个放射科医师模型,同时处理工作列表中的CXR报告,其速度与我们的CXR报告时间分析相匹配。我们从离散分布(图4)中采样报告速度,该分布不仅包括CXR的原始报告速度,还包括其他因素,如因电话导致的暂停或中断。

该模拟模拟了当前先进先出(FIFO)报告流程,因此与当前临床工作流程相似。对于智能工作列表优先级排序,我们将AI模型直接置于CXR生成之后。AI模型在每张CXR排序进入工作列表之前预测是否存在某种发现。

通过自动预测所有八种病理发现的存在,可根据表1分配紧急程度。根据估计的级别,将图像插入现有工作列表中,同时考虑具有相似或更高级别的先前图像。重新排列的工作列表由与FIFO模拟中相同的放射科医师模型进行处理。

为抵消假阴性预测的结果(即将阳性检查排序到工作列表末尾),我们提出对最大等待时间进行阈值设定。当检查在工作列表中的等待时间超过该最大等待时间后,将其分配最高优先级并移至工作列表前端。虽然这应有助于减少假阴性预测引起的问题(即危险的长最大报告周转时间(RTAT)),但也会抵消我们降低关键发现平均RTAT的原始目标。

所有方法均使用蒙特卡洛模拟进行测试,覆盖11,000天的24小时临床常规工作,涵盖约1,000,000张CXR的生成。此外,在所有模拟中,工作列表每24小时完全处理至零。在评估中,我们比较了模拟的平均RTAT和最大RTAT。

图2 工作流程模拟。胸部X线(CXR)设备持续生成CXR。每张CXR被分配零至八种发现。CXR按时间顺序(先进先出;FIFO)或根据基于人工智能预测的紧急程度(PRIO)排序进入工作列表。最后,工作列表由虚拟放射科医师处理 查看原图 ↗
图3 胸部X线(CXR)生成速度的离散分布。X轴显示24小时格式的日间时间,Y轴显示计算的时间差值。X方向和Y方向的直方图以绿色显示 查看原图 ↗
图4 放射科医师胸部X线(CXR)报告时间的离散分布。X轴显示24小时格式的日间时间,Y轴显示两次CXR报告之间计算的时间差值。X方向和Y方向的直方图以绿色显示 查看原图 ↗

结果

病理分布

UKE的病理分布分析是通过由一名专家放射科医生手动标注2016年8月至2019年2月的600份胸部X线(CXR)报告(即5年的CXR报告)来提取的。这些CXR包括各种研究类型和不同程度的疾病表现。由于患者群体主要来自一家大型护理医院(即床位超过1000张的较大机构)的住院患者,无病理发现的CXR占比仅为31%。最关键的发现“气胸”的患病率约为3.8%。结果见表1。

CXR生成与报告时间分析

我们使用来自UKE的1408次检查(即包括所有类型的CXR研究)的元数据来确定CXR生成的离散分布和放射科医生的报告速度。这些检查来自两个不同且非连续的周,从周一00:00 AM至周日00:00 PM。对于CXR生成速度,我们使用两次连续CXR的创建时间戳来计算其创建之间的差值。该差值代表该机构CXR的采集速率。我们采用相同方法计算报告速度。在此,我们使用报告最终确定时间戳来确定两次CXR之间的差值。之后,我们移除所有大于2小时30分钟的差值,以确保异常值仅出现在两个分布之一中。

医院报告周转时间分析

CXR的平均报告周转时间(RTAT)在两个不同且非连续的周(1408次检查)中测量,为80分钟,范围为1至1041分钟。假设经验丰富的放射科医生出具CXR报告仅需数分钟,报告时间的这一范围可由不同的外部影响解释,如夜班、换班、工作休息或积压。

选择CNN操作点

在运行我们的工作流程实验之前,我们在初始实验中评估了CNN的最佳操作点,以降低平均RTAT。

当采用CNN多标签分类时,必须为每种病理定义阈值,以便从模型的连续响应中得出二分类(即发现存在或不存在)。这对应于在ROC曲线上选择操作点。虽然对所有病理的不同阈值进行穷举评估在计算上不可行,但我们仅关注气胸(我们环境中最重要的发现)。在此,我们通过在不同假阳性率(FPR)下对ROC曲线进行采样,估计了不同操作点的平均RTAT。

如图5所示,较高的FPR将智能工作列表优先排序的效果降低至几乎为零——即几乎所有检查都被评为紧急——而另一个极端(即低)FPR也可能没有效果,如果几乎所有图像都被评为非紧急。

图5还显示,降低平均RTAT的最佳操作点位于FPR为0.05处。对于该操作点,我们在表2中展示了相应的真阳性率、假阴性率和真阴性率。

如表2所示,降低平均报告周转时间(RTAT)的最佳操作点对大多数发现仍具有约0.20的中等假阴性率(FNR)。FNR越高,具有关键发现的单次检查越有可能被排到工作列表的末尾。因此,我们选择了第二个操作点,其FNR较低,为0.05,以评估这是否有助于降低最大RTAT。表2显示了相应的假阳性率、真阴性率和真阳性率。

图5 人工智能算法的最佳操作点模拟。为了找到降低关键发现平均报告周转时间(RTAT)的最佳操作点,我们在零到一之间使用不同的假阳性率进行了多次模拟 查看原图 ↗
表2 卷积神经网络操作点。第一列显示了假阳性率(FPR)为0.05时实现最佳平均报告周转时间(RTAT)降低的操作点,第二列显示了假阴性率(FNR)为0.05时的操作点(即降低关键发现出现危险长RTAT的可能性)。对于每一列,我们展示了其他缺失值,如真阳性率(TPR)、真阴性率(TNR)以及FPR或FNR 查看原表 ↗

工作流程模拟

图6总结了所有四种模拟(即FIFO、Prio-lowFNR、Prio-lowFPR、Prio-MAXwaiting)对RTAT的影响。对于Prio-lowFPR和Prio-MAXwaiting模拟,我们使用了表2所示的最佳操作点来降低平均RTAT。

与FIFO模拟相比,Prio-lowFPR模拟中关键发现的平均RTAT显著降低——例如,气胸:35.6分钟 vs. 80.1分钟,淤血:45.3分钟 vs. 80.5分钟,胸腔积液:54.6分钟 vs. 80.5分钟。正如预期,平均RTAT的增加仅见于正常检查,其平均RTAT从80.2分钟显著增加至113.9分钟。然而,与此同时,Prio-lowFPR模拟中的最大RTAT与FIFO模拟相比,在所有八项发现中均有所增加(例如,气胸:1178分钟 vs. 890分钟),因为一些检查被预测为假阴性并被排到工作列表的末尾。Prio-lowFNR中0.05的低FNR并未有助于降低最大RTAT(例如,气胸:1293分钟 vs. 1178分钟)。

在Prio-MAXwaiting模拟中,我们通过使用最大等待时间来应对假阴性预测问题,并降低了大多数发现的最大RTAT(例如,气胸从1178分钟降至979分钟)。而平均RTAT仅略高于Prio-lowFPR模拟(例如,气胸:38.5分钟 vs. 35.6分钟)。

最后,我们还通过虚拟采用真阳性率和真阴性率均为1的完美分类算法(Perfect)来模拟智能工作列表优先排序的上限。表3显示了与其他四种模拟的比较。对于气胸,Prio-MAXwaiting的平均RTAT与Perfect模拟相比仅慢8.3分钟,而FIFO则慢49.8分钟。

图6 基于四种不同模拟方式(先进先出(FIFO;绿色)、低假阴性率优先(Prio-lowFNR;黄色)、低假阳性率优先(Prio-lowFPR;紫色)以及设有最长等待时间的最大等待优先(Prio-MAXwaiting;红色,最长等待时间以浅紫色表示))得出的全部八种病理发现以及正常检查的报告周转时间(RTAT)。绿色三角形标记平均RTAT,垂直线标记中位RTAT。右侧显示每种模拟和每种发现的最大RTAT。 查看原图 ↗
表3 四种模拟方式的比较:先进先出(FIFO)、低假阴性率优先(Prio-lowFNR)、低假阳性率优先(Prio-lowFPR)、最大等待优先(Prio-MAXwaiting),并与完美分类算法模拟(即Perfect)进行比较。我们展示了每种发现的平均(avg)报告周转时间(RTAT)和最大(max)RTAT。 查看原表 ↗

统计分析

采用受试者工作特征曲线下面积(AUC)评估卷积神经网络(CNN)的预测性能。所示AUC结果为十折重采样后的平均值。

我们使用Welch t检验对智能工作列表优先级排序进行显著性评估。首先,我们模拟了按FIFO原则(即随机顺序)排序检查的RTAT零分布。其次,我们模拟了采用工作列表优先级排序的备择分布。随后利用这两种分布,通过Welch t检验计算p值,以确定每种发现的平均RTAT是否发生了显著变化。每个分布的模拟样本量为1,000,000次检查,显著性水平设定为0.05。

对于除“异物”以外的所有发现,我们计算出p < 0.0001,从而证明平均RTAT发生了显著变化。

讨论

我们的临床工作流程模拟表明,利用人工智能进行智能工作列表优先级排序,可以显著缩短胸部X线摄影(CXR)中关键发现的平均RTAT。此外,我们还表明,通过引入最长等待时间,可以显著降低人工智能系统假阴性预测的问题。

这一点在真实的临床场景中得到了验证,因为所有模拟均基于汉堡-埃彭多夫大学医学中心具有代表性的回顾性数据。通过提取CXR采集率和放射科医师报告时间的离散分布,可以精确重现一个工作日的时间序列。

与其他应用领域一样,问题在于在人工智能可用于患者诊疗之前,我们能够在伦理和法律上容忍怎样的错误率。对于智能工作列表优先级排序,我们已经表明,可以很容易地降低平均RTAT,但代价是某些个体病例被分类为假阴性,因而其报告时间远晚于当前FIFO原则。虽然整体改善是否能抵消个别病例延迟报告的风险尚存疑问,但我们在Prio-MAXwaiting模拟中已经表明,设定最长等待时间(超过该时间后所有检查均被赋予最高优先级)可以解决这一问题。对于最关键发现(即气胸),最大RTAT降至当前标准水平,同时保持平均RTAT的显著降低。

表3中的比较显示,最先进的卷积神经网络(CNN)几乎可以达到智能工作列表优先级排序在平均报告周转时间(RTAT)上的上限。另一方面,对于最大RTAT,它再次揭示了假阴性预测的问题。理想情况下,一个完美的分类算法可以将气胸的最大RTAT缩短至320分钟,这相比标准最大值的890分钟是实质性改善。需要注意的是,我们无法通过最大等待时间方法实现这一缩短。例如,将阈值(即最大等待时间)降得过低会导致所有胸部X线片(CXR)都被赋予最高优先级。

除了人工智能可能改善诊断工作流程外,应当指出,只有放射科医生将发现的检查结果及时、可靠地传达给转诊临床医生,才能确保患者获得所需的临床治疗。

与既往发表文献[7]不同,我们同时纳入了住院和门诊患者,因为在UKE的日常报告常规中,所有CXR都被分拣到同一个工作列表中。此外,我们观察到未报告检查的积压量相比英国已发表数据显著更短。

在患者和转诊医生等待报告长达数天或数周、或专家放射科医生可及性有限的医疗系统中,智能工作列表优先级排序的获益显然可能大于卫生系统发达的国家。报告积压时间越长,转诊医生越有可能尝试自行排除CXR中的关键发现。这带来了以下风险:具有潜在重大临床影响的细微发现(例如气胸)被忽视,而放射科医生的发现被拖延至过失性的长时间段之后。

我们研究的一个局限性在于,用于训练CNN的Open-i数据集主要包含门诊患者,而医院的患者群体以住院患者为主。因此,我们的算法性能虽然相比其他发表文献[10]已经很强,但不能直接迁移到我院特定患者群体,并且很可能会下降。然而,我们注意到本工作中开发的基于优先级的调度算法是通用的,可以使用任何对胸部X线病理进行分类的CNN。如果CNN分类器得到改进,调度算法将直接受益。

未来,我们希望纳入更多病理类型和不同表现程度,以进一步提高智能工作列表优先级排序的增益。虽然我们仅关注了UKE胸部X线片上最常见的八种发现并据此进行排序,但例如大面积肺不张对患者健康的威胁可能大于少量胸腔积液。此外,我们希望研究其他临床工作流程,即根据住院、门诊和急诊进行预优先级排序的情况。

总体而言,人工智能智能工作列表优先级排序的应用在优化临床工作流程方面展现出巨大潜力,并可在未来显著提高患者安全。我们的临床工作流程模拟表明,分诊工具应根据当地临床情况和需求进行定制。

引用

  1. Baltruschat I, Steinmeister L, Nickisch H, et al. Smart chest X-ray worklist prioritization using artificial intelligence: a clinical workflow simulation. Eur Radiol. 2020. PMID: 33219850. doi:10.1007/s00330-020-07480-7
  2. 全文:PMC8128725(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8128725/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。