文献速递神经外周血管MRDSA

人工智能软件对TOF-MR血管成像检测脑动脉瘤诊断效能和阅片时间的影响

Impact of an AI software on the diagnostic performance and reading time for the detection of cerebral aneurysms on time of flight MR-angiography.
PubMed 文献 · Neuroradiology · 2024-04-15

回顾性纳入186例TOF-MRA,6名不同经验阅片者分别在有/无AI软件辅助下检测脑动脉瘤,以两名神经放射学专家共识为参考标准。全体阅片者AI辅助下特异度和每例假阳性数显著改善;医师亚组AI辅助下病灶水平和患者水平敏感度及每例假阳性数显著改善。多数阅片者阅片时间缩短,但两名阅片者时间增加。

要点

  • AI辅助使全体阅片者特异度从93.3%升至95.4%,每例假阳性数从0.09降至0.06。
  • 医师亚组AI辅助下病灶水平敏感度78.4% vs 73.5%,患者水平敏感度75.0% vs 66.7%。
  • 医师亚组AI辅助下每例假阳性数0.08 vs 0.11,差异有统计学意义。

核心结论

  • AI辅助阅片使全体阅片者特异度和每例假阳性数显著改善,使医师亚组敏感度和每例假阳性数显著改善。
  • AI辅助使多数阅片者阅片时间缩短,但放射科医师和一名学生阅片时间增加。
  • 作者认为需在前瞻性环境中进一步研究该AI软件的效果。

研究设计与样本

  • 单中心回顾性阅片研究,共纳入186例含TOF-MRA的MRI检查,由6名阅片者检测脑动脉瘤。
  • 参考标准为两名分别有8年和15年经验的神经放射学专家在充分结合病历、既往及随访影像(包括DSA)后的共识判读。
  • 采用基于卷积神经网络的mdbrain软件(版本4,Mediaire GmbH,柏林,德国),先在有AI辅助下阅片,至少6周洗脱期后在无AI辅助下再次阅片。
  • 6名阅片者包括3名无图像判读经验的医学生、1名有2年诊断神经放射学经验的住院医师、1名有6年诊断放射学和神经放射学经验的放射科医师、1名有12年诊断神经放射学经验的神经放射学医师。
  • 图像采集使用两台临床3T扫描仪(Achieva,Philips Healthcare;Discovery,GE Healthcare)和一台临床1.5T扫描仪(Achieva,Philips Healthcare),3D TOF序列TR 19.33–20.12 ms、TE 3.68–3.80 ms、层厚1 mm、增量0.5 mm。

关键影像表现/征象

  • 图2A–D示左侧颈内动脉小动脉起始部漏斗样膨大,无AI阅片时被神经放射学医师报告为动脉瘤,有AI阅片时报告为阴性,算法重建图像未检出动脉瘤。
  • 图2E–G示左侧大脑中动脉小动脉瘤,住院医师无AI阅片时漏诊,有AI阅片时正确报告,软件重建图像以白框标出动脉瘤。

诊断标准与关键数值

  • 全体阅片者AI辅助特异度95.4% vs 无AI 93.3%(p=0.04),每例假阳性数0.06 vs 0.09(p=0.005)。
  • 医师亚组AI辅助病灶水平敏感度78.4% vs 无AI 73.5%(p=0.03),患者水平敏感度75.0% vs 66.7%(p=0.04),每例假阳性数0.08 vs 0.11(p=0.01)。
  • 各单独阅片者诊断效能差异均无统计学意义。
  • 软件自身检出37/54个动脉瘤(68.5%),报告25个假阳性(每例0.1个)。
  • 数据集含54个动脉瘤,44例患者(23.7%)至少有一个动脉瘤,10例患者(18.6%)有两个动脉瘤;动脉瘤最大径均值7.3 mm(中位4.1 mm,范围1.3–45.4 mm);51个(94.4%)为囊状动脉瘤,3个为梭形动脉瘤;6个(11.1%)有血栓形成征象;24个(44.4%)经DSA证实。

临床应用与阅片要点

  • 作者认为软件本身假阳性率低,可能使阅片者更放心地排除可疑发现,同时增加真阳性检出。
  • 作者认为进一步提高软件敏感度可能对阅片者诊断效能产生更强影响,而进一步降低每例假阳性数对mdbrain似乎并非必要。
  • 作者指出应将软件整合入PACS,mdbrain报告以DICOM图像形式发送至PACS,可像其他MR序列一样查看。
  • 作者指出需批判性评估每款软件对个体阅片者的适用性及其在工作环境中的整合,独立软件若无PACS整合可能减慢图像判读过程。

局限性

  • 回顾性设计可能限制其对日常临床工作的可解释性,且队列不能反映日常患者构成。
  • 未进行统计效能分析以确定足够样本量,限制了个体阅片者结果的统计学显著性。
  • 不能排除第二次阅片中的训练效应,尽管通过洗脱期和改变患者顺序尽量减小该效应。
  • 阅片情境为人工设置,唯一任务是检测动脉瘤,不能完全反映日常临床常规。
  • 未纳入放射科医师以外的临床医师,结果仅限于该组阅片者。
全文中译7 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Neuroradiology. 2024 Apr 15;66(7):1153–60. doi: 10.1007/s00234-024-03351-w

引言

据估计,脑动脉瘤在人群中的患病率为2%,一旦破裂,具有导致严重疾病和死亡的风险[1]。计算机断层扫描(CT)和磁共振成像(MRI)均被广泛接受为检测脑动脉瘤的诊断工具[2]。mdbrain(Mediaire GmbH,柏林,德国)是一款获得欧盟CE认证标志(Conformité Européenne,CE)并已商业化的软件,旨在辅助放射科医生阅判脑部MRI检查,如多发性硬化病灶检测[3]、用于量化脑萎缩的脑体积测量以及增强脑肿瘤的体积测量和动脉瘤检测[4]。在最近一项外部验证研究中,mdbrain检测动脉瘤的灵敏度据报道为70%,假阳性结果为每例0.1个,囊状动脉瘤的检出率为76.6%(如果动脉瘤直径为5 mm或更大,则高达100.0%),而梭形动脉瘤(33.3%)或血栓性动脉瘤(16.7%)的检出率较低[4]。然而,该软件并非设计为独立阅片者,而是作为辅助放射科医生日常工作的工具。除其他应用外,基于人工智能(AI)的软件已被证明可用于在数字乳腺X线摄影上检测乳腺癌[5],或在CT扫描[6]或胸部X线摄影[7]上检测肺结节。大量基于AI的软件已被引入并验证用于检测脑动脉瘤,既用于CT成像[8–10],也用于MR成像[11–17]。此外,近期研究表明,AI辅助阅判CT血管造影(CTA)或飞行时间MR血管造影(TOF-MRA)可能会提高阅片者在脑动脉瘤检测方面的表现[9, 18]。我们的假设是,使用该软件将提高不同经验程度阅片者在TOF-MRA上对脑动脉瘤的检出率,同时减少阅片者的阅片时间。

材料与方法

本回顾性研究获得了机构审查委员会的批准,并豁免了书面知情同意的要求。

未进行统计功效分析。为确保数据集中存在足够数量的动脉瘤,我们对我院放射信息系统(RIS)进行了全文检索,以查找已知动脉瘤病例。全文检索中发现的病例由一名神经放射科医生审阅,随后被加入一组在我院连续采集的、包含TOF-MRA的MRI检查中,最终形成总计186例MRI检查的数据集。大多数脑动脉瘤患者转诊至我院时携带外院影像资料,而外院图像被我们所使用版本的mdbrain拒绝,加之我院大多数急诊影像检查采用CT进行,这些因素使我们无法在本研究中纳入更多数量的动脉瘤。

成像技术和参数与之前描述的相同[4]。简言之,成像研究使用两台临床3 T扫描仪(Achieva,Philips Healthcare;Discovery,GE Healthcare)和一台临床1.5 T扫描仪(Achieva,Philips Healthcare)获取,采用我们机构的常规方案。对于3D TOF图像的采集,TR范围为19.33至20.12 ms,TE范围为3.68至3.80 ms。层厚为1 mm,增量(层间距)为0.5 mm。视野和矩阵大小由放射科技师根据患者特征选择。成像研究由两名神经放射科医生审阅,他们分别具有8年和15年的脑部MR成像研究阅片经验,在充分考虑患者病历、既往及随访影像(包括数字减影血管造影(DSA))的情况下,评估是否存在脑动脉瘤。在两名阅片者结果不一致的病例中,通过达成共识来建立参考标准。

AI模型训练的详细信息此前已发表,可在补充材料S1中找到。成像研究由基于人工智能的软件mdbrain(第4版)分析,书面报告及标注序列由该软件自动生成并导入机构的图像归档和通信系统(PACS)。对于每位患者,在机构临床PACS查看器(Deep Unity,Dedalus Healthcare Group AG,波恩,德国)中创建了两套挂片协议,其中一套包括轴位TOF图像、TOF-MRA的最大强度投影(MIP)图像以及软件的发现结果,第二套仅包括上述TOF图像但不包括软件的发现结果。此外,还创建了一个Excel表格(Excel,Microsoft Corporation,Redmond,WA,USA),其中包含Willis环的示意图,并在脑动脉瘤存在的典型位置设有复选框。Excel表格中报告的发现结果自动导出到Excel表格中,阅读时间通过计算开始阅读的时间和完成阅读的时间来衡量。

六名阅片者(三名无图像解读经验的医学生、一名具有2年诊断神经放射学经验的神经放射学住院医师、一名具有6年诊断放射学和神经放射学经验的放射科医生,以及一名具有12年诊断神经放射学经验的神经放射科医生)被要求使用挂片协议审阅成像研究,并在上述Excel表格中报告他们的发现结果。阅片者仅被允许查看各自挂片协议中包含的图像,但在需要时被允许创建多平面重建。阅片者不了解原始报告、患者病史或既往随访影像。首先,阅片者审阅了包含软件报告的挂片协议。经过至少6周的洗脱期后,他们再次阅读成像研究,但此时没有软件的辅助。

统计分析使用 R 统计与计算软件 4.0.3 版(http://www.r-project.org/)和 R Studio 1.2.5033 版(http://rstudio.org/download/desktop)进行。在患者层面上,分别计算每位阅片者在使用和不使用该软件时的敏感度和特异度。只有阅片者检出所有动脉瘤且无任何假阳性发现的情况才计为真阳性。阅片者和参考标准均报告无动脉瘤的情况计为真阴性。当报告至少一个假阳性发现时,该病例计为假阳性。当阅片者漏诊至少一个动脉瘤时,该病例计为假阴性。我们还测量了病灶层面的敏感度、每例假阳性率以及阅片时间。为避免将阅片者正确检出但定位错误的动脉瘤误判为假发现,我们将起源于颈内动脉(ICA)、颈动脉分叉部及后交通动脉(PcoA)的动脉瘤汇总为 ICA 动脉瘤;将起源于基底动脉、基底动脉尖、椎动脉远端、小脑后下动脉(PICA)、小脑前下动脉(AICA)、小脑上动脉(SCA)或大脑后动脉(PCA)的动脉瘤汇总为后循环动脉瘤。阅片者在有和无 AI 支持下的发现采用 McNemar 检验进行比较,每位阅片者在使用和不使用 AI 软件时的阅片时间采用 Mann–Whitney U 检验进行比较。正态分布采用 Shapiro–Wilk 检验评估。统计学显著性水平设定为 p = 0.05。阅片者相对于诊断参考标准的诊断性能采用混淆矩阵评估。研究设计总结于图 1。

图 1 研究设计流程图。NRad 神经放射科医师,Rad 放射科医师 查看原图 ↗

结果

本研究共纳入 186 例患者,其中女性 106 例(57%),男性 80 例。平均年龄为 58.4 岁(中位数 62 岁,范围 18–95 岁)。136 例患者(73.1%)在 3 T 下扫描,其余 50 例患者在 1.5 T 下扫描。5 例患者使用临床 GE 扫描仪(Discovery,GE Healthcare)扫描,其余 181 例患者使用两台临床 Philips 扫描仪(3 T 和 1.5 T Achieva,Philips Healthcare)扫描。诊断参考标准报告了 54 个动脉瘤。44 例患者(23.7%)至少有 1 个动脉瘤,10 例患者(18.6%)有 2 个动脉瘤。动脉瘤最大径平均为 7.3 mm(中位数 4.1 mm,范围 1.3–45.4 mm)。51 个动脉瘤(94.4%)为囊状动脉瘤,其余 3 个动脉瘤为梭形动脉瘤。6 个动脉瘤(11.1%)显示血栓形成征象。24 个动脉瘤(44.4%)经 DSA 证实。软件正确检出 37 个动脉瘤(68.5%)。软件报告了 25 个假阳性发现(每例 0.1 个假阳性)。患者和动脉瘤特征总结于表 1。

我们发现在总体表现上,特异度(使用人工智能(AI)时为95.4%,未使用时为93.3%,p = 0.04)和每例假阳性数(使用AI时为0.06,未使用时为0.09,p = 0.005)存在显著差异。在医师亚组中,我们发现在病灶水平敏感度(使用AI时为78.4%,未使用时为73.5%,p = 0.03)、患者水平敏感度(使用AI时为75.0%,未使用时为66.7%,p = 0.04)和每例假阳性数(使用AI时为0.08,未使用时为0.11,p = 0.01)的诊断表现上存在显著差异。我们未发现每位独立阅片者的诊断表现存在统计学显著差异。图2显示了假阳性和假阴性的示例图像以及算法的发现。总体诊断表现、医师的诊断表现以及每位阅片者的诊断表现汇总于表2,并在图3中可视化。

使用AI时的平均阅片时间为136 s(范围19–872 s),未使用时为149 s(范围29 s–500 s)(p < 0.001)。对于神经放射科医师,使用AI时的平均阅片时间为73 s(范围30–158 s),未使用时为79 s(范围45–145 s)(p = 0.003)。对于放射科医师,使用AI时的平均阅片时间为64 s(范围25–253 s),未使用时为55 s(范围29–91 s)(p < 0.001)。对于住院医师,使用AI时的平均阅片时间为63 s(范围19–186 s),未使用时为72.1 s(范围31–198 s)(p < 0.001)。对于学生A,使用AI时的平均阅片时间为398.8 s(范围201–872 s),无软件支持时为295 s(范围177–487 s)(p < 0.001)。对于学生B,使用AI时的平均阅片时间为92 s(范围41–659 s),未使用时为222 s(范围123–463 s)(p < 0.001)。对于学生C,使用AI时的平均阅片时间为123 s(范围27–704 s),未使用时为173 s(86–500 s)(p < 0.001)。阅片时间在图3中可视化。

表1 患者和动脉瘤特征 查看原表 ↗
图2 A–D 神经放射科医师报告的假阳性发现示例。A、B 轴位TOF图像,显示左侧颈内动脉(ICA)一小动脉的漏斗部起源(箭头),神经放射科医师在无AI阅片时报告为动脉瘤,但在有AI阅片时报告为阴性。C 同一检查的MIP图像,漏斗部起源被突出显示(箭头)。D 由算法生成的TOF-MRA轴位重建图像,未检测到动脉瘤。E–G 住院医师在无AI阅片时遗漏但在使用AI阅片时正确报告的左侧大脑中动脉(MCA)动脉瘤示例。E、F 轴位TOF图像,显示左侧MCA小动脉瘤(箭头)。G 同一检查的MIP图像,左侧MCA动脉瘤被突出显示(箭头)。H 由软件生成的TOF图像轴位重建,动脉瘤以白框突出显示 查看原图 ↗
表2 不同阅片者在有和无AI时的诊断表现 查看原表 ↗
图3 诊断表现和阅片时间。NRad 神经放射科医师,Rad 放射科医师,Stud 学生 查看原图 ↗

讨论

在这项单中心阅片研究中,我们比较了不同经验水平的阅片者在TOF-MRA上检测脑动脉瘤的诊断性能,分别在有和没有市售人工智能软件mdbrain辅助的情况下进行。对于单个阅片者,未发现对其诊断性能有显著影响,但对于医师组,我们发现两次阅片在病灶水平和患者水平的敏感性以及每例假阳性发现方面存在显著差异,均有利于使用该软件。此外,我们发现大多数阅片者的阅片时间有中等但具有统计学显著性的缩短,而放射科医师和其中一名学生的平均阅片时间显著增加。后者我们归因于无经验阅片者在第一次和第二次阅片之间的训练效应。

仅有少数研究考察了人工智能软件对脑动脉瘤检出率的影响。Sohn等人对其算法进行了一项类似研究,以确定其对一名神经放射科医师、一名放射科住院医师、一名神经内科医师和一名神经外科医师诊断性能的影响[18]。他们发现患者水平敏感性和病灶水平敏感性均有显著总体改善,与我们在一组医师亚组中发现的结果相当。与我们的发现不同,研究者发现使用其软件后每例假阳性发现数量显著增加。我们将mdbrain的这一正面效应归因于其固有的每例0.1个假阳性发现的低发生率,尽管我们缺乏解释为何Sohn等人的软件尽管每例假阳性数量相当(0.12个)却无类似效应。虽然研究者能够证明单个阅片者在敏感性方面有显著改善,但我们未能证明。这一差异可能归因于我们数据集病例数较少(186项MR检查 with 54项阳性发现 vs. 332项MR检查 with 169个动脉瘤),但也归因于Sohn等人是在无辅助阅片之后进行有AI辅助的阅片,存在训练效应的风险,尤其是对无经验阅片者,而我们试图通过在AI辅助阅片之后进行无AI阅片来避免这一偏倚。与我们类似,Sohn等人发现对单个阅片者的阅片时间有正面影响。相反,Müller等人报告一名放射科住院医师使用旨在辅助胸部CT阅片的AI软件后阅片时间增加[19],然而这并无统计学显著性。因此,尽管很少有人质疑AI辅助将对放射科医师的诊断性能和工作量产生正面影响,但批判性评估每种软件对单个阅片者的适用性及其在工作环境中的整合至关重要,因为未与PACS整合的独立软件存在减慢图像判读过程的风险[20]。Mdbrain的报告被发送至PACS,并可作为DICOM图像使用,可像任何MR序列一样查看,我们认为这是一种务实的PACS整合方法。

众所周知,提高诊断试验的敏感性通常会导致假阳性发现增加。相反,在我们的研究中,我们观察到使用该软件时,医生亚组的敏感性提高,同时假阳性发现率降低。我们假设,算法报告的较低假阳性率可能使阅片者放心地排除可疑发现,同时为阅片增加了一定数量的真阳性发现。虽然对于mdbrain而言,进一步降低每例的假阳性似乎并无必要,但我们认为,仅提高软件的敏感性可能会对阅片者的诊断性能产生更强的影响。Kuwabara等人在流行病学环境中报告,通过进一步调整其算法,在保持90.0%可接受敏感性的同时降低了假阳性[21]。根据mdbrain所将应用的环境,或可进行类似尝试,以提高敏感性同时保持较低的假阳性发现率。在流行病学环境中,AI算法的主要任务将是降低假阴性率(在可接受的假阳性发现率下,以减少监督医生的工作量),而在日常临床环境中,较低的敏感性或许是可以接受的。

局限性

我们承认我们的研究存在若干局限性。首先,其回顾性性质可能限制其对日常临床工作的可解释性,而且我们的队列并不反映日常患者队列。其次,未进行统计功效分析以确定足够的样本量,这限制了个体阅片者的统计学显著性。第三,我们无法排除第二次阅片中的训练效应,尽管我们通过设置洗脱期以及在第一次和第二次阅片之间改变患者顺序来尽量减小这些效应。第四,阅片情境是人为的,唯一任务是检测动脉瘤,这并不能完全反映日常临床常规。第五,与Sohn等人[18]不同,我们在研究中未纳入(神经)放射科医师以外的临床医生,这使我们的结果仅限于该阅片者群体。我们有意排除了放射科医师以外的专科,因为在德国医疗体系中,MRI检查主要由放射科医师阅片,如果报告为阴性,它们很可能不会接受二次阅片,尤其是在偶然发现的情况下。第六,用于算法训练和内部验证的图像均使用Philips扫描仪获取,与我们研究中使用的大多数图像相同。因此,如果我们的数据集在设备制造商代表范围方面更加多样,我们的研究将更具普遍性。第七,除阅片时间外,我们未评估该软件对放射科医师日常工作流程的影响。该软件的实际整合需要在更多前瞻性环境中进行研究。第八,尽管我们同时发现敏感性的提高和假阳性发现的减少,但我们未进一步研究该软件对患者管理和患者结局的潜在影响。敏感性的提高伴随假阳性的减少,可能既减少漏诊的具有临床意义的动脉瘤,又减少不必要的进一步检查,如随访扫描或DSA,从而可能减少并发症和医疗系统成本。然而,患者结局和管理的问题需要在进一步研究中加以探讨。

结论

总之,我们能够证明该软件对一组在脑动脉瘤检测方面经验不同的阅片者的诊断性能具有积极影响,而我们未能显示对个体阅片者的显著影响。此外,我们能够表明,使用该软件缩短了大多数阅片者的阅片时间。需要更大病例数的进一步研究来探讨使用mdbrain对个体阅片者性能的影响及其在前瞻性环境中对阅片者诊断性能的影响。

补充信息

以下是电子补充材料的链接。补充文件1(DOCX 15 kb)

引用

  1. Lehnen NC, Schievelkamp AH, Gronemann C, et al. Impact of an AI software on the diagnostic performance and reading time for the detection of cerebral aneurysms on time of flight MR-angiography. Neuroradiology. 2024. PMID: 38619571. doi:10.1007/s00234-024-03351-w
  2. 全文:PMC11150207(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11150207/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。