文献速递泌尿生殖腹部技术与安全MR

人工智能决策前列腺MRI双参数或全参数方案的工作流程改进

Improving workflow in prostate MRI: AI-based decision-making on biparametric or multiparametric MRI.
PubMed 文献 · Insights Imaging · 2021-08-09

本研究开发并验证了一种卷积神经网络(CNN),用于决策前列腺MRI中是否需要动态对比增强(DCE)序列。CNN在300例训练集上以两位专家共识为参考标准,在100例同厂商验证集上达到敏感度94.4%、特异度68.8%(AUC 0.88),可将78%患者正确分配至双参数或全参数方案,仅2%患者需重新扫描加做DCE;在不同厂商的31例扫描中AUC为0.73。

要点

  • CNN可高敏感度决策前列腺MRI是否需要DCE,减少不必要的对比剂注射和台上监测。
  • 验证集仅2%患者因CNN误判而遗漏必要的DCE,需重新扫描。
  • 不同厂商设备间性能下降(AUC 0.73),提示需本地化训练。

核心结论

  • CNN能准确决策前列腺MRI是否需DCE序列,验证集敏感度94.4%、特异度68.8%(AUC 0.88)。
  • CNN可将78%患者正确分配至双参数或全参数协议,仅2%患者需重新扫描加做DCE。
  • 在另一厂商设备集上CNN敏感度100%、特异度42.1%(AUC 0.73),性能略有下降。

研究设计与样本

  • 回顾性研究,训练集300例、验证集100例(同一厂商Siemens Skyra 3T),另31例来自不同厂商(GE Discovery MR750w 3T)。
  • 参考标准为两位经验丰富放射科医师(10年和7年经验)对DCE必要性的共识。
  • CNN基于轴位T2加权和扩散加权图像(b值100、600、1000 s/mm²)训练,输出0-1概率。
  • 验证集还由一位放射科技师独立评估DCE必要性以作比较。

关键影像表现/征象

  • 原文未报告影像征象,仅以DCE必要性为二分类参考标准。
  • 图3示例:直肠气体导致扩散加权图像磁敏感伪影扭曲,专家和AI均选择需DCE,而技师认为不需。

诊断标准与关键数值

  • 验证集(n=100)CNN敏感度94.4%、特异度68.8%、AUC 0.88,最佳截断值由约登指数最大化确定。
  • 验证集中44%患者正确分配至双参数方案,34%正确分配至全参数方案,20%假阳性(不必要地加做DCE),2%假阴性(需重新扫描加做DCE)。
  • 不同厂商集(n=31)CNN敏感度100%、特异度42.1%、AUC 0.73。
  • 放射科技师敏感度63.9%、特异度89.1%,CNN敏感度提高30.5%。
  • 两位专家在训练集和验证集的一致性Kappa均为0.76,不同厂商集Kappa为0.64;技师与参考标准Kappa为0.55。

临床应用与阅片要点

  • CNN可集成到临床流程中,自动识别需DCE的扫描并提醒放射科医师,减少台上监测需求。
  • 在双参数为默认方案的机构中,CNN高敏感度可避免遗漏需DCE的病例,仅2%需重新扫描。
  • 不同厂商设备间性能下降,建议本地化训练或调整阈值以维持敏感度。

局限性

  • 不同厂商集样本量较小(n=31),需更大规模验证。
  • 参考标准为两位专家共识,可能未涵盖经验较少读者认为需DCE的情况。
  • CNN需在前瞻性临床常规中进一步验证。
  • 研究为回顾性单中心设计(不同厂商集除外)。
全文中译9 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2021 Aug 9;12:112. doi: 10.1186/s13244-021-01058-7

要点

人工智能有助于在双参数和多参数前列腺MRI协议之间进行自动化决策。

人工智能本可正确地将78%的患者分配到双参数/多参数协议。

仅在全部患者的2%中需要进行重新检查。

训练网络的性能在不同厂商的MRI之间存在轻微差异。

背景

前列腺MRI在检测和分期前列腺癌方面已显示出相当大的临床价值,并且是全球大多数机构临床常规的一部分[1–4]。传统上,“多参数”前列腺MRI包括高分辨率T2加权、扩散加权和动态对比增强(DCE)序列[5]。最近,有人提出了不使用对比剂的简化MRI协议(称为“双参数MRI”),并且多项研究报道该协议在癌症检测方面与完整的多参数协议具有相当的性能[6–11]。从采集中去掉DCE-MRI会导致检查时间缩短,这在前列腺MRI需求日益增加的时代是一种亟需的优化。此外,前列腺双参数MRI避免了任何对比剂副作用,提高了成本效益,并优化了放射科的一般工作流程。另外,正如PRECISION研究组最近所报道的[12],DCE序列仅在部分患者中被认为具有诊断质量。然而,由于已知DCE-MRI可减少不确定病变的数量,并且在图像质量较差的检查中或对经验较少的放射科医生具有特殊价值[5, 13, 14],PI-RADS委员会目前建议进行台上监测并对每位患者个体化决定是否使用DCE[15]。

因此,理想情况下,注射对比剂的决定应由经验丰富的放射科医生根据每次扫描并即时作出,并且其应用应仅限于那些被认为可改善临床决策的病例。然而,鉴于将前列腺MRI纳入国家和国际泌尿学指南预计会导致检查量增加,对每次前列腺MRI都作出这种个体化且及时的决定,对大多数机构而言在临床环境中可能不再可行。

因此,我们试图开发、训练和验证卷积神经网络(CNN),以自动识别哪些患者从DCE序列采集获益。这将使许多患者能够接受较短的双参数检查,并通过省略对比剂注射提高患者安全性,同时避免那些会从完整多参数MRI协议中获益的患者出现诊断准确性下降。

材料和方法

患者队列和图像分析

本研究经机构审查委员会批准,并豁免了研究特定知情同意的要求。对我们前瞻性维护的机构数据库进行了回顾性检索,检索时间为2018年2月1日至2019年11月30日,纳入连续接受多参数前列腺MRI(依据PIRADS指南[5])以怀疑前列腺癌的患者。形成了三个不同的队列:(1)300例多参数前列腺MRI用于神经网络训练的组(“训练集”)(见附加文件1:附录S1),(2)100例多参数前列腺MRI用于验证已训练网络的组(“验证集”),以及(3)31例在不同厂商扫描仪上接受前列腺MRI的患者组(“不同厂商集”)。“训练”和“验证”中纳入的MRI检查在363例患者中进行(MRI时年龄:64.4岁,MRI时平均PSA:8.33 ng/ml)。前两组的所有MRI扫描均在Siemens Skyra扫描仪(Siemens Healthineers,Erlangen,Germany)上以3 Tesla场强使用60通道或18通道相控阵体线圈进行,而“不同厂商集”在GE Discovery MR750w(GE Healthcare,Chicago,Illinois,USA)上使用16通道相控阵体线圈以3 Tesla场强接受检查。轴位T2加权和扩散加权序列的典型MRI参数可见附加文件1:表S1。两名委员会认证的放射科医生,分别具有10年和7年专门前列腺成像经验(根据ESUR/ESUI共识[16]为“专家放射科医生”,O.F.D.和A.M.H.,R1和R2),独立审阅了“训练集”、“验证集”和“不同厂商集”的所有检查,并评分DCE序列是否对诊断有益(无论原因如何,例如直肠气体导致的畸变、低信噪比等)。阅片完成后,两名阅片者通过审阅所有决策不一致的检查达成共识。“训练集”上形成的共识被用作训练CNN的参考标准。此外,“验证集”由一名日常实践中进行前列腺MRI检查采集的技术员(R3)审阅,并再次记录DCE序列的必要性。

神经网络的训练和验证

包括神经网络技术规格的详细说明可见附加文件1:附录S1。随附的PyTorch代码和训练方案可见https://github.com/enderkon/ProstateQC.git。

卷积神经网络的开发基于T2加权轴位图像及相应的扩散加权图像(b值分别为100、600和1000 s/mm²)。从PACS导出这些序列的匿名化图像数据后,对图像进行预处理以标准化所有图像的像素大小。卷积神经网络在一组300例MRI检查(“训练集”)上进行训练,以两位经验丰富的放射科医师对DCE必要性的共识作为参考标准,然后应用于未用于训练的另外一组100例MRI检查(“验证集”)。分别创建了解剖(T2加权)图像和扩散加权图像的独立分支,其输出随后被归约以得到单一概率(范围为0至1,0表示“不需要DCE”,1表示“非常需要DCE”)。训练时进行了10次随机实验,将训练集随机分为训练分区(80%)、验证分区(5%)和测试分区(15%),训练分区用于训练网络,验证分区用于决定何时停止训练,测试分区用于监测误差。每个随机实验的模型训练30个 epoch,验证集上导致最低分类误差和交叉熵损失的迭代被确定为该实验的最终模型。在分析验证数据时,分别应用所有10个训练好的网络,并通过平均聚合结果以得出每张图像的最终预测。训练好的网络随后在包含另外100例患者图像的训练集中进行连续验证,以评估其敏感度和特异度,并在由不同MRI厂商扫描仪采集的另外一组31例前列腺MRI中进行验证,见图1。

图1 流程图详细说明了用于判定DCE序列必要性的神经网络训练和验证过程。两位经验丰富的放射科医师的共识是所有比较的参考标准 查看原图 ↗

统计学

为评估阅片者间一致性,估算了Cohen's kappa值,并按Landis和Koch [17]的建议及以下标准进行解读:极好一致性 > 0.75,好一致性 0.59–0.75,中等一致性 0.40–0.58,差一致性 < 0.4。诊断准确性通过受试者工作特征(ROC)分析的曲线下面积进行评估,最佳截断值通过最大化约登指数来估算。

所有统计分析均使用IBM SPSS Statistics 26(IBM Inc.,Armonk,美国)和MedCalc 18.2.1(MedCalc Software Ltd,Ostend,比利时)进行。

结果

阅片者间一致性

R1和R2在“训练集”的267/300(89%)病例中(kappa:0.76)、“验证集”的89/100(89%)病例中(kappa:0.76)以及“不同厂商集”的26/31病例中(kappa:0.64)对DCE序列的必要性达成一致。在其余检查中,需要进行共识判读以完成参考标准。R3(技师)与参考标准(R1和R2的共识)之间在“验证集”中的一致性为中等,kappa值为0.55(见表1)。

表1 阅片者3(技师)和人工智能在验证集(n = 100)中正确判定对比剂注射必要性的表现,以两位经验丰富的放射科医师(R1和R2)的共识作为参考标准。 查看原表 ↗

神经网络的诊断准确性

最终神经网络在“验证集”中,当ROC分析中约登指数最大化时(AUC:0.88,J:0.63),显示出94.4%的敏感性和68.8%的特异性(见图2a)。当以低假阴性率(即为了增加DCE序列而进行复检的低比率)为目标时,这将导致2%的所有患者(以及2/36需要DCE的患者,5.6%)需要进行包括注射造影剂的补充检查(假阴性),而44%的患者正确接受了双参数MRI,34%的患者正确接受了多参数MRI(见表2)。在20%的患者中,CNN决定进行DCE,而放射科医生认为不需要DCE(假阳性)。

在R3(技师)达到63.9%的敏感性和89.1%的特异性情况下,使用该神经网络可使敏感性提高30.5%,尽管特异性较低(见图2b和3)。

当将训练好的神经网络应用于来自不同厂商的一组MRI检查时,以约登指数最大化的ROC分析(AUC:0.73,J:0.42)显示敏感性为100%,特异性为42.1%(见表3)。

图2 卷积神经网络在“验证集”(a n = 100,AUC:0.88)和“不同厂商集”(b n = 31,AUC:0.73)中诊断性能的受试者工作特征曲线(ROC曲线,数字为百分比)。 查看原图 ↗
表2 验证集(n = 100)中以约登指数最大化的ROC分析结果 查看原表 ↗
图3 66岁患者因怀疑前列腺癌接受前列腺MRI检查。直肠气体的存在导致磁敏感伪影,使弥散加权图像失真(左:DWI,b = 1000 s/mm²;中:T2加权)。经验丰富的放射科医生和AI均选择使用造影剂,而阅片者3(技师)则未选择。动态对比增强MRI(右)有助于排除前列腺该层面的任何指标病灶。 查看原图 ↗
表3 训练好的神经网络在验证集和不同厂商扫描集中的性能(ROC分析;AUC:曲线下面积,Criterion:相关标准),以两位经验丰富的放射科医生的共识作为参考标准 查看原表 ↗

讨论

由于前列腺MRI在进行靶向活检中的必要性,其在疑似前列腺癌患者诊断检查中的广泛整合,可能会在不久的将来导致放射科需要执行的检查数量增加[1]。这构成了一项挑战,因为它不仅需要改进放射学工作流程[18],还需要确保检查的最佳图像质量,正如PRECISION试验组最近发布的PI-QUAL评分系统所强调的那样[12, 19]。我们开发并验证了一个CNN,能够以高准确度和极低的假阴性率(即错误地未接受DCE的患者比率低)独立决定动态对比增强序列(DCE)的必要性。

多参数前列腺磁共振成像(MRI)包括T2加权、弥散加权和动态对比增强序列。近期,多位作者提出可从MRI方案中省略动态对比增强序列(“双参数MRI”),从而缩短检查时间并避免对比剂任何潜在的不良反应[6, 7]。然而,众所周知,对比增强序列对部分接受前列腺MRI的患者仍有价值[20, 21],且对经验不足的放射科医师以及存在伪影(如髋关节假体所致)或图像质量不佳的检查尤其有价值[14]。既往论文主要关注人工智能在前列腺MRI中用于改善检查规划和图像质量[18]或肿瘤检测[22, 23],而我们旨在利用人工智能的优势来改进质量控制和与工作流程相关的决策。

理想情况下,是否进行动态对比增强(DCE)的决策应基于每位患者并根据具体情况临时决定,正如PI-RADS委员会目前所建议的[15]。然而,在临床常规中,实施台上监测并由放射科医师逐例做出此决策往往不可行——且应避免重新检查,尤其是不危及因不对每位患者进行DCE序列而获得的(时间)效益。在本研究中,我们试图将决定采用双参数还是多参数方案的任务委托给人工智能,这将允许实时决策并直接整合到临床工作流程中。经过训练的神经网络能够以> 94%的极高敏感性正确决定对比剂的应用。该方法本可正确地将44%的患者分配至双参数方案——从而使他们免于对比剂注射——并将34%分配至标准多参数MRI。20%的患者根据算法的决策本应接受多参数而非双参数MRI。同时,在专家放射科医师认为有必要进行DCE的情况下,仅2%的所有患者(在需要DCE的患者亚组中为5.6%)本不会接受DCE。根据这些患者的临床问题,他们可被安排重新检查。最后,神经网络的性能优于采集图像的放射科技师的准确性(本研究中为阅片者3),即让神经网络在临床常规中决定DCE将是有益的。这在双参数MRI方案作为机构标准用于前列腺MRI靶病灶检测的环境中尤为适用。人工智能可自动以高准确性检测可能需要采集DCE序列的扫描并提醒主治放射科医师(由于法律原因和可能的不良反应,主治放射科医师仍需监督对比剂的应用)。

当将在本院扫描仪上训练的神经网络应用于一组在不同扫描仪上进行的MRI检查时,达到了100%的敏感性,尽管特异性较低,为42.1%。虽然这无疑是一个令人鼓舞的结果,并表明该网络并不局限于某一制造商扫描仪的图像,但基于该不同厂商扫描图像的专门训练集可能会进一步提高神经网络的准确性。

此外,我们的方法可以在几个方面进行改进和完善:尽管神经网络的测试集由连续采集的临床MRI检查组成,但人工智能需要在未来的临床常规中进行验证。在本研究中,神经网络做出的决定被视为二分类——然而,可以定义一个概率值范围,在该范围内AI对其决定不确定,这将促使技师为该特定检查呼叫放射科医生。这种方法可以减少复查次数,同时仍然允许在许多情况下省略DCE。此外,本研究使用两位“专家级”放射科医生的共识作为参考标准。然而,可能存在这样的情况:当更有经验的读者不需要DCE序列时,较初级的读者会更希望有DCE序列。此外,虽然我们在来自不同厂商的一组MRI检查中评估了神经网络的性能,但纳入“不同厂商集”的扫描数量相当少。然而,由于神经网络的代码将免费提供,我们的结果可以很容易地在不同机构和不同扫描仪上进行测试。

总之,我们设计了一个神经网络,能够准确地在采集包含DCE的完整多参数MRI方案和更快的双参数方案之间做出决定。根据CNN做出的决定,本会离开MRI扫描仪而最终需要DCE序列的患者比例非常低。因此,将AI整合到质量评估和决策中可以实现更短的检查时间和更精简的临床工作流程,同时通过仅在真正需要时纳入DCE来保持诊断准确性。

补充信息

附加文件1。神经网络实现的技术细节。

引用

  1. Hötker AM, Da Mutten R, Tiessen A, et al. Improving workflow in prostate MRI: AI-based decision-making on biparametric or multiparametric MRI. Insights Imaging. 2021. PMID: 34370164. doi:10.1186/s13244-021-01058-7
  2. 全文:PMC8353049(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8353049/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。