文献速递胸部腹部技术与安全MR

开发与评估全身磁共振成像机器学习算法检测肺癌或结肠癌患者转移灶的诊断试验准确性研究

Development and Evaluation of Machine Learning in Whole-Body Magnetic Resonance Imaging for Detecting Metastases in Patients With Lung or Colon Cancer: A Diagnostic Test Accuracy Study.
PubMed 文献 · Invest Radiol · 2023-06-26

该研究基于Streamline多中心前瞻性收集的438例全身磁共振成像扫描进行回顾性分析,开发卷积神经网络算法生成病灶概率热图。25名放射科医生在有或无机器学习支持条件下判读,经验丰富读者检测转移灶的敏感度和特异度无显著差异;第二轮判读中机器学习支持使阅读时间显著缩短约286秒(11%)。

要点

  • 经验丰富读者检测转移灶的每患者敏感度机器学习66.0% vs 无机器学习70.0%,差异无统计学显著。
  • 经验丰富读者每患者特异度机器学习86.2% vs 无机器学习87.7%,差异无统计学显著。
  • 第二轮判读中机器学习支持使阅读时间显著缩短,回归分析估计快286秒(约11%)。

核心结论

  • 与标准全身磁共振成像相比,同步机器学习支持在检测转移灶或原发肿瘤的每患者敏感度和特异度上无显著差异证据。
  • 第二轮判读中机器学习支持显著缩短阅读时间,估计快286秒(95%CI,-370,-201秒),约11%(95%CI,-61%,26%)。
  • 第一轮至第二轮阅读时间下降32%,提示读者熟悉了研究判读方法。

研究设计与样本

  • 研究为对Streamline多中心前瞻性研究(2013年2月至2016年9月)中收集的全身磁共振成像扫描进行回顾性分析,扫描来自16个招募中心。
  • 438例扫描中433例可评估,分配至算法训练245例、放射科测试188例(结肠癌117例、肺癌71例,其中50例有转移)。
  • 参考标准为Streamline共识参考标准,通过多学科共识会议回顾所有影像、治疗干预、组织病理学和患者结局至少12个月确定。
  • 算法基于卷积神经网络和两阶段训练策略,生成病灶概率热图并叠加于PACS供判读。
  • 25名放射科医生(18名经验丰富、7名经验不足)参与判读,判读在2019年11月至2020年3月诊断放射科判读室进行。

关键影像表现/征象

  • 最终算法在临床测试集上,70%的真实分割癌症病灶召回评分高于50%,即至少50%体素被算法判为恶性。
  • 所有转移部位和读者经验水平的每部位特异度均高于90%。
  • 经验丰富读者对肺癌原发灶检测率为98.6%(有和无机器学习相同),结肠癌为89.0%(有机器学习)和90.6%(无机器学习)。

诊断标准与关键数值

  • 经验丰富读者每患者敏感度:机器学习66.0% vs 无机器学习70.0%,差异-4.0%(95%CI,-13.5%,5.5%;P=0.344)。
  • 经验丰富读者每患者特异度:机器学习86.2% vs 无机器学习87.7%,差异-1.5%(95%CI,-6.4%,3.5%;P=0.39)。
  • 经验不足读者每患者敏感度:机器学习73.3% vs 无机器学习60.0%,差异13.3%(95%CI,-7.9%,34.5%;P=0.313)。
  • 经验不足读者每患者特异度:机器学习与无机器学习均为76.3%,差异0%(95%CI,-15.0%,15.0%;P=0.613)。
  • 读者间一致性:有机器学习Cohen κ=0.64(95%CI,0.47,0.81),无机器学习Cohen κ=0.66(95%CI,0.47,0.81)。

临床应用与阅片要点

  • 机器学习热图可作为同步辅助工具叠加于全身磁共振成像上,提醒放射科医生潜在转移灶,未显著影响判读敏感度和特异度。
  • 经验丰富读者在第二轮判读中使用机器学习支持时阅读时间显著缩短,估计快286秒(11%)。
  • 经验不足读者使用机器学习时敏感度数值较高但差异未达统计学显著(13.3%;95%CI,-7.9%,34.5%;P=0.313)。
  • 肝脏转移灶检测敏感度差异为-8.7%(95%CI,-20.2,2.8),使用机器学习时未显著提高。

局限性

  • 原文指出肝脏和肺转移灶每部位敏感度分析的置信区间因样本量小而不精确。
  • 原文指出第三轮判读的组内一致性κ统计量在本研究样本中估计不精确。
  • 原文指出两个阅读时间记录超过2小时。
  • 原文报告缺失数据导致把握度略有损失(0.894)。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Invest Radiol. 2023 Jun 26;58(12):823–31. doi: 10.1097/RLI.0000000000000996

因疑似或确诊癌症而接受检查的患者,在制定最终治疗策略之前,常需进行多项影像学检查以确定初始TNM分期。多中心前瞻性NIHR Streamline研究比较了全身磁共振成像(WB-MRI)与标准分期路径(CT ± 区域MRI[直肠、肝脏、脑]± FDG PET/CT)在新诊断的非小细胞肺癌或结直肠癌患者初始分期中的诊断准确性。1,2 这些研究还评估了所需检查的数量以及达到最终治疗计划所需的时间。Streamline研究发现,WB-MRI是标准路径的可行替代方案,准确性相似,但缩短了分期时间并降低了成本。1,2 然而,WB-MRI尚未广泛转化为肺癌和结肠癌的分期路径,尽管其在骨髓瘤骨病分期中应用更为广泛,在一定程度上也用于前列腺癌和乳腺癌。3–5 一个推测性的原因可能是人们认为阅读WB-MRI需要专科专业知识,以及由于整合WB-MRI上大量复杂序列的挑战而导致报告扫描所需的时间。

机器学习(ML),尤其是深度学习(DL)的重大进展,为CT和MRI上的自动分割和病灶检测提供了可能。6–11 然而,用于WB-MRI上癌症病灶检测的ML技术尚未得到广泛研究。

本研究的目的是使用人在回路(human-in-the-loop)方法,开发并在招募至Streamline研究的肺癌和结直肠癌患者的WB-MRI扫描中临床测试一种癌症病灶检测算法。该算法的预期用途是在图像判读时于WB-MRI图像上同步显示ML热图,提醒放射科医生注意潜在转移灶,假设ML支持将改善病灶检测并缩短阅读时间。次要目标包括评估经验不足的WB-MRI阅读者的阅读者性能,以及在有或无ML支持下对原发肿瘤的检测。

材料与方法

研究设计

本回顾性研究获得伦理批准(ICREC 15IC2647,ISRCTN 23068310)。患者在Streamline研究(ISRCTN43958015和ISRCTN50436483)中签署书面知情同意书,同意将去标识化数据用于未来研究。每例的TNM分期由源研究提供。

扫描于2013年2月至2016年9月期间在16个招募中心采集,使用最低限度的WB-MRI方案。12 采用Streamline对疾病部位的共识参考标准。1,2 简言之,该标准包括多学科共识会议,回顾性考虑所有影像学、治疗干预、组织病理学和患者结局(至少至癌症诊断后12个月),以确定诊断时的癌症分期和转移部位。

病例被随机分配至模型训练和临床测试(按原发肿瘤类型[肺或结肠]、是否存在至少1个转移性病灶以及招募中心进行分层),确保测试集中分配足够的有转移和无转移病例以满足效能计算,所有其他病例分配至训练。

数据准备

所有接收的DICOM数据最初均被纳入。3个关键序列(定义为轴位T2加权成像[T2WI]、扩散加权成像[DWI]或表观扩散系数[ADC]图)的各个解剖成像站点被拼接为单个DICOM堆栈并转换为NIfTI格式(https://nifti.nimh.nih.gov/)。11,13 因缺少关键序列或技术故障(NIfTI转换或算法运行失败)而排除部分病例。

所有可见病灶部位(原发肿瘤和转移灶)由经过培训的放射科医师使用ITK-Snap在T2WI和DWI NIfTI体积上进行分割,分割依据为Streamline试验参考标准所确定的病灶位置、大小和数量。14 并非所有部位均可在全身磁共振成像(WB-MRI)上识别,因为源参考标准包括了随后6个月内变为影像学可见的转移灶,认为这些转移灶在初始分期时可能存在(尽管隐匿)(见补充数字内容1,http://links.lww.com/RLI/A825,其中显示了用于对照参考标准进行 ground truth 分割的可见部位)。

数据可用性

在Streamline研究的486例患者中,438份WB-MRI扫描可用于本研究(270例结直肠癌和168例肺癌,114例伴有转移)(图1)。疾病分期见表1。

分配至训练集的245份扫描中,有19例技术故障,226份可评估用于训练(n = 181)和内部验证(n = 45)。分配至测试集的193份扫描中,有5例技术故障(缺失ADC n = 2,DWI损坏 n = 1,NIFTI转换和上传失败 n = 2),剩余188份可评估扫描(117例结肠癌,71例肺癌,50例伴有转移)。

图1 CONSORT流程图,展示病例分配至第2阶段训练(含内部验证数据集)和第3阶段临床测试数据集的情况。C = 结肠癌,L = 肺癌。 查看原图 ↗
表1 分配至放射科阅片的病例分期分布(测试集,n = 188) 查看原表 ↗

机器学习模型

我们研究了多种机器学习(ML)算法和不同的训练策略,用于多通道全身磁共振成像(WB-MRI)中的恶性病灶分割任务。有关所测试备选方案的详细信息可见补充数字内容2,http://links.lww.com/RLI/A826。最终的ML模型基于深度卷积神经网络(CNN),采用两阶段策略开发。我们首先利用了一种现有的CNN算法,用于健康器官分割,该算法是在先前一项健康志愿者研究中开发的。11在所有训练数据上运行这种多器官CNN分割算法,可为所有患者扫描提供自动器官图谱。这需要一个中间步骤,即使用刚性配准算法将第2阶段数据配准到健康志愿者数据中的模板受试者(图2)。这是为了补偿健康志愿者研究和当前患者研究的不同视野。尽管健康志愿者WB-MRI数据覆盖了从肩部到膝部的身体范围,但患者研究数据包括头部,这会影响器官分割算法的性能。配准是自动且快速的,仅为了获得器官掩膜而需要。随后,器官掩膜通过逆变换映射回原始患者训练数据。对于患者训练数据集,没有可供比较的参考器官分割,因此我们通过视觉评估这些分割的质量,它们似乎足以用于第二阶段。

随后,将自动生成的器官图谱与T2WI和DWI训练数据上手动分割的原发性和转移性恶性病灶合并(图2)。这导致分配给训练的所有扫描都具有多类别分割图,其中器官标签是使用先前开发的CNN算法自动生成的,而癌症病灶则是手动标注的。然后,我们使用训练集训练一个用于器官和病灶联合分割的CNN,采用DeepMedic架构。15该CNN模型随后能够在新未见测试数据上联合预测器官标签和恶性病灶。针对病灶类别生成的概率热图通过应用核大小为5 mm的高斯平滑进行后处理,归一化到[0,1]范围,并进行阈值处理以减少假阳性预测。后处理参数是基于对45例内部验证病例的视觉评估选择的。最终病灶概率热图被转换为DICOM并上传至PACS,以便与原始WB-MRI扫描叠加。每份WB-MRI扫描均被复制(一份带有ML热图序列,一份不带),以便进行掩蔽。

图2 两阶段模型训练方法的数据生成过程。A图:A,来自训练集中一名参与者的T2WI全身磁共振成像(WB-MRI)扫描示例。B,配准至健康志愿者研究模板扫描后。C,健康志愿者研究中开发的器官分割算法输出。D,将器官分割映射回训练数据原始扫描后。E,手动病灶分割叠加于T2WI扫描上。F,合并的器官分割与癌症病灶分割叠加于T2WI扫描上,用于训练最终的多类分割算法。B图:癌症病灶检测训练。A,输入T2WI扫描(与A图不同患者)。B,弥散加权扫描。C,基于参考标准的手动病灶分割(来自T2WI图像)叠加于弥散扫描上。D,卷积神经网络(CNN)算法(deep medic)后处理的病灶概率图。E,分类森林(CF)算法后处理的病灶概率图。 查看原图 ↗

放射学阅片

18名经验丰富的阅片者为Streamline放射科医师(n = 7)或常规为肿瘤委员会报告WB-MRI的医师(n = 11)。7名经验不足的阅片者包括不阅读WB-MRI的顾问医师(n = 3)和委员会认证的高级放射科培训医师(n = 4)。所有阅片者均接受了Biotronics3D阅片平台的使用培训,包括可选叠加机器学习(ML)热图(见补充数字内容3,http://links.lww.com/RLI/A827,其中展示了阅片者培训手册及带有热图的PACS阅片设置外观)。

测试集中的病例(n = 188)被随机分配给阅片者,按肿瘤类型(结肠癌或肺癌)、是否存在至少1个转移灶或无转移灶、以及Streamline研究的招募中心进行分层,以确保阅片者获得相似的阅片集,但不来自其所在机构。此外,随机选取93例分配给第二位经验丰富的阅片者进行阅片,以评估阅片者间一致性(阅片流程图见图3)。阅片者对所分配用于阅片者间一致性评估的病例不知情。因此,18名经验丰富的阅片者每人分配15至16例,在2个阅片轮次中各阅读两次,间隔至少4周以减少回忆偏倚。

采用类似方法,7名经验不足的阅片者根据其能力每轮分配10或14次阅片,其中4次纳入阅片者间一致性评估。

为防止任何训练偏倚,病例顺序(第1轮阅片有无ML支持,第2轮反转)经过平衡处理,使每轮中带有ML支持的病例数量相等(图3)。

由可参加第三轮阅片的任何阅片者进行的阅片者自身一致性评估,从其原始分配中随机选取6例结肠癌和4例肺癌病例,然后以1:1比例分配有无ML支持。

放射科医师向经过培训的记录员报告其发现,记录员填写病例报告表,包括原发肿瘤的详细识别、转移部位以及供阅片者使用的分期问题(见补充数字内容4,http://links.lww.com/RLI/A828,其中提供了用于数据采集的病例报告表)。阅片者可选择使用或忽略ML热图(如可用)来辅助其判断。阅片时间从图像加载至屏幕起记录至诊断阅片完成。

图3 18名经验丰富读者的盲法序贯读片方法流程图。最终测试集共188次读片,连同随机选取的93例由2名放射科医师读片,使2轮读片中每轮各有281次读片。对病例进行分层,以确保肺癌和结肠癌、伴或不伴转移以及按机构分布的病例具有合理的均衡性,从而确保读者接触到一系列病例,且读者不会被分配到其所在机构的病例。每轮读片均提供有和无机器学习(ML)支持的混合病例,以避免训练偏倚。两轮读片之间安排至少4周间隔,以减少回忆偏倚。 查看原图 ↗

统计分析

在主要结局(每患者敏感性)中检测ML与非ML之间显著差异(优效性)所需的样本量要求无转移患者141例和有转移患者51例(见补充数字内容5,http://links.lww.com/RLI/A829,其中提供了完整的统计分析计划,包括功效计算)。采用双侧McNemar检验比较配对比例,并计算95%置信区间(CI),以衡量有或无ML读片之间敏感性和特异性的差异。显著性检验基于不一致对子的二项分布,P < 0.05时认为结果具有统计学显著性。采用回归分析研究基于ML使用的读片时间配对差异。模型中纳入读片类型(结肠/肺)和ML辅助读片轮次(1/2)的固定效应,以及读者经验的聚类效应。所有分析均使用SAS v9.4(SAS Institute Inc,Cary,NC)完成。

结果

模型训练结果

机器学习模型开发结果

不同ML模型和训练策略比较的结果见补充数字内容2,http://links.lww.com/RLI/A826。读者所使用的最终模型是基于体素级病灶分割性能的定量分析,并结合45例内部验证病例的视觉评估而选定的。应用于临床测试集时,70%的真实分割癌症病灶的召回率评分高于50%,这意味着在70%的恶性病灶中,算法认为至少50%的体素为恶性。需要注意的是,验证集中的精确率和召回率(见补充数字内容2,http://links.lww.com/RLI/A826)是体素级的,而在人在回路读者研究中,敏感性和特异性是在病灶级评估的。

读者表现结果

检测转移性疾病的每患者敏感性和特异性

经验丰富的读者

在经验丰富的放射科医师总共562次读片(281次有ML支持和281次无ML支持)中,186次(93次有ML和93次无ML)由2名经验丰富的放射科医师读取。按读者经验分层的识别伴和不伴转移性疾病患者的敏感性和特异性见表2。

在138例无转移性疾病的患者中,有ML和无ML时读者分别正确识别119例(特异性86.2%)和121例(特异性87.7%),比例差异为−1.5%(95% CI,−6.4%,3.5%;P = 0.39)。需要注意的是,原本预期141例,因数据缺失导致的功效损失是轻微的(0.894)。

在50例转移性疾病患者中,读者在有和无机器学习(ML)支持下分别正确识别出33例(敏感性66.0%)和35例(敏感性70.0%),差异为−4.0%(95% CI,−13.5%,5.5%;P = 0.34)。

表2 放射科医师在有或无ML支持阅读时对转移灶的检测与参考标准的比较 查看原表 ↗

经验不足的读者

在经验不足的放射科医师总共161次阅读中,56次由2名经验不足的放射科医师阅读。对于经验不足的读者,每患者特异性在有或无ML时均为76.3%(29/38),差异为0%(95% CI,−15.0%,15.0%;P = 0.613),敏感性分别为73.3%(11/15)和60.0%(9/15),差异为13.3%(95% CI,−7.9%,34.5%;P = 0.313)。

按部位检测转移性疾病的敏感性和特异性

对于有经验的读者,按病变部位划分的特异性和敏感性率见Table 3。特异性未因使用ML算法而受影响,比例差异范围为1.6%至−0.5%。在所有情况下,按部位特异性均保持在95%以上。

对按部位敏感性的研究受到限制,因为根据参考标准,只有2个部位(肝脏和肺)有10例或以上阳性病例。使用ML时,肝脏在转移性肿瘤检测中产生的敏感性差异为−8.7%(95% CI,−20.2,2.8),而肺的敏感性率非常低,ML组为10.0%(95% CI,0.5,45.9),无ML组为0%(95% CI,0.0,34.5)(Table 3)。应注意,由于样本量小,这些区间较宽。

经验不足读者的按部位敏感性表请参见Supplemental Digital Content 6,http://links.lww.com/RLI/A830。

表3 放射科医师在有或无ML支持阅读时检测转移灶的敏感性和特异性 查看原表 ↗

每患者检测原发肿瘤的敏感性和特异性

在有或无ML的情况下,原发肿瘤的检测无显著差异。在71例原发性肺癌中(其中70例可用于ground truth分割),有经验的读者在有或无ML时均检测出70例(敏感性98.6%),差异为0.0%(95% CI,−2.0%,2.0%;P = 1.00)。在可用于ground truth分割的20例肺部肿瘤中,经验不足的读者检测出20例(敏感性100%;差异0.0%;95% CI,−0.0%,0.0%;P = 1.00)。在118例原发性结肠癌中,116例被确定用于ground truth分割。所有118例均由有经验的放射学读者阅读,ML支持时检测出105例,无ML时检测出107例(敏感性分别为89.0%和90.6%;差异−1.7%;95% CI,−5.6%,2.2%;P = 0.65)。在经验不足读者评估的33例原发性结肠癌中,有和无ML时分别检测出31例和29例(敏感性分别为93.9%和87.9%;差异6.1%;95% CI,−1.0%,13.1%;P = 0.39)。

完成阅读时间的结果

合并第1轮和第2轮,有经验的读者使用ML时的总体平均(SD)阅读时间为560(260)秒。无ML时时间增至595(610)秒(Table 4),因此使用ML时,未调整的平均阅读时间平均减少35秒(95% CI,−60,140),平均降低百分比为6.2%(95% CI,−10.0%,22.8%)。无论有无ML辅助或阅读类型如何,第2轮阅读时间均显著降低,从689(604)降至467(226),平均减少222秒(95% CI,129,314)或32.2%(95% CI,18.7%,45.6%)。

记录了两次超过2小时的阅读时间,因此表4还显示了中位四分位距(IQR)阅读时间,以及按读者经验(有经验/无经验)、阅读顺序(第1轮和第2轮)和阅读类型(结肠和肺)分层的额外亚组输出。平均而言,有经验读者第1轮阅读完成速度比无经验读者快100秒(95% CI,−75,274)(即12.6%;95% CI,−9.6%,34.8%),第2轮快81秒(95% CI,10,152)(即14.8%;95% CI,1.2%,27.8%)。

为研究机器学习(ML)与非ML在阅读时间上的差异,采用配对数据进行了回归分析,比较ML与其各自的非ML阅读。回归模型针对固定效应协变量进行了调整:阅读肿瘤类型(肺和结肠)和阅读轮次(ML用于第一轮还是第二轮阅读)。还纳入了读者经验的聚类效应。回归建模假设成立,残差呈正态分布。表5包含在研究配对ML与非ML阅读时间差异时,阅读轮次和阅读包对估计效应的回归估计值(以秒和百分比表示)。尽管未发现包类型影响阅读时间差异,但输出表明阅读轮次具有显著效应(P = 0.0281)。第1轮与第2轮之间ML/非ML差异的估计效应为−486秒(95% CI,−760,−213)。事后检验最小二乘均值差异以估计第2轮使用ML时对阅读时间的具体后续效应为−286(95% CI,−370,−201)秒。类似的百分比差异事后检验估计ML使第2轮阅读时间减少−11%(95% CI,−61%,26%)。

表4 阅读时间分析:按组(有无ML支持)、读者经验和阅读轮次——所有病例、结肠病例和肺病例——的平均值(SD)和中位数[IQR]阅读时间(秒) 查看原表 ↗
表5 回归模型中配对ML与非ML阅读差异的估计固定效应(以秒和百分比表示) 查看原表 ↗

读者间和读者自身分析

基于18名读者中93次阅读的配对,有经验读者使用ML时观察者间方差的Cohen κ为0.64(95% CI,0.47,0.81)。不使用ML时,观察者间方差不受影响,κ统计量为0.66(95% CI,0.47,0.81)。这可解释为读者之间具有中等一致性。

对于读者自身阅读,基于30次测试的样本,将第3轮有经验阅读与其第1轮或第2轮对应阅读进行比较时,使用和不使用ML的相应κ统计量分别为0.61(95% CI,0.13,1.00)和0.46(95% CI,0.10,0.74),在当前研究样本中估计过于不精确。

讨论

全身MRI是一种新兴的肺癌和结肠癌分期成像方式,其准确性类似于标准诊疗路径,但减少了分期时间和成本。1,2 然而,WB-MRI尚未广泛转化为分期路径。对专业知识的需求以及阅读WB-MRI所需的时间可能是临床转化的障碍。

我们开发了一种算法,用于在全身磁共振成像(WB-MRI)上检测恶性病灶,该算法生成病灶部位的热图供放射科医师审阅,旨在提高放射科医师对疾病的检测能力和放射学阅片速度。机器学习支持并未对阅片者表现产生决定性影响,在考察检测转移灶的特异性(95% CI,−13.4%,5.5%)和敏感性(−6.4%,3.5%)差异时结果无统计学意义。然而,数据表明机器学习可能不会阻碍阅片过程。当考虑第1轮和第2轮的所有阅片时,对于所有阅片者,使用机器学习的阅片时间平均减少百分比为6.2%(95% CI,−10.8%,22.8%)。第一轮与第二轮阅片之间阅片时间减少32%,可能表明放射科医师在第一轮中逐渐熟悉了基于云端的图像存档与通信系统(PACS)的阅片环境以及新增的机器学习热图,尽管已确保每位阅片者事先接受了该平台的培训。一旦熟悉了阅片环境,机器学习在阅片时间方面的潜在获益可能存在,因为在回归分析中考虑阅片轮次、阅片者经验和肿瘤类型后,第2轮阅片使用机器学习被建模为快286(95% CI,201,370)秒(11%)。可以推测,阅片者借助指示待审阅部位的机器学习热图,可能更快速地在WB-MRI扫描上找到病灶,尽管并未实现更高的检出率。

尽管为阅片者分配了充足的时间,放射学阅片时间总体低于预期。这可能归因于与记录员一起阅片,记录员针对扫描的特定方面提出问题,从而建立了高效的阅片系统,尤其是当阅片者知道自己正在被计时时。T2加权成像(T2WI)、弥散加权成像(DWI)和表观弥散系数(ADC)的拼接图像堆可能意味着某些其他可用序列未被充分审阅,因为在许多情况下可用的未处理序列数量非常多。与Streamline研究不同,生成的扫描报告未用于临床决策,这可能减少了阅片所花的时间。使用机器学习的平均阅片时间总体略短约6%,不太可能影响日常实践。所有阅片者在WB-MRI中使用机器学习输出进行阅片均缺乏经验,且需要核对机器学习热图上的表现可能减慢了阅片速度,尤其是在第一轮期间。然而,机器学习输出并未使总体阅片时间显著延长。一旦阅片者熟悉了使用热图,阅片时间出现了具有统计学意义的11%下降,这在临床上可能具有意义。

据我们所知,尚无发表文献研究人工-机器学习放射学阅片在WB-MRI中检测肺癌或结肠癌转移灶的诊断性能。机器学习已应用于慢性非细菌性骨炎、淋巴瘤和骨髓瘤骨病灶表征的WB-MRI研究9,16,17,但均无机器学习-人工在环的阅片者输出。

其他研究评估了使用机器学习(ML)或深度学习(DL)时阅读时间的变化,涉及不同的成像方式和肿瘤类型。据报道,在使用DL检测肺结节时,阅读时间减少了11%。18 在乳腺断层合成中使用DL辅助使阅读时间从41秒平均降至36秒,平均减少11%,所报告的减少范围在14%至52.7%之间。19–21 在前列腺MRI中,DL辅助使阅读时间减少了21%,从中位数103秒降至81秒。22

本研究的优势包括:WB-MRI扫描来自一项前瞻性多中心多厂商研究,采用多参数序列。参与研究的独立放射科医生数量相对较多。使用记录员填写病例报告表(CRF)确保了阅读方法的同质性、为使用ML热图提供了技术支持(对所有读者均为首次),并实现了独立阅读时间测量。基于PACS云的阅读平台支持盲法工作列表,所有阅片均在常规放射科报告室完成,以尽量复现日常工作场景。

也存在若干挑战。转移性病灶病例数量有限、扫描仪种类多样以及方案间的细微差异均影响了算法训练。由于时间和资源限制,无法建立更大规模的阅片者间和阅片者内一致性估计。我们未尝试训练用于自动化疾病诊断的模型,而是专注于病灶检测的高敏感性以供放射科医生复核。按患者水平检测转移灶的性能未达到Streamline研究的高特异性(结肠队列95%,肺队列93%),但敏感性更为接近(结肠队列67%,肺队列50%)。1,2 推测原因可能是读者被分配的扫描来自众多医院和厂商,序列表现存在差异。此外,本研究结果未用于临床诊疗,可能改变了读者行为,而在Streamline研究中,放射科医生阅读本机构的WB-MRI且结果用于制定治疗方案。在当前研究和Streamline研究中,读者均对其他可能影响诊断判读的临床数据设盲。

结论

开发了一种两步法来训练用于肺癌或结肠癌WB-MRI中癌症病灶检测的模型。放射科医生的临床验证表明,在有或无ML辅助的情况下,WB-MRI检测转移性病灶的性能相当。在后续阅片轮次中使用ML时,阅读时间有适度减少,尽管需要进一步研究以确定ML是否提供总体时间效益。本研究强调了在评估ML应用时分析阅读时间中阅片轮次的重要影响。

补充材料

引用

  1. Rockall AG, Li X, Johnson N, et al. Development and Evaluation of Machine Learning in Whole-Body Magnetic Resonance Imaging for Detecting Metastases in Patients With Lung or Colon Cancer: A Diagnostic Test Accuracy Study. Invest Radiol. 2023. PMID: 37358356. doi:10.1097/RLI.0000000000000996
  2. 全文:PMC10662596(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10662596/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。