多模态影像与临床信息对人类及AI算法分类乳腺肿块的重要性(INSPiRED 003):一项国际多中心分析
该国际多中心研究纳入1288例乳腺肿块患者,比较常规乳腺诊断、三位超声专家及基于单模态(超声特征)或多模态(超声特征加临床人口学信息)的机器学习算法的诊断性能。外部验证集(n=373)中,单模态算法AUC 0.83和0.82与超声专家(AUC 0.82–0.84)无显著差异,多模态算法AUC 0.90和0.89显著优于单模态及专家但劣于常规诊断(AUC 0.95)。结论:人类和AI算法的性能均随多模态信息而提升。
要点
- 外部验证集单模态超声ML算法AUC 0.83和0.82,与超声专家AUC 0.82–0.84无显著差异。
- 多模态ML算法AUC 0.90和0.89,显著优于单模态算法及所有超声专家(p<0.001)。
- 常规乳腺诊断AUC 0.95,显著优于所有其他方法(p<0.01);全队列常规评估特异度46%。
核心结论
- 人类和AI算法的性能随多模态信息而提升。
- 多模态AI算法不一定优于人类专家;单模态AI算法不代表分类乳腺肿块的最佳性能。
研究设计与样本
- 国际多中心试验(NCT02638935)子分析,12个中心、7个国家,2016年2月至2019年3月招募1288例女性。
- 入组标准为二维B型超声示最大径≥0.5且≤5 cm的不确定乳腺肿块,每例仅纳入一个肿块,全部经组织病理学确认。
- 三位超声诊断专科医师(10至30年经验)在不知临床信息的情况下对全部超声图像进行二次判读。
- 用11个中心数据开发两种机器学习算法(弹性净惩罚逻辑回归、极端梯度提升树),在剩余1个中心(n=373)外部验证。
- 参考标准为组织病理学;按ACR BI-RADS标准,BI-RADS 4或5(恶性风险≥2%)视为恶性。
关键影像表现/征象
- 示例病例1:41岁、乳腺癌家族史阳性、临床可疑可触及肿块,三位超声专家判为良性,完整临床评估判为恶性,病理为luminal B型NST G3癌。
- 示例病例2:25岁、无临床可疑征象,三位专家及完整临床评估均判为良性,病理为纤维腺瘤。
- 多模态逻辑回归中患者年龄为最重要的恶性预测因子(正则化ß=7.60,95%CI 7.53至7.73)。
诊断标准与关键数值
- 外部验证集常规诊断AUC 0.95(95%CI 0.93至0.97)。
- 多模态超声逻辑回归AUC 0.90(95%CI 0.87至0.93),多模态XGBoost树AUC 0.89(95%CI 0.85至0.92)。
- 单模态超声逻辑回归AUC 0.83(95%CI 0.78至0.87),单模态XGBoost树AUC 0.82(95%CI 0.77至0.86)。
- 超声专家1–3的AUC分别为0.82(95%CI 0.77至0.87)、0.82(95%CI 0.77至0.87)、0.84(95%CI 0.79至0.89)。
- BI-RADS分级:III级恶性风险>0%且≤2%,IV级>2%且≤95%,V级>95%。
临床应用与阅片要点
- 单模态超声AI算法与超声专家判读性能相当,但均低于结合多模态影像与临床信息的常规诊断。
- 多模态AI算法显著优于单模态算法及超声专家,但仍显著劣于常规乳腺诊断(p≤0.05)。
- 作者认为需进一步研究开发结合影像与全面临床及人口学数据的个体化诊断模型,以更好代表常规乳腺诊断路径。
局限性
- 多模态算法仅纳入超声特征、患者年龄和临床可疑可触性,记录的可解释信息量有限。
- 作者指出需进一步研究开发结合影像与全面临床及人口学数据的更可靠诊断模型。
- 依赖传统组间关联可能促成乳腺诊断高假阳性率的讨论,本研究中全队列常规评估特异度为46%。
- 超声专家对全部超声图像进行二次判读而非亲自操作检查。
- 本研究采用手工图像特征而非深度学习;作者不认为此选择会限制研究发现。
全文中译16 节 · 点击展开
引言
基于人工智能(AI)算法的自动化医学图像分析的应用引发了极大的热情:世界级的放射学评估可能变得频繁可及,惠及低收入国家、农村地区或正在接受培训的医师[1]。此外,图像的自动化评估可能有助于放射科医生应对日益增长的工作量需求[2]。医学图像分析算法的发展要么通过使用手工设计的图像特征(自动提取或由人工读者提取),再经由机器学习算法进行分析,要么通过使用不需要预先特征提取的深度学习技术[1]。此类算法已在某些领域展现出与人类专家读者相当的卓越诊断性能[3]。然而,最近一项针对美国放射学会和北美放射学会成员的调查显示,极少数医师在其实践中使用此类成像算法(约30%,主要用于研究目的),而在这些人中,93%报告这些算法在实践中结果不一致。约95%表示他们不会信任仅由算法做出的诊断(尽管其中一些已获得FDA clearance)[4]。新开发的成像算法所报告的卓越性能与其在临床实践中未被使用以及人类成像专家所表现出的不情愿之间的差异似乎令人瞩目。对此的一种解释可能是,仅在图像数据上训练的算法在仅查看那些图像时可能与人类图像读者表现相当——但这并不代表临床现实,在临床现实中成像信息(多种成像模态)通常与情境化的临床和人口学信息一同被考虑。
以乳腺癌诊断为例,多种成像模态(通常为超声和乳腺X线摄影,有时为MRI)被用于评估不确定性乳腺肿块,并结合临床和人口学信息,如患者年龄、可疑可触及性、疾病史和家族病史[5, 6]。特别是乳腺超声在过去几年中经过了大量评估,因为它显示出识别乳腺X线摄影中最初被遗漏的癌症的潜力,但超声也导致更多假阳性发现[7]。情境化临床和人口学信息以及不同成像模态未被整合到基于AI的诊断算法中(尤其是在乳腺癌诊断中),可能限制了这些诊断模型当前的性能。尽管这一知识空白对临床实践具有重要启示,但尚未被系统性地解决。
在本研究中,我们比较了常规乳腺癌诊断与由人类或基于AI的算法对乳腺超声解读的诊断性能,这些算法要么在单模态信息(超声特征)上训练,要么在多模态信息(除超声特征外的临床和人口学信息)上训练,以对乳腺肿块进行分类。我们假设人类和基于AI的算法在考虑多模态而非单模态信息时均能提高其性能。在我们的分析中,我们使用了一项国际多中心试验的数据,该试验评估了一种新超声技术与传统B模式乳腺超声的比较使用[8]。
材料与方法
患者招募与选择
患者作为一项国际多中心试验(NCT02638935)的一部分被招募。该试验于2016年2月至2019年3月在7个国家(奥地利、法国、德国、日本、葡萄牙、荷兰、美国)的12个研究中心开展。纳入年龄18岁及以上、在二维B型超声上表现为最大径≥ 0.5且≤ 5 cm的不确定性乳腺肿块的女性。每位患者仅纳入一个肿块。根据母试验的要求,所有患者均接受了组织病理学确认。
设计与定义
在临床常规中,乳腺肿块在评估不同影像学方式(乳腺X线摄影、二维B型超声和/或MRI,视临床常规适用情况而定)以及关于患者年龄、疾病史和家族病史的额外人口学和临床信息后,被分类为(潜在)良性或恶性。来自不同研究中心的3名超声诊断专业医师在无法获取患者任何临床信息的情况下对所有超声图像进行了二次判读。这3名超声专家在乳腺癌诊断方面拥有10至30年经验,包括1名放射学教授、1名乳腺诊断专业教授(乳腺诊断负责人)和1名乳腺诊断专业高级医师(乳腺诊断负责人)。
恶性风险根据美国放射学会(ACR)BI-RADS标准进行评估,并在临床常规中及由超声专家为所有患者分配BI-RADS评分。BI-RADS对乳腺肿块赋予风险类别:BI-RADS III分配给恶性风险> 0%但≤ 2%的患者,BI-RADS IV为> 2%但≤ 95%,BI-RADS V为恶性风险> 95%。为进一步细化这一宽泛的风险评估,除BI-RADS评分外,还为所有患者分配了连续的恶性似然评分。在临床常规中用于评估恶性风险的单一变量中,超声评估的单项BI-RADS描述符、患者年龄和病灶可触及性为本试验专门记录。
为进行比较,我们开发并验证了两种机器学习(ML)算法,其在单模态信息(由超声专家生成的超声特征,见表1)上训练以对乳腺肿块进行分类。随后,相同的ML算法在多模态信息(除超声特征外还包括临床和人口学信息)上进行训练。变量的完整列表见表1。
遵循ACR BI-RADS指南,当根据BI-RADS 4或5恶性风险等于或高于2%时,我们假定乳腺肿块为恶性。所有患者均接受了组织病理学确认,并将诊断预测与之进行比较。
算法开发
算法选择及其报告参考了关于如何在医学中使用机器学习的指南[9]、如何报告诊断测试结果[10]和多变量预测模型[11]的指南,以及我们团队先前发表的研究[12–15]。我们开发并验证了两种算法来预测乳腺肿块的恶性程度:带弹性网络惩罚的逻辑回归(LR):我们选择该算法是因为它能够减弱某些预测变量对模型的影响,从而对新数据集具有更好的泛化能力[16, 17]。该算法仅限于识别预测变量与结局之间的线性关系。
极端梯度提升(XGBoost)树:梯度提升指的是一种机器学习技术,其最终预测模型由多个逐步构建的模型集成而成[18]。梯度提升通常应用于决策树,从而形成结合多棵树预测结果的集成模型。我们选择该算法是因为它能够识别数据中更复杂的非线性模式,同时仍具有可解释性。
算法在开发集上使用十折交叉验证进行训练和调优;使用超参数网格搜索进行超参数调优(见补充附录中的最优超参数、内部测试结果和数据准备步骤)。随后使用独立数据集对最终模型进行外部验证。由于这是一项大型国际多中心试验,我们选择一个试验中心作为独立验证数据集,对最终模型进行(外部)验证。多变量风险预测模型指南建议在至少包含100个事件的数据集中对此类模型进行验证[11]。只有一个试验中心至少有100个事件,因此被用作验证集(母试验的研究中心1)[8]。其余11个试验中心被用作开发集。
我们在在线补充附录中提供了所有算法和算法开发的更详细描述,以及根据上述指南[9–11]对我们研究的详细评估。
统计分析
使用描述性统计包括绝对频数和相对频数,以及分类数据的卡方检验和连续数据的均值、标准差及t检验,比较开发集和验证集中基线和结局变量的分布。
为评估临床常规、超声专家、单模态和多模态超声机器学习算法对乳腺肿块分类的诊断性能,使用从验证数据集中抽取的2000次bootstrap重复样本(按结局变量(恶性/良性)分层)为每个模型计算受试者工作特征曲线下面积(AUC)及 accompanying 95%置信区间。我们进行了亚组分析,以比较单模态和多模态超声机器学习模型在外部验证集中不同年龄组(< 50岁、≥ 50岁)和不同组织病理学亚组(恶性 vs. 良性)间的AUC。
此外,我们将敏感度、特异度、阴性预测值和阳性预测值与组织病理学评估的金标准进行比较,并相互比较;我们计算了95% Clopper-Pearson置信区间。
使用校准图(观察概率与预测概率 [19])和Spiegelhalter's Z统计量 [20] 评估机器学习(ML)模型的校准情况。
未进行针对I类错误膨胀的多重性校正。因此,这些分析属于描述性性质。所有p值必须以描述性方式解读,不具有验证性价值。分析使用R软件3.6.1版进行(使用R的“caret”包进行模型开发)。
伦理考量
该试验获得所有相关伦理委员会的批准,所有参与者均提供了书面知情同意。本文所报告的研究符合《赫尔辛基宣言》。
结果
患者招募
共纳入1294名女性。其中6名因无病理评估数据而被排除出分析。其余1288名接受了完整的临床乳腺评估,包括临床检查和多模态影像学检查(B型乳腺超声、乳腺X线摄影、根据临床常规适用的MRI),随后对肿块进行组织病理学评估。
基线人口学和临床特征
表1显示了整个队列以及用于算法开发和验证的开发数据集和外部验证数据集中基线和结局变量的分布。在整个队列中,平均年龄为46岁(标准差16.0),1288个乳腺肿块中有368个(28.6%)经组织病理学确认为恶性。在比较开发数据集(n = 915)和外部验证数据集(n = 373)时,验证集的组织病理学恶性肿块比例显著更高(33.8% vs. 26.4%,p = 0.010),临床触诊可疑的肿块比例也更高(63.5% vs. 45.9%,p < 0.001),并且B型超声图像中组织构成、肿块边缘、回声模式和后方特征方面存在一些差异。
诊断性能评估
验证集中临床常规、三位超声专家、单模态超声机器学习算法和多模态超声机器学习算法的诊断性能指标见表2。临床常规的AUROC为0.95(95% CI 0.93至0.97),多模态超声弹性网惩罚逻辑回归(LR)算法为0.90(95% CI 0.87至0.93),多模态超声XGBoost树算法为0.89(95% CI 0.85至0.92),单模态超声弹性网惩罚逻辑回归算法为0.83(95% CI 0.78至0.87),单模态超声XGBoost树算法为0.82(95% CI 0.77至0.86),超声专家1–3分别为0.82(95% CI 0.77至0.87)、0.82(95% CI 0.77至0.87)和0.84(95% CI 0.79至0.89)。
图1总结了不同方法之间诊断性能的比较:单模态超声机器学习算法的性能与超声专家的性能无显著差异(p 0.361至0.935);多模态超声机器学习算法的性能显著优于所有超声专家和单模态算法(所有p < 0.001);临床常规乳腺诊断的性能显著优于所有其他方法(所有p < 0.01)。相应的ROC曲线见图2。
机器学习模型的校准图见补充图1,显示模型校准良好,这一点经Spiegelhalter's Z检验证实(4个模型中有3个校准良好,见补充附录)。采用弹性网络惩罚的单模态逻辑回归(LR)在中等恶性肿瘤概率范围内显示校准不佳。
模型预测与传统多变量逻辑回归的深入分析
采用弹性网络惩罚的单模态和多模态逻辑回归的预测系数列于表3。对于多模态算法,患者年龄是最重要的恶性肿瘤预测因子(正则化ß = 7.60,95% CI 7.53至7.73),其次是毛刺状边缘(正则化ß = 1.10,95% CI 0.21至1.99)、肿块非平行方位(正则化ß = 0.88,95% CI 0.52至1.24)、临床可疑触及(正则化ß = 0.84,95% CI 0.56至1.28)和不规则形状(正则化ß = 0.54,95% CI 0.0至1.08)。
图3通过Shapley加性解释(SHAP)值展示了XGBoost树模型预测的变量重要性。
作为对比,传统多变量逻辑回归的优势比列于表4。
亚组分析
我们在外部验证集中评估了多模态超声机器学习模型在不同患者亚组中的诊断性能(见补充表1)。算法在不同年龄组(< 50岁和≥ 50岁)中表现相当(p > 0.05)。算法在良性组织病理学患者中的性能高于恶性组织病理学患者(p < 0.05)。详细AUC值列于补充表1。
进一步分析
表5显示了临床常规和三位超声专家在全部1288例患者队列中的诊断性能。其在全队列和验证集中的性能无显著差异。
示例图像
图4展示了两位典型患者的超声图像,说明了结合患者人口学和临床信息进行情境化分析的重要性。
讨论
在本研究中,我们将常规乳腺癌诊断的诊断性能与人类或基于AI的算法对乳腺超声图像的判读进行了比较,这些算法分别基于单模态信息(超声特征)或多模态信息(除超声特征外的临床和人口学信息)进行训练,以对乳腺肿块进行分类。我们的分类算法在超声图像上对乳腺肿块的分类中表现出与人类判读者相当或更优的性能。我们表明,与能够综合评估多种影像来源及其他相关人口学和临床信息的医师相比,影像分类任务中超越人类的性能并不必然带来最先进的诊断决策。我们证明,基于AI的算法与人类一样,可以通过将图像数据与个体人口学和临床状态数据相结合来提高乳腺癌分类的诊断准确性。将临床和人口学信息进行情境化分析是诊断路径中的关键要素——即使影像判读经过基于AI算法的优化或增强,仅使用单一影像模态进行乳腺癌诊断在准确性上仍存在固有局限性。有必要开展进一步工作来开发和评估将影像与全面临床和人口学数据相结合的个体化诊断模型,以更好地反映常规临床乳腺诊断的诊断路径。
在解释我们的研究结果时,有些要点应进一步讨论。首先,即使是最基于人工智能的影像算法,在仅评估单一影像模态的图像而未结合临床和人口学信息进行情境化时,也可能存在局限性。观察图4中展示的两例超声图像示例患者,这一点就变得显而易见。此外,一项关于基于人工智能的图像分析的近期系统综述在乳腺影像领域识别出9项研究[3]。在这9项研究中,所有研究均报告所开发的算法表现出与人类专家相当的诊断性能,但所有研究都是将性能与人类图像阅读者进行比较,而非与临床常规中的完整诊断评估进行比较,所有算法均在单模态影像信息上训练(7项超声,2项乳腺X线摄影),仅3项进行了外部验证[21–29]。通过基于人工智能的算法对患者信息进行情境化分析以用于复杂风险评估,在其他领域已取得有希望的结果[13–15]。因此,将情境化临床和人口学信息以及不同影像模态整合到基于人工智能的诊断算法中(尤其是在乳腺癌诊断中)的缺失,可能不仅限制了这些模型的当前性能——某些此类模型已实现与人类专家相似的诊断性能这一常见主张,也可能给临床医生在使用图像算法时带来虚假的安全感,而这些算法尚未(前瞻性地)与临床常规性能进行比较。此外,乳腺影像领域的基于人工智能的算法常与分类性BI-RADS评估进行比较。由于基于人工智能的算法输出的是连续的恶性风险,这在将基于人工智能的算法与BI-RADS分类进行比较时,可能固有地导致更高的性能。在我们的研究中,除BI-RADS评分外,还为所有患者分配了连续的恶性似然评分。虽然该方法未经验证,且仍可能导致对基于人工智能算法更高性能的偏倚,但它可能使基于人工智能的算法与人类分配的BI-RADS分类之间的比较更加公平。
其次,我们的多模态超声机器学习算法在图像特征以及临床和人口学信息上进行了训练,但可记录的、可解释的信息量仅限于超声特征、患者年龄和临床可疑的可触及性。需要进一步开展工作来开发(更可靠的)诊断模型,将影像与全面的临床和人口学数据相结合,以充分反映临床现实(参见根据美国国家综合癌症网络乳腺癌筛查指南通常考虑的变量[5])。此外,当前研究正在评估自动乳腺超声及其与数字乳腺断层合成的结合的可行性,这可能在未来进一步推进(自动化)多模态乳腺图像分析[30, 31]。
第三,依赖传统的组水平关联可能有助于当前关于乳腺诊断中高假阳性率的讨论[32],我们在研究中也观察到了这一点(整个队列中临床常规评估的特异性为46%,表5)。通过复杂风险模型进行的个体化预测可能有助于提高诊断准确性,以避免患者的身体和心理困扰,并减轻提供者和医疗系统的治疗负担。
第四,医学图像分析或分类的算法开发要么使用由机器学习(ML)算法分析的手工制作图像特征,要么使用不需要预先特征提取的深度学习技术[1]。在我们的研究中,我们使用了第一种方法。尽管深度学习技术在过去十年中在自动化医学图像分析方面显示出巨大潜力,但它们在图像检测或分类任务中通常并不优于人类[3]。事实上,对于某些分类任务,在中小型数据集中分析手工制作的图像特征显示出优于深度学习方法[33]。由于我们当前分析的目的是展示仅基于单模态而非多模态信息开发人工智能(AI)算法的固有局限性,并将其性能与图像阅读者而非临床常规决策进行比较,我们不认为选择基于特征的机器学习而非深度学习算法会限制我们的发现。
第五,我们的超声专家对所有超声图像进行了二次阅片,而非亲自执行检查。尽管一些证据表明解读动态视频与静态图像相比不会损害诊断性能,但这可能在我们的研究中造成了一些偏倚,并可能影响了超声专家的表现[34]。
结论
我们表明,与能够评估多种成像来源以及其他相关人口学和临床信息的医师相比,影像分类任务上超越人类的表现并不必然产生最先进的诊断决策。未基于多模态常规信息(影像、人口学和临床信息)开发的AI算法,且随后未与这种临床常规的表现进行比较,可能并不代表最先进的诊断性能。对仅依赖单一成像模态的AI算法的信任可能导致临床医生产生误导性的安全感。需要进一步的工作来开发和评估将影像与全面的临床和人口学数据相结合的个体化诊断模型,以更好地代表常规临床乳腺诊断的诊断路径。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 83 KB)
引用
- Pfob A, Sidey-Gibbons C, Barr RG, et al. The importance of multi-modal imaging and clinical information for humans and AI-based algorithms to classify breast masses (INSPiRED 003): an international, multicenter analysis. Eur Radiol. 2022. PMID: 35175381. doi:10.1007/s00330-021-08519-z
- 全文:PMC9123064(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9123064/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。