深度学习可区分股骨头缺血性坏死的早期与晚期阶段
研究利用104例髋关节MRI回顾性训练三种卷积神经网络(VGG-16、InceptionV3、Inception-ResNetV2)及共识集成模型,区分股骨头缺血性坏死早期(ARCO 1-2)与晚期(ARCO 3-4)。在另一国家49例独立外部队列验证中,集成模型AUC达85.5%(95%CI 72.2-93.9%),与两名肌骨放射科专家性能无显著差异(p=0.22和0.092)。
要点
- 集成模型仅用冠状位STIR图像即可区分AVN早期与晚期,外部队列AUC 85.5%。
- 外部队列中集成模型与两名肌骨放射科专家AUC无显著差异(p=0.22和0.092)。
- 内部测试中Inception-ResNetV2个体AUC最高达99.7%,集成模型与之相似。
核心结论
- 经外部验证的CNN集成模型能准确区分AVN早期与晚期,性能与专家肌骨放射科医生相当。
研究设计与样本
- 回顾性多机构队列研究,训练/内部测试使用104例髋(67例患者)MRI,外部队列来自另一国家49例髋。
- 以VGG-16、InceptionV3、Inception-ResNetV2三种CNN进行迁移学习(ImageNet)并微调,集成决策取至少两种CNN一致。
- 参考标准为两名肌骨放射科医生(分别40年和10年经验)独立按ARCO分类进行分期,分歧时共识确定。
- 训练/测试使用经股骨头中部冠状位STIR图像,缩放至150×150像素,按70:30随机分割并做数据增强。
关键影像表现/征象
- AVN诊断依据T1加权图像上的「带状」征象。
- 晚期AVN(ARCO 3-4)定义为存在软骨下骨折、股骨头球形丢失和/或相关骨髓水肿、继发性骨关节炎征象。
- 早期AVN(ARCO 1-2)定义为无上述表现。
诊断标准与关键数值
- 内部测试中Inception-ResNetV2的AUC为99.7%(95%CI 99-100%),InceptionV3为99.3%(95%CI 98.4-100%),VGG-16为97.3%(95%CI 95.5-99.2%)。
- 外部队列中VGG-16个体AUC最高为78.9%(95%CI 51.6-79.6%),InceptionV3为74.8%(95%CI 58.1-84.7%),Inception-ResNetV2为76.59%(95%CI 58.1-84.7%)。
- 外部队列中集成模型AUC为85.5%(95%CI 72.2-93.9%),显著高于各单个CNN(与VGG-16、Inception-ResNetV2、InceptionV3比较p值分别为0.014、0.01、0.028)。
- 外部队列中第一名肌骨放射科医生AUC为75.7%(95%CI 62.7-87.9%),第二名為73.08%(95%CI 60.4-86.4%),与集成模型比较p值分别为0.22和0.092,无显著差异。
- 两名肌骨放射科医生检测晚期AVN的召回率分别为96.1%和92.3%,分别有1例和2例晚期误分类为早期。
临床应用与阅片要点
- 集成模型仅需冠状位STIR序列即可区分早期与晚期AVN,该序列为大多数盆腔MRI协议的一部分。
- 作者指出该方法有潜力辅助AVN准确分期,无需肌骨放射学专业知识,最终帮助选择正确治疗策略。
- 作者指出在非聚焦髋关节的盆腔MRI中AVN可能为偶然发现,基于常规序列的分期可增加方法临床价值。
局限性
- 研究为回顾性设计。
- 训练数据集有限。
- 算法仅使用冠状位STIR图像进行训练。
全文中译10 节 · 点击展开
引言
在美国,股骨头缺血性坏死(AVN)每年影响约20,000名患者,是年轻人接受全髋关节置换术(THA)最常见的原因,超过70%的患者表现为双侧受累[1]。若AVN未经治疗,会进展为关节塌陷和继发性骨关节炎,此时THA成为唯一的治疗选择。然而,在关节塌陷之前的疾病早期阶段,可采用保关节技术(髓芯减压、带血管蒂植骨等),有望避免THA[2]。因此,区分早期与晚期AVN对于选择合适的治疗方案至关重要。
目前存在多种AVN分期系统,其中骨循环研究协会(ARCO)[3]的分期系统最为常用。最新(2019年)AVN管理国际指南推荐使用ARCO分期[4]。最新版ARCO定义了四个主要分期,前两期(ARCO < 3)可采用保关节技术,而终末期疾病(ARCO 3–4)推荐行髋关节置换术。然而,区分ARCO 2期(早期)与ARCO 3A期(晚期)是一项极具挑战性的任务,需要肌骨放射学方面的丰富专业知识和综合影像学表现,包括股骨头球形度丧失的征象和软骨下骨折的存在[4–6]。
人工智能此前已被用于在X线平片[7]和MRI[8]上诊断AVN、识别增加塌陷风险的因素[9],以及鉴别晚期AVN与其他引起股骨近端骨髓水肿的原因(如暂时性骨质疏松症)[10, 11]。近期也有研究尝试量化坏死体积和表面积,以试图将其与AVN分期相关联[12]。然而,坏死部分体积的量化并不属于任何临床相关分类系统,且尚未设定可定义最佳治疗的体积截断值。
本研究的目的是开发一种深度学习方法,以区分AVN的早期(ARCO 1和2期)与晚期(ARCO 3和4期)。为此,采用迁移学习方法训练卷积神经网络(CNN),并使用AVN患者队列进行微调。该算法经过内部测试,随后在一个国际AVN患者队列中进行外部验证,并将其性能与肌骨放射科医师的表现进行基准比较。开发此类模型对于辅助保关节手术与全髋关节置换术之间的临床决策将具有极大价值。
材料与方法
患者
回顾性汇集了一个多机构数据集(UHH队列),包含104个连续髋关节(67例患者)的股骨头缺血性坏死(AVN)。该队列包含36例早期AVN和68例晚期AVN。采用迁移学习和数据增强相结合的方法来应对数据集规模较小的问题,方法由Candemir等[13]提出(如下所述)。所有患者均在我们的专科肌肉骨骼影像门诊和骨髓影像第二意见门诊接受评估,该门诊接收国内和国际转诊的复杂髋关节病例。病例在前瞻性AVN登记系统中收集,随后基于我们MSK门诊的该登记系统回顾性检索影像数据。该队列此前已用于开发深度学习和影像组学方法,以区分股骨头缺血性坏死与髋关节一过性骨质疏松[10, 11]。排除标准包括:目标髋关节存在肿瘤、既往创伤、感染、炎性关节病或手术,以及图像质量不足。伴有广泛红骨髓浸润的髋关节也被排除,以避免模仿近端髋关节骨髓水肿的混杂效应。该队列用于卷积神经网络(CNN)的训练和内部测试。
所开发深度学习方法的外部验证使用来自另一国家中心的独立匿名队列(TUM队列,n = 49个髋关节)进行,该队列基于相同标准回顾性选取(图1)。本研究按照《赫尔辛基宣言》进行,并已获得伊拉克利翁大学医院伦理委员会批准(批准号360/08/29-04-2020)。对于匿名数据的回顾性使用,已豁免知情同意。本手稿按照医学影像人工智能检查清单(CLAIM)[14]和诊断准确性研究报告标准(STARD)检查清单[15]编写。
MR成像与金标准ARCO分期
AVN的金标准分期基于影像学、根据ARCO分类[3]确定。由于AVN的诊断不需要活检,这目前是临床诊断和分期的金标准实践。金标准分期由两名MSK放射科医师(分别具有40年和10年经验)独立进行,在意见不一致的病例中,最终分期由共识确定。为确保准确的金标准分级,专家可以访问完整的MRI方案,包括T1加权、STIR或PD/T2脂肪抑制,以及高分辨率3D梯度回波图像。AVN的诊断依据为T1加权图像上存在“带状”征[16]。随后,基于T1加权、STIR和高分辨率3D梯度回波图像定义了两组髋关节:(i)伴有软骨下骨折的病例、股骨头球形度丧失和/或相关骨髓水肿的病例,以及有继发性骨关节炎征象的病例被分类为“晚期AVN”(ARCO 3–4);(ii)无上述发现的病例被分类为“早期AVN”(ARCO 1-2)(图2)[1, 17, 18]。
数据预处理与增强
通过每个股骨头的冠状位中部STIR图像用于模型训练、测试和验证。图像调整为150×150像素,然后图像按70:30随机分为训练集和测试集。通过匹配图像直方图进行数据协调和偏倚校正,以考虑扫描仪内变异性并实现灰度归一化。为消除组间不平衡偏倚并使模型接触更多训练/测试数据,图像通过10°旋转(顺时针和逆时针)以及水平图像翻转进行增强。最终训练和测试数据集共包括两组(早期与晚期AVN)各350张训练图像和150张测试图像(图1)。
卷积神经网络开发与外部验证
如既往所述使用CNN集成[19]。简言之,通过获取三个独立CNN架构(VGG-16、InceptionV3和Inception-ResNetV2)的初始权重应用迁移学习,首先使用ImageNet数据集训练,然后冻结权重并使用我们的训练数据集对最终可训练层进行微调[20]。随后使用UHH测试数据集评估网络性能。三个CNN的共识集成决策记录为三个CNN中至少两个的一致性。为进一步基准测试CNN集的性能,所得模型在来自另一国家放射科的49个髋关节集合(TUM数据集)上进行外部验证。图像调整大小后使用,未进行任何进一步预处理。TUM数据集的参考标准以与UHH数据集相同的方法建立。外部验证图像也由两名经验丰富的肌骨放射科医师(肌骨经验分别为10年和7年)评估,其对集成结果设盲,并将其表现与集成表现进行比较。CNN训练100个epoch,早停设为10轮以避免过拟合。深度学习使用Python v.3.8、Keras框架和TensorFlow后端,在Windows 10 Pro工作站上进行,配置为32 GB RAM、Intel i7-10700F @2.9 GHz CPU和NVIDIA GeForce RTX 2060 Super 8GB GPU。
统计分析
CNN性能使用每个单独CNN和集的精确率、召回率和f1分数评估。CNN和肌骨专家性能也使用受试者工作特征(ROC)曲线及相应的曲线下面积(AUC)评估,AUC的95%置信区间使用pROC包[21]通过自举法计算,在R中实现(v.4.03,https://www.R-project.org/)。鉴于增强后组间均衡,ROC曲线使用0.5的单一阈值。模型与专家AUC之间的比较使用DeLong检验[22]进行。
结果
单个和集成CNN性能
训练/测试(UHH)队列中患者的平均年龄为43.7 ± 14.7岁,包括48名女性和56名男性患者,56个右侧髋关节和48个左侧髋关节。每种卷积神经网络(CNN)架构最初均使用UHH队列进行内部测试,其中Inception-ResnetV2取得了最高的单模型性能,AUC为99.7%(95%CI 99–100%),其次是InceptionV3和VGG-16,AUC分别为99.3%(95%CI 98.4–100%)和97.3%(95%CI 95.5–99.2%)。VGG-16的误分类病例数最多,其中3例早期病例被误分类为晚期,5例晚期病例被误分类为早期。模型集成达到了与Inception ResnetV2相似的AUC,仅1例早期病例被误分类为晚期(图3和表1)。观察了训练和验证的准确率/损失曲线,以确保避免了过拟合(补充图1)。
使用TUM外部验证队列进行基准测试时,CNN的性能有所下降。VGG-16取得了最高的单模型AUC,为78.9%(95%CI 51.6–79.6%),其次是InceptionV3和Inception ResnetV2,AUC分别为74.8%(95%CI 58.1–84.7%)和76.59%(95%CI 58.1–84.7%)。尽管性能下降,VGG-16在晚期股骨头坏死(AVN)诊断中表现出优异的精确率,在早期AVN诊断中表现出优异的召回率,且没有任何早期病例被误分类为晚期。最佳性能由模型集成取得,其AUC达到了优异的85.5%(95%CI 72.2–93.9%),仅3例晚期病例被误分类为早期,4例早期病例被误分类为晚期。CNN集成的性能显著高于所有单个CNN(集成与VGG-16、Inception ResnetV2和InceptionV3比较的p值分别为0.014、0.01和0.028)(图4和表1)。
CNN集成与人类阅片者之间的比较
将CNN集成的性能与专家阅片者在TUM外部验证队列上的性能进行了比较。第一位肌肉骨骼(MSK)放射科医师的AUC为75.7%(95%CI 62.7–87.9%),第二位为73.08%(95%CI 60.4–86.4%)。每位MSK放射科医师与CNN集成之间的性能均无显著差异(CNN集成与第一位和第二位MSK放射科医师比较的p值分别为0.22和0.092)。两位MSK放射科医师在晚期AVN检测中均取得了优异的召回率(分别为96.1%和92.3%),第一位和第二位MSK放射科医师分别仅有1例和2例晚期病例被误分类为早期(图5)。
讨论
本文提出了一种CNN集成模型,其在区分髋关节早期(ARCO 1–2期)与晚期(ARCO 3–4期)股骨头缺血性坏死(AVN)方面取得了优异性能。研究训练了三种独立的CNN架构,并得出共识集成决策。CNN集成模型的优异性能经外部验证证实,且发现其性能与经验丰富的肌肉骨骼放射科医师相当。
开发一种区分早期与晚期AVN的深度学习方法在日常临床实践中具有重要价值。多项研究[5, 6, 17]已强调区分ARCO 2期与3A期的难度,并提出若干间接征象作为晚期AVN的指标,包括骨髓水肿[17]、关节积液、囊性变、骨吸收[5],以及T2信号不均匀、关节面不规则和宽度>3 mm的坏死-存活界面三者并存[6]。尽管如此,这仍是一项具有挑战性的任务,尤其对于经验不足的放射科医师,或在无法获得高分辨率序列的情况下——而高分辨率序列已被证明适用于准确评估AVN的所有相关征象[23]。鉴于AVN在早期阶段可无症状[24],其可能在并非针对股骨近端评估的盆腔MRI检查中被偶然发现。我们的CNN集成模型仅使用冠状位STIR图像即在区分早期与晚期AVN方面取得了优异性能。这对于经验不足的阅片者,以及在无法获得股骨头高分辨率图像以进行完整ARCO分期的情况下,具有很大优势。
值得注意的是,所有独立CNN在外部TUM队列验证时均表现出性能的显著下降。这种性能下降在大多数外部验证的深度学习研究中均有发现[25, 26]。外部验证对于确立深度学习算法的“真实世界”性能至关重要,但遗憾的是,仅在6%的人工智能论文中可见[27]。尽管导致外部验证期间性能下降的确切原因在很大程度上仍不清楚[25],但训练数据集的规模或训练数据集中参与机构的数量已被证明对外部性能没有影响[25]。尽管如此,能够在另一个国家采集的数据集中获得>85%的集成AUC,为我们的方法的泛化能力提供了有力证据。
MSK放射科医师达到的AUC在70–75%范围内,这反映了对该疾病进行分期的难度,尤其是在缺乏聚焦于股骨头的高分辨率图像时,而这些图像本可等同或优于CT地显示软骨下骨折[18]。向MSK放射科医师展示的是与我们深度学习方法外部验证所用的相同的冠状位STIR图像。两位MSK专家在检测晚期AVN时均达到了高召回率(灵敏度),而CNN集成模型在晚期和早期疾病中均达到了高精确度和高召回率。达到与MSK专家相似的性能突显了所提出算法的临床价值,尤其是在没有高经验MSK放射科医师且方案不聚焦于髋部评估的普通放射学实践环境中。
我们的工作具有一定的优势和局限性。使用多机构训练数据集、在外部数据集上进行验证以及与专家阅片者相当的性能,是所提出深度学习方法的重要优势。所提出工作的局限性包括研究的回顾性性质以及训练数据集有限。然而,我们使用了迁移学习和数据增强,这些是适用于小数据集深度学习的策略[13],如在内部和外部队列中的优异表现所示,这减轻了该局限性。仅在冠状位STIR图像上训练算法也可被视为我们研究的一个局限性。然而,冠状位流体敏感序列是大多数盆腔MRI方案的一部分,即使这些方案并不聚焦于髋部。此类序列可以描绘ARCO分期所需的所有特征,包括软骨下骨折、骨髓水肿、关节积液、滑膜炎以及股骨头球形度丧失[1]。因此,能够基于大多数环境中存在的序列对疾病进行分期(即使AVN是偶然发现),增加了我们方法的临床价值。
总之,已训练并验证了一个CNN集成模型,其能够准确区分AVN的早期和晚期阶段。该集成模型在来自另一个国家的外部数据中表现良好,并具有与专家MSK放射科医师相当的性能。这种深度学习方法有潜力在无需MSK放射学专业知识的情况下辅助AVN的准确分期,最终促成正确的治疗策略。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 167 KB)
引用
- Klontzas ME, Vassalou EE, Spanakis K, et al. Deep learning enables the differentiation between early and late stages of hip avascular necrosis. Eur Radiol. 2023. PMID: 37581656. doi:10.1007/s00330-023-10104-5
- 全文:PMC10853078(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10853078/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。