文献速递骨肌技术与安全DR

基于X线片的深度学习模型鉴别膝关节周围溶骨型骨肉瘤与骨巨细胞瘤的多中心研究

Deep learning for differentiation of osteolytic osteosarcoma and giant cell tumor around the knee joint on radiographs: a multicenter study.
PubMed 文献 · Insights Imaging · 2024-02-07

该多中心回顾性研究纳入4个中心333例经病理证实的溶骨型骨肉瘤(136例)与骨巨细胞瘤(197例)患者,基于EfficientNet-B6构建深度学习模型,在内外部测试集中AUC均为0.97,优于临床模型(内部0.77、外部0.64);模型准确率93.1%,高于初级专家组72.4%,在模型辅助下初级专家组准确率由72.4%提升至91.4%(p=0.051)。

要点

  • 深度学习模型鉴别溶骨型骨肉瘤与骨巨细胞瘤的AUC内部测试集0.97、外部测试集0.97。
  • 模型准确率93.1%,高于初级专家组72.4%,与中级88.8%、高级87.1%专家组无显著差异。
  • 模型辅助下初级专家组准确率由72.4%提升至91.4%(p=0.051)。

核心结论

  • 深度学习模型能准确鉴别溶骨型骨肉瘤与骨巨细胞瘤,性能优于初级放射科医师,模型辅助可显著提升初级医师诊断准确率。

研究设计与样本

  • 多中心回顾性研究,纳入4个中心2013至2022年经术后病理证实的膝关节周围溶骨型骨肉瘤与骨巨细胞瘤患者333例(骨肉瘤136例、骨巨细胞瘤197例)。
  • A中心用于训练与内部测试,B、C、D中心用于外部测试;采用EfficientNet-B6架构构建深度学习模型,临床模型基于年龄、性别和肿瘤部位构建。
  • 16名来自6家三级医院的放射科医师按经验分为三组,采用多阅片者多病例(MRMC)方法在无模型辅助和模型辅助下独立评估X线片,两次评估间隔4至6周(平均5.8周)。

关键影像表现/征象

  • 深度学习模型提取的特征集中于X线片上肿瘤所致的骨破坏区域。
  • Grad-CAM热图红色区域在95例患者正侧位X线片上同时出现于骨肿瘤区域,仅在19例患者正位片和2例患者侧位片上出现。
  • t-SNE特征分析显示骨巨细胞瘤与骨肉瘤提取的图像特征空间分布不同。

诊断标准与关键数值

  • 深度学习模型AUC在训练集为0.94(0.90–0.97)、内部测试集为0.97(0.90–1.00)、外部测试集为0.97(0.88–1.0),均p<0.001。
  • 临床模型AUC在内部测试集为0.77(0.65–0.87,p=0.001)、外部测试集为0.64(0.50–0.76,p=0.17)。
  • 总测试集中深度学习模型准确率93.1%,高于初级专家委员会72.4%(p<0.001),与中级88.8%(p=0.25)和高级87.1%(p=0.35)无显著差异。
  • 模型辅助后初级专家委员会准确率由72.4%提升至91.4%(p=0.051)。

临床应用与阅片要点

  • 深度学习模型可辅助放射科医师鉴别膝关节周围溶骨型骨肉瘤与骨巨细胞瘤,尤其对初级医师帮助明显。
  • 在21至30岁年龄组中,深度学习模型诊断性能优于初级放射科医师组(p=0.003)。
  • 16名放射科医师中9名在模型辅助下诊断时间缩短(减少1至15分钟),4名延长(增加5至10分钟),3名不变。

局限性

  • 研究仅关注膝关节周围两种原发性侵袭性骨肿瘤(骨肉瘤与骨巨细胞瘤),未纳入其他骨肿瘤。
  • 研究仅利用X线信息构建深度学习模型,未纳入CT或MRI等其他影像模态。
  • 采用MRMC方法评估放射科医师诊断性能,但外部测试集患者样本量有限。
全文中译14 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2024 Feb 7;15:35. doi: 10.1186/s13244-024-01610-1

引言

骨肿瘤是一组原发或继发于骨的肿瘤性病变,病理类型和生物学行为多样[1]。根据2020年出版的《世界卫生组织(WHO)骨肿瘤分类》第5版,骨肿瘤分为良性、中间性和恶性[2]。四肢原发性骨肿瘤常见于膝关节周围骨骼[3–5],最常见的类型包括骨软骨瘤、骨肉瘤(OS)和骨巨细胞瘤(GCT)[6–8]。骨软骨瘤的影像学表现为向骨外生长的良性骨肿瘤,诊断特征包括软骨帽覆盖,因此根据医学影像不难作出正确诊断[9, 10]。OS和骨GCT在影像学上均表现出较强的局部侵袭性[7, 8],但根据WHO骨肿瘤分类,它们分别被归类为恶性骨肿瘤和中间性骨肿瘤,其临床治疗方案和预后存在显著差异。因此,在临床治疗前有必要对OS和GCT进行准确的鉴别诊断[1, 7, 8]。

数字X线摄影被广泛认为是诊断骨病变的首选影像学方法,并在临床实践中得到广泛应用[11]。X线片可以整体显示骨肿瘤的总体图像并反映其生物学行为,提供诊断和鉴别诊断信息[12]。X线片上的肿瘤性成骨是诊断OS的特征性表现[11]。根据X线片上OS内的成骨量,OS可分为溶骨型、成骨型和混合型[13]。然而,当缺乏肿瘤性成骨时,区分溶骨型OS与GCT变得更加困难,尤其对于低年资放射科医师而言,因为两者均表现为局部侵袭性骨破坏[14]。患者年龄在区分这两种肿瘤类型方面具有诊断价值,但这两种不同肿瘤患者年龄相近时可能干扰放射科医师的判断[11]。因此,我们构建了一个临床模型以探讨临床变量的作用。

作为一种新兴的机器学习技术,深度学习(DL)已广泛应用于骨肿瘤的医学图像分析[15–17],可区分良性和恶性骨肿瘤[11, 12, 14, 18–21]。近期一项研究强调了DL在有效分类儿童健康和病理性X线片方面的潜力[22]。然而,既往研究主要集中于全身不同部位多种骨肿瘤的良恶性分类[15, 18, 21],而非专门针对膝关节周围溶骨型OS与GCT的鉴别诊断。据我们所知,尚无利用DL进行该特定用途的研究报道。

本研究旨在开发一个DL模型,用于在膝关节X线片上对溶骨型OS和骨GCT进行鉴别诊断,并将其诊断性能与有无模型辅助的放射科医师进行比较。

材料与方法

研究对象

本回顾性研究遵循《赫尔辛基宣言》所述原则,并获得机构审查委员会批准,包括豁免书面知情同意。本多中心研究收集了2013年至2022年期间从四家三级转诊中心获取的膝关节周围骨肉瘤(OS)和骨巨细胞瘤(GCT)患者。训练集和内部测试集来自中山大学附属第一医院(中心A),外部测试集来自佛山市中医院(中心B)、惠州市中心人民医院(中心C)和广西壮族自治区人民医院(中心D)。X线片来自不同数字X线成像设备,四个中心均设置了自动检查参数。数字X线成像设备的详细信息见补充表S5。

本研究共纳入333例患者(溶骨型OS:136例,GCT:197例)。纳入和排除标准见图1。在正位和侧位X线片上均未观察到肿瘤骨形成的骨肉瘤被认为是溶骨型骨肉瘤。根据纳入和排除标准(图1),两名放射科医师(均对本研究不知情,具有10年以上肌肉骨骼X线片阅片经验)独立审查了所有X线片并筛选纳入研究的患者。所有患者的临床数据总结于表1。所有纳入的骨肿瘤均经病理证实。每位患者均有可用的正位和侧位X线片。

图1 纳入和排除标准。DR,数字X线摄影;OS,骨肉瘤;GCT,骨巨细胞瘤;DL,深度学习 查看原图 ↗
表1 来自四个中心的溶骨型OS和GCT患者的人口学数据 查看原表 ↗

放射科医师的判读

在内部和外部测试集中,采用多阅片者多病例(MRMC)阅读方法[23, 24]和医学数字成像与通信(DICOM)Viewer 2.2.9软件(Medical Company,波兰),选取来自6家三级转诊医院的16名放射科医师独立评估X线片。所有观察者均对病理诊断结果设盲。记录放射科医师评估X线片所需的时间。

所有放射科医师根据其阅读肌肉骨骼X线片的经验被分为三个“专家委员会”组(专家决策采用多数裁定规则)。A组有5名放射科医师(> 2年但≤ 5年),B组有7名放射科医师(> 5年但≤ 8年),C组有4名放射科医师(> 8年但< 13年)。所有放射科医师均参与了有无DL模型辅助下的性能评估。两次评估之间的洗脱期超过4周(4–6周,平均5.8周)。

预处理

所有图像均以DICOM格式从图像存档和通信系统下载,保持原始尺寸和分辨率,此时图像上的患者基本信息已被去除。所有图像使用MicroDicom软件(版本3.8.1.422,MicroDicom Ltd,保加利亚)从DICOM转换为8位JPEG格式。为便于输入神经网络,每幅图像的像素尺寸调整为1080×1080,像素值缩放至[0,1]范围。

DL模型构建

模型训练在Python 3.6(https://www.python.org)和PyTorch 1.6.0(https://pytorch.org)中进行。我们采用EfficientNet-B6架构[25],并使用在ImageNet上预训练的权重。采用五折交叉验证进行模型训练和选择。模型以分辨率为1080 × 1080的预处理图像作为输入,输出每张图像的预测概率。采用二元交叉熵(BCE)损失作为损失函数,并纳入水平/垂直翻转、旋转和对比度调整等数据增强操作。网络使用以下参数进行优化:基础学习率 = 1 × 10-4;批大小 = 2;轮数 = 150。选择验证损失最小的模型在内部和外部测试集上进行测试。

临床模型与整合模型的构建

基于临床变量(包括患者年龄、性别和肿瘤部位(股骨远端、胫骨近端和腓骨近端))使用逻辑回归构建了临床模型。性别采用二值编码,肿瘤部位采用独热编码。临床模型采用交叉验证策略进行训练。选择验证性能最佳的模型在内部和外部测试集上进行测试。此外,我们将深度学习(DL)模型生成的预测作为变量纳入临床模型,以建立整合模型。同样,整合模型的训练和测试策略与临床模型保持一致。

特征可视化与分析

在特征可视化方面,使用梯度加权类激活映射(Grad-CAM)[26]以DL模型的最后一个卷积层生成Grad-CAM图,表示模型对输入X线片上不同区域的关注。在特征分析方面,使用t分布随机邻域嵌入(t-SNE)[27]算法将DL模型提取的2304维特征降至三维,然后在三维空间中进行可视化,以展示骨巨细胞瘤(GCT)和骨肉瘤(OS)特征分布的差异。

统计分析

在两组间临床变量比较以及评估不同数字X线成像设备对DL模型性能的影响时,分类变量(性别、肿瘤部位、数字X线成像设备)采用卡方检验,连续变量(年龄)采用独立样本t检验。此外,我们根据患者年龄对患者进行分组并分为四分位数,以分析不同放射科医师在不同年龄组的诊断性能。计算准确率、灵敏度、特异度、ROC曲线下面积(AUC)及相应的95%置信区间。最佳截断值由最大约登指数确定。各模型的ROC曲线采用DeLong检验进行比较。各模型的准确率采用McNemar检验进行比较。所有分析均使用R(版本4.0.4)、SPSS(版本24.0)和MedCalc(版本15.8)统计软件进行。p < 0.05被认为具有统计学意义。

结果

患者特征

本研究共纳入333例骨肿瘤患者,平均年龄27岁,其中男性186例,女性147例。其中,骨溶解性OS患者136例(男72例,女64例),年龄3~61岁,平均年龄19岁;骨巨细胞瘤(GCT)患者197例(男117例,女80例),年龄12~70岁,平均年龄32岁(如表1所示)。骨溶解性OS与GCT患者在性别方面无显著差异;然而,两种骨肿瘤在年龄和肿瘤部位方面存在显著差异,如表S1所示。

模型性能

深度学习(DL)模型在训练集中的AUC为0.94(0.90~0.97),在内部测试集中为0.97(0.90~1.00),在外部测试集中为0.97(0.88~1.0)(均p < 0.001;如表2、图2a所示)。根据DeLong检验,我们未发现DL模型在内部测试集与外部测试集之间的性能存在显著差异的证据(p = 0.79)。此外,根据卡方检验,DL模型在不同数字X射线成像设备之间的性能无显著差异(p = 0.43)(如表S5所示)。

基于临床变量的逻辑回归临床模型在内部测试集中的AUC为0.77(0.65~0.87,p = 0.001),在外部测试集中为0.64(0.50~0.76,p = 0.17)(如表2、图2b所示)。

根据DeLong检验,DL模型的诊断性能在内部测试集(p = 0.008)和外部测试集(p < 0.001)中均优于临床模型,在内部测试集(p = 0.28)和外部测试集(p = 0.11)中均优于整合模型。

表2 深度学习模型、临床模型和整合模型在训练集、内部测试集和外部测试集中的诊断性能 查看原表 ↗
图2 三种模型在内部测试集(a)和外部测试集(b)中的ROC曲线。CLI,临床模型;DL,DL模型 查看原图 ↗

放射科医师使用与不使用DL模型评估的诊断性能

DL模型、无模型辅助的放射科医师和有模型辅助的放射科医师之间诊断性能的比较结果见表3、S2、S3和S4。在由内部测试集和外部测试集构成的总测试集中,DL模型与专家委员会“A”(初级放射科医师)之间的诊断性能存在显著差异(p < 0.001)。在DL模型的帮助下,专家委员会“A”的诊断准确率显著提高(p = 0.05)。具体而言,在5名初级放射科医师(> 2但≤ 5年)中,DL模型的准确率优于放射科医师(93.1% vs. 52.6%、55.2%、81.0%、75.0%、78.5%;均p < 0.05),且所有初级放射科医师在模型辅助下准确率均有所提高(52.6%至86.2%,p < 0.001;55.2%至87.9%,p < 0.001;81.0%至90.5%,p = 0.49;75.0%至80.2%,p = 0.35;78.5%至92.2%,p = 0.003;见表S2)。此外,DL模型的诊断性能优于专家委员会“C”(高级放射科医师),专家委员会“C”在DL模型的帮助下诊断准确率有所提高,但差异无统计学意义。具体而言,在4名高级放射科医师(> 8年)中,DL模型的准确率优于放射科医师(93.1% vs. 85.3%、85.3%、88.8%、86.2%;p = 0.06、p = 0.06、p = 0.25、p = 0.09),且其中3名高级放射科医师在模型辅助下准确率有所提高(85.3%至87.1%,p = 0.70;85.3%至90.5%,p = 0.23;88.8%至92.2%,p = 0.37;见表S4)。

在16名放射科医师阅读116名患者的X线片过程中,9名在DL辅助下诊断时间缩短(减少1至15分钟),而4名诊断时间延长(增加5至10分钟),3名保持不变(表S2–S4)。总测试集中的患者进一步按患者年龄分组,分为四分位数:A组27名患者(OS 21例和GCT 4例);B组30名患者(OS 4例和GCT 26例);C组31名患者(OS 1例和GCT 30例);D组28名患者(OS 7例和GCT 22例)。统计结果见表4。在21–30岁年龄组中,DL模型的诊断性能优于初级放射科医师组(p = 0.003)。

表3 DL模型、无模型辅助的放射科医师评估与有模型辅助的放射科医师评估之间的诊断性能比较 查看原表 ↗
表4 DL模型与放射科医师评估在患者亚组中诊断性能的比较 查看原表 ↗

特征可视化与分析

对于总测试集中的116名患者,DL模型的主要特征集中在X线片上肿瘤所致骨破坏区域及其相应的重叠Grad-CAM热图。热图中的红色区域同时出现在95名患者正位和侧位X线片的骨肿瘤区域(见图3和图4),但仅出现在19名患者正位X线片的骨肿瘤区域和2名患者侧位X线片的骨肿瘤区域。

总测试集的t-SNE特征分析结果显示,GCT和OS提取图像特征的空间分布不同(见图5),表明DL模型提取的特征的空间分布参与这两种疾病的鉴别诊断。

图3 股骨远端骨巨细胞瘤(GCT)的正位(a)和侧位(b)X线片及其重叠的Grad-CAM图 查看原图 ↗
图4 胫骨近端骨肉瘤(OS)的正位(a)和侧位(b)X线片及其重叠的Grad-CAM图 查看原图 ↗
图5 深度学习(DL)模型在全部测试集中提取特征的三维展示:红色十字代表溶骨性OS患者;绿色圆点代表GCT患者 查看原图 ↗

讨论

在这项多中心研究中,开发并验证了深度学习(DL)模型,用于在X线片上区分溶骨性骨肉瘤(OS)与骨巨细胞瘤(GCT),并与放射科医师进行了比较。总体而言,DL模型的诊断准确率高于临床模型或整合模型(0.97 vs. 0.72,0.91)。在测试集中,DL模型的准确率高于初级专家委员会(93.1% vs. 72.4%;p < 0.001),与中级和高级专家委员会相当(93.1% vs. 88.8%,87.1%;分别为p = 0.25,p = 0.35)。在DL模型辅助下,初级专家委员会的表现有所提高(72.4%至91.4%,p = 0.051)。

本研究揭示了两类骨肿瘤之间在年龄上的显著差异,这与既往文献一致,提示患者年龄在区分这两类肿瘤类型方面具有一定的诊断价值[11]。关于肿瘤部位,本研究揭示了溶骨性OS与GCT之间存在统计学显著差异,这与既往关于OS和GCT的研究不一致[6–8]。我们认为,这可能是由于纳入的溶骨性OS患者数量有限而导致的样本偏倚。基于临床特征构建的逻辑回归模型在全部测试集中对这两个肿瘤部位的鉴别诊断表现较差(AUC = 0.72)。

在临床实践中,放射科医师可能将溶骨性骨肉瘤(OS)误诊为骨巨细胞瘤(GCT),反之亦然,因为两者在X线片上的表现相似。放射科医师区分溶骨性OS与骨GCT的诊断准确性在很大程度上受其阅读肌肉骨骼X线片的临床经验影响(准确性范围为52.6%至90.5%,表S2、S3、S4)。本研究采用MRMC方法和投票规则(少数服从多数)证明,不同临床经验水平的放射科医师表现出不同的诊断性能(准确性:76.7%、88.8%和87.1%)。阅读肌肉骨骼X线片的临床经验越丰富,放射科医师区分溶骨性OS与骨GCT的准确性越高,这与学习成长曲线特征一致[7]。我们对不同年龄段患任一种肿瘤的患者进行了分层分析。研究显示,在年龄范围为21至30岁的患者组中,放射科医师的诊断准确性较低,而深度学习(DL)模型表现出显著更高的准确性(表4)。这表明,当面对年龄相近、表现为这些侵袭性骨肿瘤的患者时,放射科医师可能因影像学表现相似而导致诊断准确性降低。当16名放射科医师借助人工智能(AI)评估所有X线片时,与无AI辅助相比,评估时间有所变化(表S2–S4),这可能是由于经验不同所致。其中,11名放射科医师借助AI的诊断准确性得到提高,提示人工智能可以提供有价值的信息。我们的研究表明,DL模型优于临床模型和联合模型。这表明,尽管患者年龄在肿瘤类型鉴别诊断中具有一定参考价值,但患者年龄之间的重叠可能降低了诊断准确性。相比之下,影像学表现能够反映骨肿瘤的潜在病理学和生物学行为,突出了基于X线片特征的DL模型具有更优的诊断价值。

我们提出的DL模型识别X线片全视野中的肿瘤区域及其周围正常骨,而非仅选择肿瘤区域[18, 21],避免了肿瘤区域标注的需要。此外,DL模型不仅考虑骨肿瘤本身,还考虑肿瘤所在骨的形状和大小,从而捕捉与年龄相关的重要变化。本研究提出的DL模型可能纳入了关于年龄和肿瘤部位的临床信息,从而获得更好的诊断性能。根据Grad-CAM热图和t-SNE特征分析,DL模型提取的特征集中在肿瘤引起的骨破坏区域,并在空间上能够在一定程度上区分两种类型的肿瘤。

本研究存在若干局限性。首先,研究仅聚焦于膝关节周围两种原发性侵袭性骨肿瘤,即骨肉瘤(OS)和骨巨细胞瘤(GCT),未考虑其他骨肿瘤。我们认为,膝关节周围区域是原发性骨肿瘤最常见的部位,其中最常见的侵袭性骨肿瘤为OS和GCT [3–8]。溶骨型OS与GCT的影像学表现相似,容易造成诊断混淆 [10]。未来,我们计划纳入其他类型的骨肿瘤,以扩展模型在真实临床场景中的应用范围。其次,本研究仅利用影像学信息建立深度学习(DL)模型,未纳入其他成像方式,如CT或MRI。这是因为数字X线摄影被公认为骨病变评估的一线影像学手段 [11],有利于DL模型在临床实践中的广泛实施。第三,我们采用MRMC方法评估放射科医师的诊断效能,但外部测试集中的患者样本量有限。为进一步评估DL模型,我们可能在未来的研究中继续收集更多数据。

总之,我们开发了一个DL模型,用于在膝关节X线片上鉴别诊断溶骨型OS与GCT。我们的模型在诊断准确率方面优于低年资放射科医师,所需时间更少,并作为辅助工具提升了放射科医师的诊断效能,展示了其在临床应用中实现准确鉴别诊断的潜力。

补充信息

附加文件1:表S1. 溶骨型OS与GCT患者的临床特征比较。表S2. A组中DL模型、无模型辅助的放射科医师评估与有模型辅助的放射科医师评估之间的诊断效能比较。表S3. B组中DL模型、无模型辅助的放射科医师评估与有模型辅助的放射科医师评估之间的诊断效能比较。表S4. C组中DL模型、无模型辅助的放射科医师评估与有模型辅助的放射科医师评估之间的诊断效能比较。表S5. 数字X线成像设备的详细信息。

引用

  1. Shao J, Lin H, Ding L, et al. Deep learning for differentiation of osteolytic osteosarcoma and giant cell tumor around the knee joint on radiographs: a multicenter study. Insights Imaging. 2024. PMID: 38321327. doi:10.1186/s13244-024-01610-1
  2. 全文:PMC10847082(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10847082/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。