文献速递骨肌DR

基于推荐系统的X线骨肿瘤分类:与既往病例的链接

Recommender-based bone tumour classification with radiographs-a link to the past.
PubMed 文献 · Eur Radiol · 2024-03-15

该回顾性单中心研究纳入809例患者共1792张X线片,涵盖10种最常见原发骨肿瘤,开发基于深度学习和哈希近邻推荐系统的算法,将未诊断图像与既往相似病例聚类并多数投票分类。当k=3时模型平均准确率、精确率和召回率分别为92.86%、92.86%和34.08%,显著优于两种基线模型。作者认为该算法可作为经验有限临床医生的支持工具。

要点

  • 模型对10种原发骨肿瘤的X线分类在k=3时平均准确率92.86%、精确率92.86%、召回率34.08%。
  • 该算法通过聚类最相似既往病例并多数投票分类,同时可链接至既往患者病史。
  • 研究未纳入临床数据,且模型需在外部数据上测试后才能评估临床适用性。

核心结论

  • 该新方法在骨肿瘤分类上优于当前模型,并能链接至既往患者数据,利用了专家经验。
  • 作者认为该算法可作为经验有限的临床医生和全科医生识别相似病例和分类骨肿瘤实体的重要支持工具。

研究设计与样本

  • 回顾性单中心研究,数据来自2000至2021年本中心肌肉骨骼肿瘤中心数据库。
  • 纳入809例患者共1792张X线片,平均年龄33.73±18.65岁(范围3-89岁),男性443例。
  • 纳入10种最常见原发骨肿瘤,恶性病变以组织病理学为标准参考,良性和中间性病变经组织病理学或肿瘤委员会讨论并按文献影像特征分类。
  • 数据集按80%训练、20%测试划分,测试集仅含单张图像患者以避免与训练集重叠,并按肿瘤类型分层。
  • 采用ResNet和Transformer模型建立基线,提出方法使用深度学习提取图像特征,再通过基于哈希的最近邻推荐方法聚类k个最相似图像并以多数投票分类。

关键影像表现/征象

  • 图5和图6展示了模型能准确聚类同一肿瘤实体不同表现的正确匹配示例,如骨软骨瘤和骨肉瘤。

诊断标准与关键数值

  • k=1/3/5/7时precision-at-k分别为65.46%/62.58%/62.06%/61.48%。
  • k=1/3/5/7时基于多数投票的分类指标分别为65.46%/92.86%/92.13%/92.01%。
  • k=3时模型平均准确率92.86%、精确率92.86%、召回率34.08%,显著优于ResNet32基线的54.10%、55.57%、19.85%和Vision Transformer基线的62.80%、61.33%、23.05%。
  • 仅使用奇数值k,最大为7,因最少实体样本数仅为9例(尤文肉瘤)。
  • ANOVA显示所有指标模型间差异显著(p<0.0001,阈值p=0.05),Tukey HSD事后检验表明本方法显著优于两个基线模型。

临床应用与阅片要点

  • 作者认为该算法可通过识别相似病例和分类骨肿瘤实体,为经验有限的临床医生和全科医生提供支持。
  • 原文指出影像学是骨肿瘤诊断的关键,肌肉骨骼肿瘤学会和美国骨科医师学会推荐X线作为初始筛查工具,CT和MRI不应延迟初始医疗。
  • 原文指出最终诊断通常需要结合影像学、组织病理学表现和临床表现,并建议在专业肌肉骨骼肿瘤中心进行进一步详细影像评估。

局限性

  • 主要局限性是评估肿瘤实体时未考虑临床数据,尽管X线对初始筛查至关重要,但进一步分类需要纳入临床数据(可能还包括额外影像)。
  • 数据集有限,尽管1792张X线片对罕见的肌肉骨骼肿瘤是可观数量,但每类平均179个样本对于肌肉骨骼病变的异质性和深度学习应用而言偏低。
  • 约10%的数据集由上传至临床系统的外部X线片组成,但模型需在外部数据上测试以进一步评估泛化性,之后才能评估临床适用性。
  • 大多数数据在单中心收集,可能影响模型稳健性,不同 radiographic 设备或不同患者特征相关的图像特征可能导致此问题。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Mar 15;34(10):6629–38. doi: 10.1007/s00330-024-10672-0

引言

骨肿瘤是一组罕见且类型多样的肿瘤[1–4]。绝大多数原发性骨肿瘤为良性,而恶性原发性骨肿瘤占成人所有恶性肿瘤的0.2%[3, 5]。早期诊断骨肿瘤至关重要,因为这直接影响患者的预后和可治愈性[1]。因此,及时转诊至专科肿瘤中心以确定肿瘤良恶性、建立明确诊断并启动早期治疗至关重要[6]。遗憾的是,临床实践中常出现超过1年的延迟,部分原因是早期阶段缺乏特异性症状,以及未接受肿瘤学培训的骨科外科医生[4, 7, 8]、初级保健医生或儿科医生在其职业生涯中仅遇到约三例恶性肌肉骨骼(MSK)肿瘤,因此缺乏明确识别这些复杂肿瘤实体的经验[7]。

影像学在骨肿瘤诊断中至关重要[5]。肌肉骨骼肿瘤学会和美国骨科医师学会推荐X线摄影作为初始筛查工具[5, 8]。虽然CT和MRI可提供额外的诊断信息,但不应因此延迟初始医疗照护[5]。明确诊断通常需要结合影像学、组织病理学表现和临床表现,并建议在专科MSK肿瘤中心进行进一步的详细影像学评估[9]。

诊断影像学正随着显著的技术和市场增长而快速发展,导致影像数据不断增加[10–12]。在MSK放射学和骨科肿瘤学中,精准医学和图像解读日益关键。尽管人工智能(AI)和深度学习(DL)在癌症研究中的应用日益增多,但其在MSK肿瘤研究中的应用仍然有限[2, 13]。然而,这些先进的数据分析技术有望革新MSK肿瘤诊断并改善医疗服务提供[14]。

随着AI技术的发展,各种医学影像应用正在被开发,通常侧重于比较AI与人类专家在病理分类等任务中的表现[15–17]。其中,推荐系统(RS)提供了一种新方法,主要基于用户偏好推荐选项,绕过了大量的算法训练[18]。虽然传统上用于商业环境,RS在医疗决策中的潜力日益受到认可,例如推荐药物治疗或根据病史和影像数据识别相似患者病例[19, 20]。

MSK肿瘤中心在其医院信息系统(HIS)和影像归档与通信系统(PACS)中,基于过去接受治疗的MSK肿瘤患者,蕴藏着丰富的知识和经验。在本研究中,我们提出了一种基于DL的算法,该算法基于影像学特征的聚类推荐相似患者,利用临床系统中基于既往患者病史蕴藏的丰富经验,同时分类多种骨肿瘤病理,以实现早期和特异性诊断。

材料与方法

当地机构审查与伦理委员会批准了这项回顾性研究(编号 48/20S)。该研究按照国家及国际指南实施。鉴于本研究为回顾性且已匿名化,免除知情同意。稿件总体结构遵循医学影像人工智能清单(CLAIM [21])。

纳入标准

在这项单中心研究中,我们通过本院肌肉骨骼(MSK)肿瘤中心数据库进行了检索。对2000年至2021年间因原发性骨肿瘤(根据相应ICD编码)接受治疗的所有患者进行了筛选。选择具有以下原发肿瘤的患者,因为这些是本数据库中最为常见的类型:动脉瘤样骨囊肿(ABC)、软骨母细胞瘤、软骨肉瘤、内生软骨瘤、尤文肉瘤、纤维结构不良、巨细胞瘤、非骨化性纤维瘤(NOF)、骨软骨瘤和骨肉瘤。恶性病变的诊断以组织病理学作为参考标准予以核实。良性和中间性病变若有组织病理学结果则予以核实,否则在本地肿瘤委员会讨论并根据文献[22]已知的影像学特征进行分类。临床和影像数据分别从我们的HIS和PACS中提取。为确保所提出模型的可行性,考虑了十种最常见的病变类型。X线片上显示的任何肿瘤表现均符合条件。排除影像资料不充分(无术前/治疗前X线片)的患者44例、临床数据不完整的患者2例以及失访患者31例。随后,共纳入809例患者及其相应的1792张X线片(图1)。数据的整理和验证分别由两名骨科住院医师(S.C.、S.B.)和一名资深MSK放射科医师(J.N.)完成,并有一名数据科学家(F.H.)提供支持。

图1 流程图展示纳入标准的应用以创建最终数据集 查看原图 ↗

人口统计学与统计学评价

描述性数据按照加强流行病学观察性研究报告(STROBE [23])指南呈现。离散参数以发生率和百分比描述。对于连续参数,基于Shapiro-Wilk正态性检验计算相应的统计量。

基线模型的平均分类准确率、精确率和召回率是根据其在测试数据上的性能计算得出的。在我们的多分类设置中,分类准确率计算为正确预测实例数与测试数据实例总数的比值。精确率和召回率分别针对每个类别单独测量后取平均值:精确率为每个类别的真阳性预测数与该类别所有预测数的比值,召回率为每个类别的真阳性预测数与该类别在测试数据中所有实际实例数的比值。RS聚类结果使用precision-at-k指标进行评估,该指标计算前k个推荐结果中相关项目的比例。为计算所提出模型的最终分类准确率、精确率和召回率,我们将RS中k个最接近图像通过多数投票获得的正确预测与测试数据中相应目标图像的标签进行比较。约10%的总数据集代表从其他机构获得并整合到我们的健康信息系统(HIS)和图像归档与通信系统(PACS)中的外部影像数据。数据集分为训练数据(80%)和测试数据(20%),指标仅在测试数据上计算。该测试子集仅包含具有单张图像的患者,以避免与训练数据集发生任何重叠。数据集根据骨肿瘤类型进行分层,确保每种肿瘤类型在训练子集和测试子集中按比例呈现。最终指标,包括分类准确率、精确率和召回率,使用随机混洗数据测定三次,并计算相应的平均值。此外,对性能结果分布的 normality 进行了评估。根据正态性检验的结果,选择适当的统计方法评估模型性能指标的显著性。

模型训练

模型训练和推理在DGX Station A100上进行,配备四个80 GB图形处理单元(Nvidia Corporation)、64个2.25 GHz核心和512 GB DDR4系统内存,运行Linux/Ubuntu 20.04发行版(Canonical)。预处理和模型实现使用Python 3.11.1(https://www.python.org/)在PyTorch 1.13.1和cuda toolkit 12.0(https://pytorch.org/)环境中完成。

算法

所提出框架的总体概念如图2所示:针对一张未诊断的图像,基于X线片从既往患者中识别最相似的病例。首先,为建立骨肿瘤实体分类的基线,我们将标准[24](基线1)和最先进[25](基线2)的深度学习(DL)模型直接应用于多实体分类任务,计算了分类指标。为实现我们所提出的方法,我们执行了两个主要步骤:(I)为了强调肿瘤组织而非背景或非相关组织,我们在感兴趣区域周围创建了边界框,这可以通过算法[26]或由领域专家手动裁剪来完成(图3)。我们采用基线1中的模型。保存了训练好的模型以及从训练数据中提取的特征。训练完成后,我们通过将数据输入训练好的卷积神经网络模型来计算测试数据的图像特征。(II)我们创建了一个哈希表。我们没有将每组新图像特征与训练数据特征逐一比较,而是使用了局部敏感哈希(LSH),这是一种近似最近邻算法,可将计算复杂度从O(N2)降低到O(log N)。LSH通过考虑数据的空间性为图像特征生成哈希值。在高维空间中相似的数据元素获得相同哈希值的概率更高[27]。基于汉明距离函数,我们计算了相对于每张目标图像的k个最近邻。通过将k个最近邻(来自训练图像)与目标图像(测试图像)一起分配到一个簇中,我们在未诊断患者与存储在数据库中的既往患者病例之间建立了联系。由于训练数据患者的本地患者标识符是已知的,这使我们有可能链接到临床系统中既往患者的经验,例如放射学报告、实验室结果和治疗结果。此外,我们通过对聚类到目标图像的图像实体应用多数投票来获得肿瘤实体的分类。图4说明了所提出的方法。

图2 所提出方法的总体概念——基于X线片将新患者与既往患者聚类,以识别相似病例并对肿瘤实体进行分类(PACS,图像归档与通信系统;HIS,医院信息系统) 查看原图 ↗
图3 通过Bloier等人的分割算法[26]聚焦肿瘤组织的边界框创建示例:(a)原始图像,(b)分割的肿瘤,(c)计算出的边界框,(d)带有15%边距的边界框以确保捕获所有肿瘤组织,(e)裁剪后的图像 查看原图 ↗
图4 所提出模型的流程图——(I)准备图像、训练卷积神经网络、保存模型和特征;(II)使用距离函数计算高维距离、添加哈希表、对最相似的X线片进行聚类,并计算precision-at-k以及通过对k个聚类图像进行多数投票的肿瘤实体分类 查看原图 ↗

结果

数据集

患者平均年龄为33.73岁,标准差为18.65,范围为3至89岁。骨软骨瘤是最常见的实体,占整个数据集的28.31%,而尤文肉瘤是最不常见的实体,仅占数据集的1.11%。性别分布接近相似(男性54.76%,女性45.24%),略微倾向于男性。肿瘤发生的最常见部位是股骨,占36.71%,而肿瘤仅在骶骨发生一次,占整个数据集的0.12%。连续和离散特征的进一步详情见表1。

表1 连续和离散特征的分布(IQR 四分位距) 查看原表 ↗

模型性能

对于两个基线模型,我们进行了广泛的超参数调优以优化其性能,并进行了五折交叉验证。调整的关键超参数包括学习率、批大小和训练轮数。此外,我们采用了多种数据增强技术(旋转、水平和垂直翻转)来增强数据集并防止过拟合。每个超参数的优化值如下:ResNet和transformer模型的学习率分别为0.003/0.0025,批大小分别为8/8,训练轮数分别为85/77,应用数据增强的概率分别为0.3/0.3。我们在测试集上对肿瘤实体进行分类,使用预训练的ResNet32 [24]模型实现了平均测试准确率/精确率/召回率分别为54.10%、55.57%和19.85%,使用最先进的Vision Transformer模型 [25, 28]实现了62.80%、61.33%和23.05%。对于我们提出的方法,k = 1/3/5/7时的精确率@k分别为65.46%/62.58%/62.06%/61.48%。基于上述对聚类图像进行多数投票的分类指标为65.46%/92.86%/92.13%/92.01%。对于k,仅使用奇数值以便于多数投票的有意义计算。未选择大于七的值,因为实体样本数最少仅为九个(尤文肉瘤),因此,仅考虑奇数值时,最多可分配七个样本。表2显示了两个基线模型的结果以及最佳配置的结果。

进行了初始Shapiro-Wilk检验以评估模型性能指标分布的正态性。结果表明大多数指标呈正态分布,为使用参数检验提供了基础。因此,采用ANOVA分析模型性能差异的显著性,揭示了模型间的显著差异(所有指标p < 0.0001,阈值p = 0.05)。尽管样本量有限,由于数据的正态性以及该检验在一定条件下的稳健性,ANOVA被认为是合适的。在ANOVA之后,进行了Tukey氏HSD(诚实显著性差异)事后检验以进行模型间两两比较,识别出统计学显著差异,表明我们的方法显著优于基线模型(表3)。图5和图6显示了来自不同患者且外观视觉不同的正确映射的骨软骨瘤和骨肉瘤示例。第一张图像(1a、2a、3a、4a - 黑色)显示目标图像,每行中第二至第四张图像(1b-1d、2b-2d、3b-3d、4b-4d - 绿色)显示相应的聚类图像。

表2 肿瘤实体分类结果——准确率、精确率和召回率的均值及标准差 查看原表 ↗
表3 模型性能指标的统计显著性——方差分析(ANOVA)结果证明了所有测试模型在准确率、精确率和召回率方面的差异具有总体显著性。Tukey氏HSD(诚实显著性差异)事后分析进一步确定了具有统计学显著性的具体两两比较。p值表明,“我们的方法”的性能与两个基线模型均存在显著差异,且两个基线模型之间的性能也存在显著差异 查看原表 ↗
图5 骨软骨瘤X线示例,展示模型准确聚类同一肿瘤实体不同表现的能力。目标图像用黑色边框标记,正确匹配的图像用绿色边框突出显示 查看原图 ↗
图6 骨肉瘤X线示例,说明模型在聚类同一肿瘤实体多种表现方面的有效性。目标图像以黑色边框圈出,正确聚类的图像用绿色边框标示 查看原图 ↗

讨论

本研究的主要结果是我们能够开发出一种算法,用于对十种预选的原发性骨肿瘤实体进行实时分类,该算法的性能显著优于一种广泛使用的模型[24]和一种最先进的模型[25]以及类似研究中展示的模型[17, 19],其通过将目标图像最相似的k张X线片进行聚类,而非将同一肿瘤病理的所有不同表现和不同解剖结构归为一类,从而规避了混杂因素的问题。此外,识别最相似的病例还使得临床系统中大量处于休眠状态的知识和经验(如既往诊断、治疗等)能够被归属于新的未诊断患者,从而可能支持早期和特异性诊断。我们假设基线模型表现不佳以及所有方法的召回率得分较低,源于可用数据有限导致的过拟合,更主要的原因是显著的类别不平衡。

类似研究已发表[17, 19]。例如,von Schacky等人[17]提出了一种多任务深度学习(DL)模型,用于同时检测、分割和分类骨病变,并将结果与不同经验水平的放射科医生进行比较。其将骨病变进行分类的总体任务以及所研究的实体与我们的研究相似。他们的模型在按实体对骨病变进行分类时达到了43.2%的分类准确率,而一名放射科住院医师达到了44.1%,一名肌肉骨骼(MSK)专科放射科医生达到了58.6%。虽然我们的指标得分显著更高,但von Schacky等人不得不应对每类样本比例较低的问题。该DL模型的一个主要问题可能是骨肿瘤实体可发生于不同的解剖区域并表现出不同的外观。因此,DL模型必须将具有不同解剖和视觉特征的同一病理归入同一类别才能正确预测。如图5和图6所示,我们的模型能够通过仅聚类k个最相似的病例并基于多数投票计算实体的最终预测来规避这一问题。他们的研究强调了DL模型以及人类专家精确识别骨肿瘤的复杂性。尽管以往研究项目广泛采用AI与人类的直接比较[16],但未来AI更可能是用于支持而非取代医学专家。Kuanr等人[19]最近发表了另一项类似研究。其研究背后的主要理念是通过应用DL模型完成特征提取,基于相对同质的胸部X线摄影来识别相似的COVID-19患者。基于X线图像比较相似患者的方法与我们的研究相似。然而,通过在聚类图像之上实施多数投票以进行最终指标计算,我们额外展示了对多种实体和异质性病理的分类。据我们所知,尚无研究展示采用多数投票的检索相似(RS)方法以得出多种骨肿瘤实体的分类或链接至既往肉瘤患者数据。

利用回顾性数据集、训练DL模型提取有意义的图像特征并基于影像数据用最近邻模型聚类相似病例的总体方法同样适用于其他病理和场景。然而,我们假设骨肿瘤的异质性和多种表现是我们采用该算法相比传统分类方法取得如此显著改善的主要原因之一。此前已有研究表明,当模型和数据集具有较大多样性时,集成方法往往给出更好的结果[29]。对于更频繁地发生于同一解剖区域的肿瘤实体,经典方法一开始就会产生更好的结果。尽管如此,寻找相似病例以与患者既往治疗进行比较的概念可能与任何其他病理都相关。

本研究的主要局限性在于,我们在评估肿瘤实体时未考虑临床数据。尽管平片对于可能的骨肿瘤的初步筛查至关重要[5, 8, 30, 31],但进一步分类需要纳入临床数据(可能还需要额外影像学检查)[9]。然而,我们假设某些临床信息,如患者年龄、解剖区域或肿瘤位置,部分体现在X线图像中,因此间接整合到我们的预测模型中。纳入临床数据和其他骨肿瘤实体将在未来研究中探索。另一个局限性来自有限的数据集。虽然1792张X线片对于肌肉骨骼(MSK)肿瘤这类罕见实体而言是相当可观的数量,但鉴于MSK病变的异质性以及深度学习(DL)应用的背景,每类平均179个样本仍然偏低。尽管数据集中约10%由全科医生、外部放射科医生等上传至我们临床系统的外部X线片组成,但另一个局限性是模型需要在外部数据上进行测试以进一步评估泛化性[32],之后才能评估其临床适用性[33]。尽管我们成功规避了混杂因素的问题,但大多数数据在单中心收集这一事实仍可能影响模型的稳健性:与不同放射设备或不同患者特征相关的不同图像特征可能导致这一问题。

总之,我们展示了一种处理有限数据和复杂分类问题的方法,为骨肿瘤评估提供实时反馈。所提出的框架可以将未确诊患者与临床系统中 dormant 的既往经验和知识联系起来。此外,我们使用人工智能(AI)方法利用基于既往患者诊疗历程的既往收集知识,使我们能够借助人类专家, potentially 在困难情况下协助全科医生和年轻医生,并实现早期和特异性诊断。

补充信息

以下是电子补充材料的链接。补充文件1(PDF 307 KB)

引用

  1. Hinterwimmer F, Serena RS, Wilhelm N, et al. Recommender-based bone tumour classification with radiographs-a link to the past. Eur Radiol. 2024. PMID: 38488971. doi:10.1007/s00330-024-10672-0
  2. 全文:PMC11399296(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11399296/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。