文献速递骨肌技术与安全DR

在荷兰人群中交叉验证用于传统放射摄影骨折分类与定位的人工智能工具

Cross-validation of an artificial intelligence tool for fracture classification and localization on conventional radiography in Dutch population.
PubMed 文献 · Insights Imaging · 2025-07-03

本研究在荷兰Erasmus MC回顾性连续纳入2019年1月至2022年11月的14,311张四肢骨骼X线片,外部验证一款仅用印度数据训练的多任务深度神经网络。患者层面敏感度87.1%、特异度87.1%、AUC 0.92;骨折层面总体检出率60%,锁骨最高90%、肋骨最低7%,提示分类稳健但定位准确性有待改进。

要点

  • 患者层面敏感度87.1%、特异度87.1%、AUC 0.92(95%CI 0.91-0.93)。
  • 骨折层面总体检出率60%,锁骨90%最高,肋骨7%最低。
  • 肘、肋骨、手和手指的患者层面表现最低,锁骨、股骨、髋最高。

核心结论

  • 该工具在真实临床数据上患者层面骨折分类性能稳健,但骨折层面定位准确性存在变异,需改进定位。
  • 研究将工具效能定为Boverhof等定义的诊断准确性(2级)和局部效能(7级)。

研究设计与样本

  • 回顾性、单中心外部验证研究,连续纳入荷兰鹿特丹Erasmus MC的14,311张X线片(2019年1月至2022年11月)。
  • 纳入标准为年龄≥18岁、以四肢骨骼放射摄影为主要指征;排除图像显示不完整、无放射科报告及骨折附近有手术硬件、钙化或骨肿瘤的X线片。
  • 参考标准基于常规临床流程的放射科报告(住院医师初阅、MSK专科资深放射科医师审核定稿),由标注者转换为边界框。
  • 被评估工具为多任务深度神经网络,训练于1,567,400张、测试于200,626张印度X线片,可识别并定位17个身体部位的骨折。
  • 患者层面指标评估急性、亚急性、慢性、治疗或愈合骨折的二元存在;骨折层面分析仅针对AI在患者层面判为骨折的急性与亚急性骨折。

关键影像表现/征象

  • 原文未报告影像征象相关的描述性内容。

诊断标准与关键数值

  • 患者层面总体敏感度87.1%(95%CI 86.1-88.1%)、特异度87.1%(95%CI 86.4-87.7%)、AUC 0.92(95%CI 0.91-0.93)。
  • 骨折层面总体检出率60%,锁骨最高90%、肋骨最低7%。
  • 定位以IoU≥0.10判定为充分检出,该阈值引自Paramasamy等的方法。
  • 工具工作点设为最大约登指数。

临床应用与阅片要点

  • 作者认为凭借较强的分类性能,该工具可作为分诊辅助,优先处理骨折病例并将无骨折病例归档后阅,以优化工作流程。
  • 作者指出改善定位准确性可提升其对放射科住院医师和急诊医师早期骨折检出的价值。
  • 作者指出定位准确性在复杂解剖区域存在变异,可能限制其在多发伤病例中的应用。
  • 作者认为未来需研究AI对报告时间的影响以及在临床工作流程中的整合。

局限性

  • 研究为回顾性、单中心设计,限制其普遍性,且参考标准未经CT或MRI验证。
  • 研究排除了骨折附近有骨肿瘤、钙化及金属硬件的病例,而这些在临床实践中常见,可能影响AI辅助骨折检测及工具普遍性。
  • 复杂区域如肋骨和骨盆的检出率与IoU值较低,可能限制模型在多发伤病例中的效用。
  • 未探讨AI对报告时间的影响,AI是缩短还是延长报告时间以及效率增益能否随时间持续仍不清楚。
  • 标注变异性可能影响定位性能,即使边界框位置的微小差异也可显著影响IoU等指标。
全文中译11 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Jul 3;16:150. doi: 10.1186/s13244-025-02034-1

引言

全球急性骨折的数量正在迅速增加[1]。据估计,2019年全球报告了1.78亿例骨折病例[2]。多种因素导致了发病率的增加,包括道路交通事故以及骨质疏松症和转移性癌症等骨骼病变。

常规X线摄影通常是用于评估疑似骨折的首选影像学检查方法,因其成本低、辐射小且普及率高。然而,X线平片存在局限性,包括对某些骨折的敏感性相对较低以及观察者间差异[3]。因此,1%–3.7%的骨折可能在X线平片上被漏诊[4, 5]。不断增加的工作量和训练有素的放射科医生的缺乏进一步导致了错误诊断[6]。

骨折需要及时的医疗关注以减少不良结局的发生几率。骨折识别的任何延迟都可能导致并发症,如畸形愈合或不愈合,需要额外的治疗和后续费用[7, 8]。

人工智能(AI)应用有望通过优化有限的资源和人力在医疗保健中发挥重要作用。既往研究表明,AI工具可以辅助骨折诊断[9, 10],但许多研究使用分层和富集的研究队列进行评估,偏离了日常临床实践[9, 11]。此外,训练和验证队列显示出相似的人口统计学特征,限制了其普遍适用性。在人口统计学多样化的队列上进行外部验证对于确保AI工具在不同人群和环境中可靠运行至关重要。然而,很少有研究进行此类外部验证,这在理解AI在不同临床环境中的性能方面留下了空白[12, 13]。

大多数AI工具仅限于诊断特定解剖区域的骨折,如椎体、髋部或桡骨远端[14–16]。然而,多发伤病例涉及不同部位的多处骨折,凸显了对能够检测多个部位骨折的更全面工具的需求。检测是指识别图像中骨折的存在,以评分表示。定位是指精确定位骨折的确切位置,以边界框显示。除骨折检测外,AI还可以通过定位这些骨折来辅助放射科医生,这在解剖结构复杂的区域尤为具有挑战性,因为重叠结构和多变的骨折模式使精确识别变得复杂。细微骨折进一步增加了这一挑战,因为它们可能模糊、不完全或被周围解剖结构所掩盖。既往研究探索了潜在益处,发现使用AI工具可以减少放射科医生的阅片时间[17–21]并提高诊断性能[17–19, 22]。一项将AI整合到放射学工作流程中的初步研究将住院医师的敏感性从84.7%提高到91.3%,而特异性未降低(97.1% vs. 97.4%)[23]。

本研究评估的AI工具是在本研究开始之前开发和训练的。所评估工具的一个重要特征是其初始开发阶段完全基于印度医疗中心的X线片进行开发,在印度数据上对骨折进行分类的AUC达到0.9645 [24]。我们的外部验证旨在评估该工具以其当前形式能否泛化至荷兰医疗中心的X线片,从而评估其作为不同临床环境中工具的潜在适用性。本研究旨在通过使用连续数据集,在荷兰医疗环境中对一款基于印度来源数据集训练的AI工具进行外部验证,重点关注该工具对病例进行分类和定位急性骨折的能力。

方法

机构审查委员会审查了本研究,并认定根据《荷兰人体医学研究法》(WMO)(研究ID:METC-2022-0466),由于不涉及干预或强制行为,无需批准。根据当地方案,免除获取知情同意的义务。

研究设计与研究人群

回顾性收集了患者X线片的连续数据集。为确保常见投照体位的均衡代表性,每次检查随机选择一张X线片,因为PACS检查通常遵循标准投照序列(如正位、侧位、斜位)。符合条件的患者年龄至少18岁,并以四肢骨骼X线摄影为主要指征。排除标准为X线片视野不完整以及缺乏放射科医师对该X线片的报告。此外,我们使用的是标准诊疗X线片,排除了骨折附近带有手术硬件、钙化或骨肿瘤的X线片,因为该工具在模型训练期间并非为处理这些情形而设计。无特定采集参数要求;所有纳入的X线片均符合当地临床标准,确保了图像质量。参与者纳入于荷兰鹿特丹Erasmus MC。使用最终顾问放射科医师的报告进行病例识别和筛选。数据在分析前经过去标识化处理,确保符合GDPR指南。所有身份识别信息(如姓名、地址、出生日期、患者ID)均被不可逆地移除,无法与患者身份建立任何关联。

所训练AI工具的技术规格

所评估的工具基于一个多任务深度神经网络,该网络在1,567,400张X线片上训练,并在200,626张18岁以上患者的X线片上测试。“多任务”一词反映了该网络能够同时执行分类和定位任务。这些X线片在1年内从印度多个中心收集,包含临床放射学报告。图像覆盖附肢骨骼(锁骨、肩部、肱骨、肘部、前臂、腕部、手、手指、骨盆、髋部、股骨、膝部、小腿、踝部、足和足趾)。为进行模型训练,由六名放射科医生组成的小组建立了开发参考标准,他们在对临床放射学报告设盲的情况下独立审阅并标注扫描图像。小组标注与临床报告之间的差异由一名裁决放射科医生解决,从而建立开发参考标准。模型在该数据集上训练,并显示能够对该开发集中所有身体部位的骨折进行分类和分割[24]。

该模型采用多任务架构,用于同时进行分类和定位。分类组件给出骨折存在的概率(0–1),并根据固定阈值解释为阳性或阴性。对于定位,像素级概率生成骨折掩膜。这通过分割头实现对骨折的精确定位,分割头生成像素级数据和骨折掩膜,后者用于在输出图像上生成边界框。该最终输出显示骨折是否存在,以及若检测到时的定位(图1)。

图1 参与者流程图 查看原图 ↗

参考标准

在当前的外部验证研究中,参考标准基于放射学报告中对该骨折的描述。这些放射学报告通常通过临床工作流程生成,其中X线片最初由放射科住院医师独立审阅,随后由接受过肌肉骨骼(MSK)亚专科培训的高级放射科医生监督并最终确定。参考标准通过将放射科医生的报告转换为边界框来建立,遵循一项方案,在图像质量允许的情况下尽可能准确地从起点到终点紧密包绕骨折线。为确保准确性,初始阅片者表示不确定的病例被转交专家审阅。此外,随机选取所有标注的10%由一名具有超过10年经验的委员会认证肌肉骨骼放射科医生进行独立审阅。虽然该审阅放射科医生不一定与参与临床工作流程的MSK放射科医生为同一人,但由于审阅放射科医生属于临床工作人员,可能存在重叠。标注使用专有平台进行,该平台为在线界面,具有窗宽调节、放大以及笔和边界框工具。标注人员经过良好培训,并对AI结果设盲。所有X线片均在医院服务器内处理。愈合性、治疗性和应力性骨折通过放射学报告识别,并在参考标准中标记为阳性骨折,但未进行定位标注,因为它们通常是随访诊疗的一部分。

分析

为评估患者层面的指标,将放射学报告中急性、亚急性、慢性、治疗性或愈合性骨折的存在表示为二分类,无论骨折数量或部位如何。

仅对在患者层面分析中被AI工具分类为骨折病例中的急性及亚急性骨折进行逐处骨折分析。被该工具分类为无骨折的病例不提供可用于逐处骨折分析的边界框。对于每处单独骨折,将由人工标注者标注、涵盖整个骨折区域的参考边界框与AI工具输出的边界框进行比较。该比较基于交并比(IoU)指标进行,该指标衡量两个边界框之间的重叠程度。若IoU值等于或大于0.10,则认为该参考骨折被AI工具充分检出,此方法此前已由Paramasamy等[25]描述。相反,若某参考边界框与任何AI工具输出边界框的重叠小于0.10,则认为该骨折未被该工具检出。该比较得以评估骨折检出率,即该工具成功定位的骨折病例百分比,表明该工具准确定位骨折并检出放射图像中所有现存骨折的能力。

统计方法

本研究拟每个身体部位(锁骨、肩部、肱骨、肘部、前臂、腕部、手和手指、骨盆、髋部、股骨、膝部、小腿、踝部、足和趾)纳入1000张放射图像,其中约15%为骨折病例。在估计敏感度约为80–90%、特异度约为90–92%的情况下,15,000的样本量被认为足够大,可评估该工具总体的敏感度和特异度[17, 19]。该样本量也可能为次要的解剖亚组分析提供足够的统计效力,至少对于最常见的骨折解剖部位而言如此。

敏感度、特异度和AUC是主要指标,按总体及每个身体部位进行评估。该工具的操作点设定于最大约登指数处。每个身体部位独立分析,作为一项单独研究处理,不影响其他诊断指标。由于计算相互独立,无需进行多重性校正。

标注数据和AI工具输出使用Python进行评估,得出敏感度、特异度和IoU值。采用自举法计算这些指标的95%置信区间(Python Software Foundation,Python Language Reference,version 3.8。可从http://www.python.org获取)。

结果

数据集

2019年1月至2022年11月期间共获取15,392张X线片,其中14,311张纳入研究(表1)。中位年龄为48岁(范围18–98岁),其中7265例为男性。1081张X线片因缺少报告或未被工具识别为支持的解剖结构而被排除(图2)。14,311张X线片涵盖了骨折以外的多种异常,包括552张与肿瘤和骨肉瘤相关的X线片、945张显示钙化的X线片以及3881张提示治疗后和陈旧性骨折的X线片。在14,311张X线片总数中,4156张(29%)X线片显示骨折,而10,155张(71%)X线片未显示骨折。专家阅片者复核了初始阅片者标记为不确定的1608例以及随机选取的10%,合计约占X线片的21%,确认所有标注在患者层面上正确分类了骨折的存在。虽然部分边界框为提高准确性进行了微调,但未发现显著的不一致或错误,标注被认为可靠可用于进一步分析。

表1 研究人群的基线特征 查看原表 ↗
图2 AI工具输出骨折存在与否的二分类结果,并使用边界框定位桡骨远端骨折 查看原图 ↗

患者层面分析

患者层面的结局指标汇总于表2,呈现了整个数据集以及各身体部位单独的敏感性、特异性和AUC,整体患者层面敏感性、特异性和AUC分别为87.1%(95% CI:86.1–88.1%)、87.1%(95% CI:86.4–87.7%)和0.92(95% CI:0.91–0.93)。该工具在肘部、肋骨以及手和手指检查中表现最低,而在锁骨、股骨和髋部检查中表现最高。

表2 患者层面骨折分类的性能指标,包括敏感性、特异性和AUC,按整体数据集和各解剖区域报告 查看原表 ↗

骨折层面分析

该工具骨折定位的性能显示于表3。3875处骨折的数目是参考标准中急性和亚急性骨折所有单个边界框标注的总和。平均IoU按各身体部位单独计算并合并计算。该模型在患者层面分析中表现出较高的骨折检出率,但在骨折层面分析中定位性能较低。检出率最高见于锁骨骨折(90%),最低见于肋骨(7%)。如图3所示,部分IoU较低的病例仍能以具有临床意义的方式充分定位骨折。这些结果按整体数据集和各亚组单独呈现。

表3 骨折层面分析结果,显示整体数据集和各身体部位的检出率 查看原表 ↗
图3 两例病例中参考标准与AI工具骨折定位的比较。参考标准标注以红色显示,AI工具边界框以白色显示。a 第五掌骨颈骨折,参考标准中以精确标注进行标注。该骨折由AI工具定位,骨折层面分析结果IoU为0.181。b 桡骨远端骨折,以较宽的边界框进行定位。IoU为0.179。图中还显示了模型对尺骨远端骨折标记的假阳性预测 查看原图 ↗

讨论

过去几年,放射学中人工智能研究的重点已转向研究人工智能解决方案的实施和临床价值,尤其强调在真实世界临床数据上的验证。本研究为关于人工智能在临床环境中部署的不断增长的知识体系做出了贡献。虽然人工智能工具的外部验证仍然至关重要,但许多人工智能工具仍缺乏此类验证。我们在西欧患者人群中评估了一种在印度数据上训练的人工智能工具的性能。该工具表现出中等性能,灵敏度为87.1%,特异度为87.1%,AUC为0.92。在按骨折类型分析中,总体检出率为60%,其中锁骨骨折的检出率最高(90%)。这些结果表明分类性能可靠,但也突出表明需要进一步验证以评估在不同临床环境中的泛化能力。

以往关于骨折检测模型的文献报道了各不相同的结果。例如,Cohen等报道腕部骨折的灵敏度较低,为83%,但特异度较高,为96% [26]。相比之下,本研究中评估的工具对腕部骨折的灵敏度达到88.1%,特异度为86.6%。然而,参考标准的差异可能部分解释了这种变异,因为Cohen等纳入了CT/MRI findings,可能包括在X线片上难以或无法检测到的骨折,而我们的研究依赖于常规放射学报告。Bousson等评估了三种用于附肢骨骼骨折检测的人工智能工具,灵敏度范围为90.2%至92.6%,特异度范围为70.4%至92.5% [27]。他们还观察到人工智能在不同解剖区域的有效性存在差异,将较低的性能归因于该区域的解剖复杂性、可能骨折的多样性以及标注尺寸较小。同样,在我们的研究中,我们观察到结构较小亚组的灵敏度较低,尤其是肋骨(76.6%)、手和手指(78.2%)以及足和脚趾(80.8%),提示骨折大小和标注挑战可能导致这些差异。值得注意的是,该工具在印度数据集中进行骨折检测的AUC据报道为0.9645 [24],而在我们的研究中为0.92(95% CI:0.91–0.93)。我们研究中略低的诊断性能可能归因于参考标准定义方式的差异。我们的参考标准纳入了临床常规,包括病史,与既往发表文献相比,这可能导致诊断更为严格。

尽管我们的结果令人鼓舞,但本研究存在若干局限性。本研究的回顾性、单中心设计限制了其普遍性,且参考标准未经CT或MRI验证。因此,该工具正确标注的潜在假阴性或假阳性病例可能未被识别。此外,本研究排除了骨肿瘤、钙化以及骨折部位附近有金属硬件的病例,这些在临床上具有重要意义。然而,此类发现在临床实践中较为常见,可能影响AI辅助骨折检测及该工具的普遍性。不同解剖区域的性能存在差异,肋骨和骨盆等复杂区域的骨折检测率和IoU值较低。这可能限制该模型在多发伤病例中的效用,而多部位准确检测在这些病例中至关重要。本文未探讨的另一个临床相关方面是AI对报告时间的影响。目前尚不清楚使用AI是缩短还是延长了放射科医生的报告时间,以及任何效率提升是否随时间持续。未来研究应在受控阅片研究和真实临床环境中比较有无AI辅助时的阅片时间,以探讨这一问题。此外,标注变异性可能影响了定位性能,因为边界框位置的微小差异即可显著影响IoU等指标。此外,尽管21%的标注由一位经验丰富的肌肉骨骼(MSK)放射科医生审核,包括随机选取的病例和初步审核中标记为不确定的病例,但对诊断挑战性病例的侧重可能引入了偏倚。这些发现强调,AI验证研究需要标准化标注方案,以确保一致性和可靠的性能评估。此外,本研究中每位患者仅使用一个投影可能低估了该工具的性能,因为骨折并非在每个投影中都能显示。最后,尽管我们使用0.10的IoU阈值评估骨折定位,但目前尚无成熟的临床指南验证AI骨折检测工具的阈值。这种标准化的缺乏限制了可解释性,应在未来研究中加以解决。

逐骨折分析显示,尽管该工具在患者层面的分类表现良好,但定位准确性为中等水平,且在不同解剖区域间差异显著。这种差异部分是由于参考标注较模型预测掩膜和训练数据偏小所致。设定用于评估的IoU阈值具有挑战性,因为如果预测边界框大于参考标注,有效检测可能被排除。尽管骨折检测率可接受,但定位仍需改进。模型训练期间更精确的标注、更高分辨率的监督,以及主动学习、不确定性估计和多模态嵌入等技术,可进一步优化定位准确性。

本研究为人工智能模型在临床环境中检测骨折的性能提供了重要见解。我们对该模型的外部验证突出了其诊断准确性(第2级)和局部有效性(第7级),依据Boverhof等人[28]的定义。展望未来,探索其他有效性层面(如患者结局有效性)以评估模型对患者健康和治疗结局的影响将至关重要。此外,将人工智能模型整合到临床工作流程中仍是关键的下一步,确保这些工具能够被放射科医生无缝使用以支持临床决策。

鉴于其强大的分类性能,该工具可作为分诊辅助手段,优先处理骨折病例,并通过将非骨折病例归档以供后续复查来优化工作流程。然而,在西欧人群中的外部验证显示定位性能为中至低水平,需要进一步研究其泛化性和临床价值。提高定位准确性可增强其对放射科住院医师和急诊医师在早期骨折检测中的价值。

总之,我们的研究表明,该人工智能工具在具有临床代表性的数据集中于患者层面的骨折检测表现良好。然而,骨折层面的分析揭示了定位准确性的差异,尤其是在复杂解剖区域,而排除标准诊疗之外的病例可能限制泛化性。未来工作将侧重于提高定位性能、解决标注挑战、研究多投照体位病例以及具有非典型骨骼表现的病例(如骨肿瘤和钙化),并最终探索将人工智能整合到临床工作流程中。

引用

  1. Ruitenbeek HC, Sahil S, Kumar A, et al. Cross-validation of an artificial intelligence tool for fracture classification and localization on conventional radiography in Dutch population. Insights Imaging. 2025. PMID: 40610833. doi:10.1186/s13244-025-02034-1
  2. 全文:PMC12229378(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12229378/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。