人工智能在舟骨骨折诊断中的应用:真实世界研究中自动检测舟骨骨折的影响
该单中心回顾性研究纳入264例腕部外伤患者共764张X线片,评估BoneView与RBfracture两款AI软件辅助非专科放射科医生(NSR)检出舟骨骨折的价值。在复杂病例组中,AI辅助显著提高了NSR的诊断准确性(NSR2+BoneView AUC=0.75,p=0.003),但整体准确性仍不理想;结论认为AI工具可能有效辅助NSR,尤其在复杂舟骨骨折病例中。
要点
- 在专家明确诊断的简单病例中,AI与NSR的AUC无显著差异,AI未显著提升NSR表现。
- 在需CT确诊的复杂病例中,AI辅助显著提升NSR2的AUC(+BoneView 0.75,p=0.003;+RBfracture 0.72,p=0.030)。
- 尺偏位投照对两种AI均显示高特异度(SW1 92%、SW2 89.3%),但未改善AI整体诊断表现。
核心结论
- AI工具可能有效辅助非专科放射科医生,尤其在复杂舟骨骨折病例中。
- 在疑难病例中即使有AI辅助,诊断准确性仍不理想,最高AUC仅0.75。
- BoneView敏感度较高、RBfracture特异度较高;两款工具诊断一致性为中等(kappa=0.544)。
研究设计与样本
- 单中心、纵向、回顾性研究,纳入2014年1月至2023年5月急诊的264例连续患者共764张腕部X线片。
- 第1组174例以专家放射科医生X线报告为参考标准,第2组90例以CT报告为参考标准。
- 由两名经验不足5个月的非专科放射科医生在无AI和有AI辅助下独立阅片,洗脱期至少两周并随机化。
- 使用BoneView(Gleamer,软件1/SW1)和RBfracture(Radiobotics,软件2/SW2),基于Detectron2框架的深度卷积神经网络,输出阳性、可疑或阴性及边界框。
关键影像表现/征象
- AI以实线边界框标记检出的骨折,以虚线边界框标记可能的骨折(可疑)。
- 图2示SW1和SW2以虚线框标记一例男性患者舟骨可疑骨折。
- 图3示第1组一例男性患者舟骨骨折被SW1和SW2以边界框正确标记为阳性。
- 图4示第2组一例男性患者隐匿性舟骨骨折在尺偏位片上被两种AI正确标记为阳性,后经CT及冠状面容积渲染证实。
诊断标准与关键数值
- 第1组中,SW1敏感度81.2%、特异度85.1%、AUC 0.83;SW2敏感度70%、特异度97.9%、AUC 0.84;NSR1敏感度81.2%、特异度95.7%、AUC 0.88;NSR2敏感度82.5%、特异度97.9%、AUC 0.90。
- 第1组SW1敏感度显著高于SW2(p=0.035),SW2特异度显著高于SW1(p=0.002)。
- 第2组中,SW1敏感度60.8%、特异度64.1%、AUC 0.62;SW2敏感度47.1%、特异度82.1%、AUC 0.65;NSR1敏感度51%、特异度41%、AUC 0.46;NSR2敏感度68.6%、特异度56.4%、AUC 0.63。
- 第2组AI辅助后,NSR1+SW1敏感度72.5%(较NSR1提高21.5%,p=0.013)、AUC 0.61(p=0.007);NSR1+SW2 AUC 0.60(p=0.01);NSR2+SW1敏感度84.3%(较NSR2提高15.7%,p=0.008)、AUC 0.75(p=0.003);NSR2+SW2敏感度80.4%(较NSR2提高11.8%,p=0.031)、AUC 0.72(p=0.030)。
- 尺偏位投照对两种AI的诊断特异度高(SW1 92%、SW2 89.3%),但未改善AI整体诊断表现。
临床应用与阅片要点
- 在优先保证敏感度的场景(如急诊科),BoneView可能更适用,以减少漏诊。
- 在专科肌骨放射学场景中,RBfracture较高的特异度可能有助于解决诊断不确定性。
- AI辅助可缩小非专科与专科放射科医生之间的诊断差距,尤其在专科医生资源有限时。
- 作者认为AI工具可能有效辅助非专科放射科医生,尤其在复杂舟骨骨折病例中。
局限性
- 回顾性设计。
- 样本量相对较小。
- 并非所有舟骨骨折均经CT等二级影像确认。
全文中译12 节 · 点击展开
引言
舟骨在维持腕关节稳定和实现正常腕关节运动方面起着至关重要的作用,使其成为最重要的腕骨之一。舟骨骨折是最常见的腕骨骨折类型,约占此类损伤的70% [1]。这些骨折的诊断对临床医生和放射科医生而言都具有挑战性,因为据估计高达20%的舟骨骨折可能在初始平片检查中不可见 [2]。在缺乏肌肉骨骼影像学经验的非专科放射科医生(NSRs)中,这一比例可能更高 [3]。漏诊隐匿性舟骨骨折可导致严重并发症,包括骨不连、骨坏死、退行性腕关节骨关节炎以及舟骨骨不连进展性塌陷(SNAC)[4]。在不确定的病例中,即尽管放射学报告为阴性但临床仍怀疑骨折,或报告存疑的情况下,至关重要的是在7–14天后获取随访X线片,并考虑二线影像学检查,如磁共振成像(MRI)或计算机断层扫描(CT)。这种方法有助于防止误诊,但也成本高昂、耗时较长,且根据当地医疗条件可能并非总是可行 [5]。
人工智能(AI)的最新进展促进了旨在辅助放射科医生在平片上诊断骨折的软件的开发 [6]。这些AI工具的示例包括Gleamer开发的BoneView和Radiobotics开发的RBfracture。这些技术已被整合到常规临床实践中,提高了骨折的检出率 [7]。然而,其效用的完整范围,特别是在舟骨骨折这一复杂场景中,仍在评估之中。
在本研究中,我们评估了AI工具BoneView和RBfracture对非专科放射科医生在腕部创伤患者平片上检测舟骨骨折的诊断性能的贡献。此外,我们比较了这两种AI软件在该任务中的性能特征。
方法
本研究经我院机构审查委员会批准,并按照赫尔辛基宣言的伦理标准实施。所有患者均签署书面知情同意书,同意图像采集及其数据的匿名化使用。
研究人群
我们连续纳入了2014年1月至2023年5月期间因手部或腕部创伤就诊于我院急诊科的264例患者(764张X线片)。
我们纳入年龄超过18岁、临床怀疑舟骨骨折(通过临床评估确定,如局限于解剖鼻烟窝的疼痛、肿胀和压痛)并以平片作为初始影像学检查的患者。对于初始影像学检查后诊断不确定的病例,仅纳入那些接受了二次影像学检查以达成明确诊断的患者。
排除标准包括:晚期关节病及腕骨完全融合的患者;根据骨龄腕骨尚未完全骨化的儿童患者;以及有既往腕骨手术史或慢性/已愈合舟骨骨折的病例。这些病例由一位在肌肉骨骼和急诊影像学方面拥有10年以上经验的专业放射科医生审查后予以排除。
研究中使用的AI软件
我们使用了两个人工智能软件包:BoneView(Gleamer,法国巴黎)和RBfracture(Radiobotics,丹麦哥本哈根)。这些深度学习人工智能系统基于使用“Detectron2”框架的深度卷积神经网络(DCNN),协助医疗专业人员在X线片上检测潜在的骨折并减少漏诊骨折。它们将DICOM格式的X线片作为输入进行处理,并生成输出图像,用边界框突出显示检测到的骨折。两个程序均将X线片按骨折情况分类为“阳性”、“可疑”或“阴性”,在检测到骨折处使用实线边界框,在可能存在骨折(“可疑”)处使用虚线边界框。这些人工智能算法目前已在北美和欧洲获批作为骨折检测的支持工具。在全文范围内,我们将Boneview称为软件1(SW1),将RBfracture称为软件2(SW2)。关于Boneview和RBfracture的更多信息见补充材料。
研究设计与流程
本研究设计为单中心、纵向、回顾性研究。数据收集与分析于2023年11月至2024年6月期间进行。Gleamer和Radiobotics为本研究提供了其人工智能软件的免费试用权限。图1中的流程图概述了研究设计与分析。
入组患者的X线片根据从放射信息系统(RIS)提取的原始报告,按舟骨骨折情况分类为“阳性”、“阴性”或“可疑”。这些报告在采集时由在肌肉骨骼和急诊影像方面具有至少五年经验的专科放射科医师(SRs)审核确认。患者被分为两组。第1组包括基于标记为“阳性”或“阴性”的报告具有明确放射学诊断(舟骨骨折存在或不存在)的病例。在该组中,初始X线评估作为统计分析的参考标准。第2组为复杂病例,包括在原始评估时需要行CT扫描才能得出最终诊断的病例。该组由标记为“可疑”的病例以及部分持续存在临床骨折怀疑的“阴性”病例组成,后者因临床-放射学不一致而进行了第二次影像检查。在该组中,CT评估作为统计分析的参考标准。
两组的X线片均由人工智能软件和两名非专科放射科医师(NSRs,在肌肉骨骼和急诊放射学方面经验<5个月)进行分析。NSRs首先在不使用人工智能辅助的情况下生成结果,随后在使用人工智能结果的情况下生成第二组结果。为避免偏倚,两次分析之间设置了至少两周的洗脱期,且每次分析的X线片均随机化。人工智能和NSRs均将病例分类为“阳性”、“阴性”或“可疑”。图2、图3和图4展示了放射学图像分析示例。
145例患者的一个亚组有尺偏位X线片(UDR),系应放射科医师的辐射防护要求而拍摄。
统计分析
本研究的主要目的是评估两名非专科放射科医生(NSR)在有无两套人工智能工具(SW1和SW2)支持的情况下,于平片X线片上检测舟骨骨折的诊断性能。我们还比较了两套人工智能软件在该任务中的准确性。此外,我们评估了我们的金标准与NSR(有无人工智能支持)之间以及两套人工智能软件之间的诊断一致性。最后,我们评估了特定尺偏位X线片(UDR)对两种人工智能算法诊断性能的影响。
用于评估诊断性能的对照金标准(真实基准)为存储于我院放射信息系统(RIS)并经专科放射科医生(SR)验证的报告;第1组由X线片报告组成,而第2组由CT扫描报告组成。
诊断性能通过测量灵敏度(Se)、特异度(Sp)、曲线下面积(AUC)、比值比(OR)、阳性预测值(PPV)和阴性预测值(NPV)进行评估。对每项诊断性能指标均确定相应的95%置信区间(95% CI)。采用McNemar检验比较灵敏度和特异度,p值小于0.05视为具有统计学意义。AUC指受试者工作特征(ROC)曲线下面积,该曲线以真阳性率对假阳性率作图,衡量模型区分不同类别的总体能力,取值范围从0.5(无区分能力)到1(完美区分能力)。诊断一致性采用Cohen's kappa系数评估。对于Cohen's kappa值的解释,我们遵循以下阈值:< 0.00,一致性差;0.00–0.20,轻微一致;0.21–0.40,一般一致;0.41–0.60,中等一致;0.61–0.80,高度一致;0.81–1.00,几乎完美一致。
数据分析使用Stata软件(Release 18或更高版本,StataCorp,College Station,TX,USA)进行。
结果
人口学特征和组间特征
本研究纳入264例患者(男性164例,62.12%),年龄18至100岁(平均年龄49.28 ± 20.69岁),共计764张X线片。
根据SR的报告,我们识别出80例舟骨骨折“阳性”病例(30.30%)、140例“阴性”病例(53.03%)和44例“可疑”病例(16.67%)。第1组包括174例,检出80例骨折(45.98%)。所有“可疑”病例以及46例临床症状持续的“阴性”病例均接受了CT扫描以确认诊断,并被归入第2组(n = 90)。在第二次影像学评估后,第2组中51例患者(56.67%)被确认存在舟骨骨折,包括29例(32.22%)原始X线片最初报告为阴性的患者(隐匿性骨折)和22例(24.44%)原始X线片最初报告为“可疑”的患者。图1展示了受试者分类。
共识别出131处骨折,并根据“AO/OTA 舟骨 72”(骨科创伤协会)分类将其分为以下亚型:15处近端骨折(11.45%)、77处中段骨折(58.77%)和39处远端骨折(29.77%)。其中,128处为非粉碎性骨折(97.7%),3处为粉碎性骨折(2.3%)。
第1组中AI软件与非专科放射科医师的诊断效能
AI工具与非专科放射科医师(NSR)在第1组中的诊断效能结果见表1。
SW1的敏感性、特异性和AUC分别为81.2%、85.1%和0.83;SW2分别为70%、97.9%和0.84;NSR1分别为81.2%、95.7%和0.88;NSR2分别为82.5%、97.9%和0.90。SW1的敏感性在统计学上高于SW2(p = 0.035)。相反,SW2的特异性显著高于SW1(p = 0.002)。两种软件与NSR的AUC均无显著差异(NSR1 vs SW1:p = 0.67;NSR1 vs SW2:p = 0.77;NSR2 vs SW1:p = 0.97;NSR2 vs SW2:p = 0.45;SW1 vs SW2:p = 0.80)。两种软件程序均略微提高了NSR的诊断敏感性,但差异无统计学意义(NSR1 + SW1 vs NSR1:p = 0.18;NSR1 + SW2 vs NSR1:p = 0.75;NSR2 + SW1 vs NSR2:p = 0.13;NSR2 + SW2 vs NSR2:p = 0.18)。然而,SW1适度降低了两位放射科医师的特异性(NSR1:p = 0.057;NSR2:p = 0.031)。在AI辅助下,NSR的AUC未发生统计学显著变化(NSR1 + SW1 vs NSR1:p = 0.67;NSR1 + SW2 vs NSR1:p = 0.77;NSR2 + SW1 vs NSR2:p = 0.97;NSR2 + SW2 vs NSR2:p = 0.45)。
第2组中AI软件与非专科放射科医师的诊断效能
AI工具与NSR在第2组中的诊断效能结果见表2。
SW1的敏感性为60.8%,而SW2为47.1%;该差异无统计学意义(p = 0.167)。SW2的特异性与其在第1组中的表现一致(82.1%),且高于SW1(64.1%),差异有接近统计学意义的趋势(p = 0.065)。两种软件的AUC相似(SW1 AUC = 0.62;SW2 AUC = 0.65;p = 0.72)。
在该组中,两位NSR的敏感性、特异性和诊断准确率均明显低于第1组(NSR1:Se = 51%,Sp = 41%,AUC = 0.46;NSR2:Se = 68.6%,Sp = 56.4%,AUC = 0.63)。两种AI程序均提高了NSR的总体诊断效能。值得注意的是,SW1使两位NSR的敏感性显著提高,NSR1提高21.5%(72.5%,p = 0.013),NSR2提高15.7%(84.3%,p = 0.008);SW2使NSR2提高11.8%(80.4%,p = 0.031)。虽然两位NSR的特异性均有所提高,但变化无统计学意义(NSR1 + SW1 vs NSR1:p = 0.51;NSR1 + SW2 vs NSR1:p = 0.18;NSR2 + SW1 vs NSR2:p = 0.29;NSR2 + SW2 vs NSR2:p = 0.51)。在AI辅助下,NSR1(联合SW1 AUC = 0.61,p = 0.007;联合SW2 AUC = 0.60,p = 0.01)和NSR2(联合SW1 AUC = 0.75,p = 0.003;联合SW2 AUC = 0.72,p = 0.030)的诊断准确率均呈统计学显著提高。第2组中NSR在有和无AI辅助下的诊断准确率见图5。
诊断一致性
在AI辅助下,NSR与专科放射科医生之间的诊断一致性,NSR1为中等(NSR1使用SW1 kappa = 0.576;NSR1使用SW2 kappa = 0.583),NSR2为高度一致(NSR2使用SW1 kappa = 0.712;NSR2使用SW2 = 0.711)。两种软件工具之间的诊断一致性为中等(kappa = 0.544)。结果见表3。
腕关节X线摄影尺偏位的作用
在全部764张X线片中,145张为尺偏位专用投照。发现该投照对两种AI均提供高诊断特异性(SW1 92%,SW2 89.3%),但未改善AI的总体诊断性能。
讨论
在本研究中,我们评估了两种市售且经临床验证的AI软件系统——Gleamer公司的Boneview和Radiobotics公司的RBfracture——在真实临床环境中辅助经验不足的放射科医生检测舟骨骨折的效果。我们还独立评估了两种AI工具的 diagnostic performance、AI与人类阅片者之间的诊断一致性,以及专用投照体位(特别是尺偏位X线片)的作用。此外,我们分析了一个复杂临床病例子集,其中标准X线片不足以可靠检测舟骨骨折,需要使用CT扫描。我们的结果表明,在舟骨骨折的明确病例中——即专科放射科医生可轻易在标准X线片上识别的骨折——两种AI工具均表现出良好的敏感性、特异性和AUC,与非专科放射科医生相当。然而,在更复杂的病例中,正如预期,两种AI工具和非专科放射科医生的诊断性能均下降。值得注意的是,AI支持显著提高了非专科放射科医生在这些病例中的诊断信心,提示对临床实践具有潜在意义。
文献中关于使用AI软件诊断舟骨骨折的数据有限。最近一项系统综述和荟萃分析总结了10项评估AI在舟骨骨折检测中应用的临床研究结果,强调AI通常达到高敏感性、特异性和AUC,与我们的结果一致[3]。然而,这些研究中仅有一项评估了临床实施的AI软件[8],而其他研究使用的是专为舟骨骨折设计的卷积神经网络(CNN),这可能限制其研究结果的普遍性和真实世界适用性。
很少有研究直接比较人工智能与人类放射科医生在舟骨骨折检测中的诊断性能,结果不一。Langerhuizen等[9]和Hendrix等[10]分别发现基于卷积神经网络(CNN)的人工智能模型与骨科外科医生或放射科医生之间无显著差异。相反,Ozkaya等[11]报告CNN的性能劣于骨科专科医生。在这三项研究中,AUC值范围为0.77至0.87,提示总体诊断准确性令人期待。我们的研究结果表明,人工智能在检测简单舟骨骨折方面达到了放射科医生水平。然而,在复杂病例中,人工智能尤其是非专科放射科医生的诊断性能显著降低。此外,使用尺偏位X线片并未影响人工智能的诊断准确性。
人工智能在舟骨骨折背景下对临床医生诊断性能的影响鲜有研究。Hendrix等[12]发现人工智能辅助并未提高放射科医生的诊断准确性,但缩短了其阅片时间。相反,Lee等[13]和Cohen等[8]分别证明人工智能支持显著提高了非专科放射科医生的准确性,体现为AUC改善(放射科医生1从0.75提高至0.85,放射科医生2从0.71提高至0.80)和敏感性提高(从76%提高至88%)。在我们的研究中,人工智能软件总体上改善了放射科医生在简单和复杂舟骨骨折病例中的诊断性能。然而,仅在复杂骨折亚组中观察到具有统计学意义的获益。即使有人工智能支持,这些病例的诊断准确性仍不理想,最高AUC仅达0.75。NSR1在人工智能支持下的诊断与专科放射科医生之间的一致性为中等,而NSR2为高度一致,提示人工智能辅助可能有助于缩小非专科与专科放射科医生在舟骨骨折检测中的性能差距。这些发现突显了人工智能在增强信心和减少阅片者间变异性方面的潜力,尤其是在专科放射科医生可及性有限的情况下。
据我们所知,这是首项在舟骨骨折背景下比较两种广泛应用的、设计用于一般骨折检测的人工智能工具(而非专门为此目的训练的人工智能模型)的研究。两种人工智能工具表现出相似的性能,其中Boneview表现出更高的敏感性,RBfracture表现出更高的特异性。这些发现的潜在临床意义可能是在优先考虑敏感性至关重要的环境中(例如急诊科)使用Boneview,以尽量减少假阴性。相反,RBfracture可能更适合专门的肌肉骨骼放射学环境,在这些环境中其更高的特异性有助于解决专家放射科医生之间的诊断不确定性。
本研究存在一些局限性,包括其回顾性设计和相对较小的样本量。此外,并非所有舟骨骨折均经二级影像学检查(如CT扫描)确认。然而,本研究也具有区别于既往AI辅助舟骨骨折检测研究的关键优势。首先,我们测试了可商业获取、已准备投入临床实践的AI软件,增强了其研究结果的现实适用性。与许多既往研究不同,我们既独立评估了AI,也评估了AI与人类阅片者联合使用的效果,同时还纳入了一组复杂病例,其中包括隐匿性骨折。此外,我们以非专科放射科医生作为人类阅片者,反映了他们在急诊科中的常见角色。我们没有将AI与骨科外科医生(后者通常依赖放射科医生的报告)或专科放射科医生(后者可能并非AI支持的主要目标人群)进行比较,而是评估了AI对其在临床实践中最可能使用它的人群的影响。与许多将AI与非放射科医生(如临床医生、外科医生)进行比较、可能夸大其有效性的研究不同,我们的方法或许能够提供更真实的临床视角。
总之,这是首项在舟骨骨折检测场景中评估两款可商业获取的AI软件工具用于非专科放射科医生的研究。我们的结果表明,AI支持对非专科放射科医生的诊断性能具有积极影响,尤其是在复杂病例中。然而,在具有挑战性的病例中,诊断准确性仍不理想。进一步研究应从卫生经济学角度探讨AI实施的成本效益,并采用前瞻性研究设计以评估其完整的临床效用。
引用
- Hernáiz Ferrer AI, Bortolotto C, Carone L, et al. Application of artificial intelligence in the diagnosis of scaphoid fractures: impact of automated detection of scaphoid fractures in a real-life study. Radiol Med. 2025. PMID: 40848226. doi:10.1007/s11547-025-02028-5
- 全文:PMC12546487(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12546487/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。