深度学习在手腕多体位X线片检测舟骨骨折达到肌骨放射科医师水平
该回顾性研究在两家医院采集四组手、腕及舟骨常规X线片,训练并测试基于CNN的舟骨骨折检测AI算法,并与5名经验丰富的肌骨放射科医师进行观察者研究对比。结果显示算法检测舟骨骨折的敏感度72%、特异度93%、PPV 81%、AUC 0.88,与放射科医师平均AUC 0.87无显著差异;AI辅助可缩短4名医师的阅片时间并改善5对医师间的一致性,但多数医师的敏感度、特异度、PPV和AUC未显著提升。
要点
- AI在手腕多体位X线片上检测舟骨骨折的AUC 0.88,与5名肌骨放射科医师平均AUC 0.87相当。
- AI辅助可缩短4名放射科医师的阅片时间(中位阅读时间平均降低49.4%),并改善5对医师间的一致性。
- PA结合尺偏PA或斜位可提升AI性能,加侧位未显著提升,提示多体位策略对AI同样重要。
核心结论
- AI算法在常规多体位手腕X线片上检测舟骨骨折的敏感度72%、特异度93%、PPV 81%、AUC 0.88,与5名经验丰富肌骨放射科医师的平均AUC 0.87无显著差异。
- AI辅助使5对医师间Cohen κ一致性提高、4名医师阅片时间缩短,但多数医师的敏感度、特异度、PPV和AUC未显著改善。
- AI在PA基础上补充尺偏PA或斜位时AUC提升,补充侧位未显著提升,提示多体位尤其是尺偏PA和斜位对舟骨骨折检测重要。
研究设计与样本
- 回顾性研究,在荷兰两家医院获取四组常规手、腕及舟骨X线片,训练与测试分离且测试集来自不同医院以评估泛化性能。
- 数据集1(12990张,3353例,医院A)和数据集2(1117张,394例,医院B)用于训练和测试舟骨定位与侧别分类组件。
- 数据集3(4316张,840例,医院A)和数据集4(688张,209例,医院B)用于训练和测试骨折检测器。
- 观察者研究纳入5名经验丰富的肌骨放射科医师(经验7、5、22、24、26年),对数据集4中每个患者的6个舟骨区域独立评估骨折存在与否及置信度,洗脱期4个月后在提供AI预测下重复评估。
- 参考标准由两名肌骨放射科医师(经验22和26年)在PACS和电子健康记录中结合所有可用影像(X线、CT、MRI)和临床信息确定,分歧经共识解决。
关键影像表现/征象
- AI算法在测试集数据集4上的AUC为0.88(95%CI未在正文给出),敏感度72%、特异度93%、PPV 81%。
- AI骨折检测性能在PA基础上补充尺偏PA(AUC 0.79 vs 0.84,p=.002)、斜位(AUC 0.79 vs 0.85,p=.02)及所有可用体位(AUC 0.79 vs 0.88,p=.01)时提升,补充侧位未显著提升(AUC 0.79 vs 0.83,p=.12)。
- AI与放射科医师(未辅助)AUC无显著差异(0.88 vs 0.87,各医师p≥.05),两名医师定位精度高于AI(97% vs 87%,p=.01;94% vs 87%,p=.048)。
- AI的假阳性可能由侧位上其他腕骨与舟骨重叠投影线及陈旧愈合骨折的硬化线所致,假阴性包括两例明显但边界不清的舟骨腰部骨折。
- 多数放射科医师的假阳性中5/9例舟骨及周围关节有退变或轻度畸形,无低密度线也易误判为骨折。
诊断标准与关键数值
- 舟骨骨折检测AI算法在测试集上敏感度72%、特异度93%、PPV 81%、AUC 0.88。
- 5名肌骨放射科医师未辅助时AUC平均0.87(范围0.84–0.91),AI与各医师AUC差异无统计学意义(p≥.05)。
- AI辅助后3名医师特异度提高(Rad2 94% vs 84%,p<.001;Rad3 97% vs 88%,p=.003;Rad5 90% vs 81%,p=.03),3名医师PPV提高(Rad2 83% vs 66%,p<.001;Rad3 91% vs 74%,p=.006;Rad5 77% vs 65%,p=.04)。
- AI辅助后4名医师中位阅读时间缩短(Rad2 27 vs 16秒,p<.001;Rad3 21 vs 11秒,p<.001;Rad4 13 vs 6秒,p<.001;Rad5 35 vs 14秒,p<.001)。
- AI辅助后5对医师间Cohen κ提高(Rad1-Rad3 0.56 vs 0.79,p=.002;Rad2-Rad3 0.50 vs 0.71,p=.006;Rad2-Rad4 0.58 vs 0.74,p=.02;Rad3-Rad4 0.53 vs 0.74,p=.003;Rad3-Rad5 0.52 vs 0.68,p=.03)。
临床应用与阅片要点
- 在阅片和报告中可参考AI对舟骨六个区域(结节、远侧关节面、远1/3、中1/3、近1/3、近极)的骨折评分,但需注意AI假阳性常来自侧位重叠投影线和陈旧骨折硬化线。
- AI对边界不清的舟骨腰部骨折可能出现假阴性,阅片时对临床可疑但AI阴性的病例仍应结合多体位、CT或MRI进一步评估。
- 退变或轻度畸形可能导致医师假阳性,AI辅助可提高部分医师特异度和PPV,但不应替代对舟骨周围关节退变与骨折的鉴别。
- AI辅助主要价值在于缩短阅片时间和提高医师间一致性,对多数医师的诊断敏感度、特异度、PPV和AUC未显著改善,报告时需结合临床。
局限性
- 回顾性研究设计,样本来自两家医院,结论外推需谨慎。
- 测试集数据集4与既往研究存在10例(5%)患者重叠。
- AI辅助未显著改善多数医师的敏感度、特异度、PPV和AUC,仅部分医师部分指标提升。
全文中译12 节 · 点击展开
引言
舟骨骨折是最常见的腕骨骨折类型(82–89%)[1],通常通过临床和传统X线检查进行诊断。然而,众所周知,它们在初始X线片上可能难以被发现:据报道,漏诊舟骨骨折的比例从7%到50%不等[2–4]。如果漏诊的舟骨骨折未经治疗并发生移位,发生骨不连的风险可能很高(14–50%)[5]。骨不连骨折可导致严重并发症,如腕骨的进行性退变和塌陷[6]。因此,超过一半的患者出于预防目的接受了不必要的腕部固定[7, 8]。由于骨不连骨折和过度治疗会增加医疗成本和生产力损失,因此研究有助于早期准确诊断舟骨骨折的策略非常重要。
总体而言,文献中讨论了两种诊断策略。第一种策略涉及用随访传统X线检查(10–14天)或晚期影像学检查方式(如CT和MRI)来补充或替代初始传统X线检查。第二种策略涉及通过人工智能(AI)软件利用传统X线检查的诊断价值。Karl和Swart[9]以及Yin等[10]表明,与随访X线检查相比,立即进行CT和MRI扫描是更具成本效益的策略,除非固定导致的生产力损失很小。然而,如果可用扫描仪数量有限,或使用这些扫描仪的成本过高,传统X线检查则是舟骨骨折成像的主要或唯一手段。
越来越多的文献表明,基于深度学习的AI软件在检测影像学骨折方面可以获得与临床医生相当的诊断性能[11]。最近,Hendrix等[12]和Yoon等[13]分别证明,AI软件在传统X线片上的舟骨骨折诊断中可达到放射科医生水平的性能,并且能够以高准确度检测隐匿性骨折,从而表明AI有潜力帮助放射科医生检测舟骨骨折。Duron等[14]和Guermazi等[15]进行的大规模回顾性研究表明,AI软件确实可以提高放射科医生和其他医生检测各种骨骼骨折的敏感性和特异性。然而,缺乏舟骨骨折诊断的性能指标,且只有Duron等让其观察者研究中有肌肉骨骼(MSK)放射科医生参与,这些医生专门从事骨骼骨折诊断。此外,既往关于自动化舟骨骨折诊断的研究[12, 13, 16, 17]仅涉及前后位(AP)和后前位(PA)X线片的使用,而在临床实践中使用了多种X线体位,如斜位和侧位。这些局限性提出了以下问题:当使用多体位X线片进行舟骨骨折诊断时,既往研究结果是否仍然成立,以及AI软件在此背景下能否提高放射科医生的性能,尤其是MSK放射科医生的性能。
因此,本研究的目的是评估人工智能算法在常规多体位X线片上检测舟骨骨折方面与经验丰富的肌肉骨骼放射科医师相比的表现,并评估其是否能在临床实践中辅助肌肉骨骼放射科医师。
材料与方法
数据集
本回顾性研究经荷兰拉德堡德大学医学中心(Radboudumc)和Jeroen Bosch医院(JBZ)的医学伦理审查委员会批准。知情书面同意被豁免,数据收集和存储按照当地指南进行。数据集1(2003-2019年间在Radboudumc采集的12,990张X线片[来自3353例患者])和数据集2(2018-2019年间在JBZ采集的1117张X线片[来自394例患者])分别用于训练和测试两个辅助卷积神经网络(CNN),用于舟骨定位和侧别分类。数据集3(2003-2019年间在Radboudumc采集的4316张X线片[来自840例患者])和数据集4(2011-2018年间在JBZ采集的688张X线片[来自209例患者])分别用于训练和测试基于CNN的骨折检测算法。训练和测试数据集在不同医院收集,以评估算法的泛化性能。由于我们关注早期骨折检测,数据集4仅纳入初次就诊时采集的X线片。此外,每项检查和每例患者可用的X线体位数量各不相同。数据集特征概览见表1(更多成像参数请参阅附录E1[在线])。该表还描述了这些数据集与Hendrix等人[12]数据集之间的患者重叠情况。为减少标注工作量,既往研究的数据被添加到训练数据集(数据集1-3)中,由于随机抽样,10例患者(209例中的[5%])在本研究的测试数据集(数据集4)与既往研究之间存在重叠。标注方案及纳入和排除标准见附录E2和E3(在线)。数据集4的研究筛选流程图见图1。
参考标准
两名肌肉骨骼(MSK)放射科医师(K.v.D.和M.R.,分别具有22年和26年经验)确定了数据集4的参考标准。对于每位患者,他们按照Wong和Ho[18]定义的六个舟骨区域确定是否存在骨折。这些区域包括:舟骨结节(A1)、远端关节面(A2)、远端1/3(B1)、中1/3(B2)、近端1/3(B3)和近极(C)。所有病例均独立审阅,分歧通过共识阅片解决。两位放射科医师均可访问PACS和电子健康记录(EHR)系统中所有可用的影像信息(常规X线摄影、CT和MRI检查)和临床信息(临床问题以及患者人口学资料和病史)(参考附录E4[在线]了解参考标准概述)。
人工智能流程
舟骨骨折检测人工智能算法的流程总结于图2。该算法设计用于处理具有任意数量序列的X线摄影检查,并在配备PyTorch机器学习框架[19]的NVIDIA RTX Titan图形处理单元上实现。首先,舟骨定位和侧别分类卷积神经网络(CNN)定位舟骨并确定其方位(正位,包括[尺偏]前后位/后前位和斜位,或侧位)和侧别(左手或右手)。然后从图像中提取舟骨,并由正位或侧位骨折检测CNN进行分析。在该分析中,针对Wong和Ho[18]定义的六个舟骨区域分别生成骨折评分。所有处理步骤对每张输入图像重复进行,最终选择每个区域和每只手的最高骨折评分。整个算法可在https://grand-challenge.org/algorithms/multiview-scaphoid-fracture-detection/免费获取,并可在网页浏览器中运行。处理步骤和训练程序的详细描述见附录E5和E6(在线)。
观察者研究
为验证骨折检测AI算法的性能及其作为计算机辅助诊断系统的潜在价值,我们在五名经验丰富的肌肉骨骼(MSK)放射科医师中开展了一项观察者研究,其工作经验分别为7年、5年、22年、24年和26年(S.B.、S.S.、B.M.、M.d.J.、M.M.)。对于数据集4中的每名患者,放射科医师根据Wong和Ho [18]定义的六个舟骨区域,独立评估每个区域是否存在骨折。他们以0至1.0的连续量表表示对每个区域的置信度,其中1.0表示绝对确定存在骨折,0.5是判定是否存在骨折的截断点。在拍摄了双手X线片的情况下,放射科医师标明其评分适用于哪只手。经过4个月的洗脱期后,放射科医师在获得算法预测结果的情况下,按照相同方案重复评估所有病例。为尽量减少洗脱期后的潜在回忆偏倚,病例顺序被随机打乱。
统计分析
辅助舟骨定位和侧别分类卷积神经网络(CNN)分别在数据集1和数据集2上进行评估。评估细节见附录E7(在线)。骨折检测AI算法在数据集3上采用10折交叉验证(无患者重叠),并在数据集4上进行测试。评估指标包括:灵敏度、特异度、阳性预测值(PPV)、Cohen kappa系数(κ)、受试者工作特征曲线下面积(AUC)、每个舟骨骨折定位的平均精确率(“平均定位精确率”[MLP])以及阅片时间(秒)。分析中选择使F1分数最大化的检测阈值。算法的骨折评分基于自动图像裁剪和侧别标签。数据集3和数据集4的影像输入分别按检查和患者分组,相应评分按手分组。Cohen κ用于衡量算法与放射科医师之间的一致性。
评估指标使用Python的scikit-learn机器学习库(版本0.23.2,2021)[20]计算。采用1000次迭代的分层自助法估计95%置信区间(CI)。显著性检验使用Python的MLxtend库(版本0.19.0,2021)[21]进行1000次迭代的双侧配对置换检验。p值小于0.05的差异被认为具有显著性。
结果
测试数据集特征
在最初为测试数据集(数据集4)选取的292项检查中,20项检查被排除,原因包括X线片不适合骨折诊断(n = 7)、证据不确定(n = 7)和非急性骨折(n = 6)(见图1)。最终纳入来自209名患者(平均年龄39岁 ± 23[标准差];107名女性)的272项检查。这些检查按患者和手分组为219个病例,其中65个病例包含舟骨骨折(见表1)。所有病例均至少有1个后前位(PA)视图,分别有55个病例(30个伴骨折)、159个病例(52个伴骨折)和156个病例(63个伴骨折)至少有1个尺偏PA视图、斜位视图和侧位视图。
AI骨折检测
对舟骨定位和侧别分类结果的定量与定性分析见附录E8(在线)。舟骨骨折检测AI算法在数据集3上的AUC为0.89(95% CI:0.87,0.91)。相应的ROC曲线和其他评价指标见附录E9(在线)。表2展示了舟骨骨折检测AI算法在测试数据集(数据集4)上多种输入配置的灵敏度、特异度、PPV、MLP和AUC及其95% CI。结果分别展示了所有视图以及PA视图与以下任一视图组合的结果:尺偏PA视图、斜位视图和侧位视图。所有视图的ROC曲线(含操作点)和MLP曲线(含95% CI带)见图3a。各输入配置的ROC曲线见图3b。当PA视图辅以尺偏PA视图(AUC,0.79 vs. 0.84,p = .002)、斜位视图(AUC,0.79 vs. 0.85,p = .02)和所有可用视图(AUC,0.79 vs. 0.88,p = .01)时,算法的骨折检测性能提高,但辅以侧位视图时未提高(AUC,0.79 vs. 0.83,p = .12)。每例(所有输入)和每张X线片的中位处理时间分别为0.97秒和0.28秒。
放射科医师在有无AI辅助下舟骨骨折检测的表现
表3展示了五名肌肉骨骼(MSK)放射科医师在有无AI辅助下舟骨骨折检测的灵敏度、特异度、PPV、MLP、AUC和中位阅读时间及其95% CI和p值。相应的ROC曲线见图4a和b。各放射科医师的ROC曲线(含操作点)和MLP见附录E10(在线)。在AI辅助下,三名放射科医师获得了更高的特异度(Rad2,94% vs. 84%,p = < .001;Rad3,97% vs. 88%,p = .003;Rad5,90% vs. 81%,p = .03),三名放射科医师获得了更高的PPV(Rad2,83% vs. 66%,p = < .001;Rad3,91% vs. 74%,p = .006;Rad5,77% vs. 65%,p = .04),一名放射科医师获得了更低的AUC(Rad3,0.81 vs. 0.91,p = .002),四名放射科医师的阅读时间更短(Rad2,27 vs. 16,p = < .001;Rad3,21 vs. 11,p = < .001;Rad4,13 vs. 6,p = < .001;Rad5,35 vs. 14,p = < .001)。在所有其他情况下,AI辅助对灵敏度、特异度、PPV、MLP、AUC和阅读时间均无影响。
表4显示了放射科医师(有无人工智能(AI)辅助)与AI算法之间骨折检测一致性的Cohen kappa系数及其95%置信区间和p值。总体而言,放射科医师之间的一致性为中等至相当程度(无AI辅助时范围:0.50–0.71;有AI辅助时范围:0.62–0.79)。在AI辅助下,十对放射科医师中有五对的一致性更高(Rad1-Rad3,0.56 vs. 0.79,p = .002;Rad2-Rad3,0.50 vs. 0.71,p = .006;Rad2-Rad4,0.58 vs. 0.74,p = .02;Rad3-Rad4,0.53 vs. 0.74,p = .003;Rad3-Rad5,0.52 vs. 0.68,p = .03),而所有其他配对放射科医师之间的一致性保持不变。在AI辅助下,五名放射科医师中有两名与算法的一致性更高(Rad3,0.56 vs. 0.72,p = .02;Rad4,0.62 vs. 0.80,p = < .001),而所有其他放射科医师与算法的一致性相同。放射科医师在AI辅助下正确和错误改变骨折诊断的比例及其与自动骨折评分的相关性见附录E11(在线)。
AI性能与经验丰富的MSK放射科医师的比较
AI算法与MSK放射科医师(无辅助)在检测舟骨骨折方面表现相似(AUC,0.88 vs. 0.87 [放射科医师平均值,范围:0.84–0.91],见表2和表3;Rad1,p = .89;Rad2,p = .32;Rad3,p = .32,Rad4,p = .90;Rad5,p = .46)。两名放射科医师的MLP高于算法(Rad2,97% vs. 87%,p = .01;Rad5,94% vs. 87%,p = .048),而其他放射科医师与算法之间的MLP无差异(92% [放射科医师平均值,范围:91–94%] vs. 87%,见表2和表3;Rad1,p = .11,Rad3,p = .21,Rad4,p = .24)。
对算法和MSK放射科医师所做决策的后续分析显示,算法29个错误中的6个(3例骨折病例,3例非骨折病例)未被任何放射科医师犯下。相反,大多数放射科医师犯下的23个错误中的12个(3例骨折病例,9例非骨折病例)未被算法犯下。算法和放射科医师的失败病例分别见图5和图6。
讨论
临床怀疑舟骨骨折的患者常接受不必要的腕部固定,因为急性舟骨骨折若未被发现和治疗,可对腕部造成严重损伤。本研究评估了基于CNN的人工智能算法与五位肌骨放射科医师相比的表现,以及该算法是否有助于在常规多视角X线片上诊断舟骨骨折。该算法被证明检测舟骨骨折的能力与肌骨放射科医师相当(AUC,0.88 vs. 0.87 [放射科医师平均值];对所有放射科医师p ≥ .05)。此外,该算法能够像大多数放射科医师一样精确地指示舟骨骨折的区域(MLP,87% vs. 92% [放射科医师平均值],对多数放射科医师p ≥ .05)。此外,人工智能辅助改善了十对观察者间Cohen's κ一致性中的五对(平均增加36.2%,所有对p < .05),并缩短了四位放射科医师的阅片时间(平均减少49.4%,所有放射科医师p < .001),但在大多数放射科医师的敏感度、特异度、PPV和AUC方面未发现改善。
结果显示,当后前位(PA)视图辅以尺偏位和斜位PA视图时,人工智能算法的舟骨骨折检测性能有所提高,而增加侧位视图未导致性能提升。这些发现强调了Cheung等[22]的结论,即PA、尺偏位PA和斜位视图对舟骨骨折检测最为重要,并表明这也适用于基于深度学习的人工智能算法。这意味着未来的AI应用应采用多视角方法进行舟骨骨折检测。
对失败病例的定性分析显示,该算法犯了六个错误(三个骨折病例、三个非骨折病例),而这些错误没有任何肌骨放射科医师犯过。假阳性检测可能由侧位视图上其他腕骨在舟骨上的重叠投影线以及陈旧愈合骨折的硬化线所致。假阴性病例包括两例舟骨,其舟骨腰部骨折明显但边界不清。后一发现与Hendrix等[12]和Langerhuizen等[23]的观察一致,即基于深度学习的人工智能算法可能遗漏人类观察者显而易见的骨折。
大多数肌骨放射科医师犯了12个算法未犯的错误(三个骨折病例、九个非骨折病例)。在大多数假阳性病例(5/9)中,舟骨及其周围关节显示退行性征象或轻度畸形,即使未见低密度线也可能提示骨折。其余假阳性检测由非常细微或弥漫的低密度线所致。假阴性检测发生于舟骨移位骨折导致皮质骨细微突出而无明显骨折线可见的病例。放射科医师而非AI算法做出的类似假阴性检测可在Hendrix等[12]中观察到,但既往研究缺乏对假阳性检测的定性分析。虽然这些发现表明该算法在辅助解读退行性或畸形舟骨以进行骨折诊断方面可能具有价值,但仍需随访研究予以证实。
本研究发现人工智能辅助对放射科医师观察者间一致性和阅片时间的积极影响,提供了初步证据表明该算法可在保持相同诊断准确性的情况下提高肌骨放射科医师的诊断效率。然而,一名放射科医师在人工智能辅助条件下的敏感度和AUC显著降低,但被错误更改的答案与算法给出的答案相关性较弱(0.34)。阅片时间的缩短与Duron等[14]和Guermazi等[15]的结论一致,但我们未发现敏感度提高或特异度的一致性提高。这一差异可能是由于其测试数据集中腕骨骨折数量较少所致。此外,尽管本研究未对此进行调查,但可以预期普通放射科医师、放射科住院医师和其他医师可能从人工智能辅助中获益更多。
本研究的优势包括使用了多中心临床数据和外部验证、五名经验丰富的肌骨放射科医师的参与,以及对自动多视图舟骨骨折检测人工智能算法的评估。然而,本研究也存在一些局限性。首先,我们旨在通过使用PACS和EHR系统中的所有可用信息而非仅使用有随访CT或MRI扫描的检查进行测试,以尽量减少测试集中的选择偏差。这意味着当患者未因持续症状返回医院时,隐匿性舟骨骨折可能被标记为阴性病例。参考标准质量与选择偏差之间的权衡问题可通过开展前瞻性研究来规避,即患者在常规X线检查后立即接受CT和MRI扫描,但这对获取足够数据而言过于耗时且成本高昂。
其次,尽管我们研究了每种X线视图对自动舟骨骨折检测的贡献,但我们通过使用单个卷积神经网络(CNN)处理正位/后前位、尺偏正位/后前位和斜位视图X线片来简化了模型架构。在未来的研究中,通过对所有视图分别训练独立的CNN,模型性能可能会进一步提高。
总之,本研究呈现的发现支持以下假设:人工智能算法在常规多视图X线片上检测舟骨骨折方面可达到肌骨放射科医师水平的性能。此外,有初步证据表明人工智能辅助可以提高肌骨放射科医师的诊断效率,但不能提高其诊断准确性。未来的研究应在涉及放射科医师和非放射科医师的随机临床试验中评估人工智能辅助对诊断性能、临床决策和患者结局的影响。
补充信息
ESM 1(DOCX 1.16 mb)
引用
- Hendrix, Hendrix, van Dijke, et al. Musculoskeletal radiologist-level performance by using deep learning for detection of scaphoid fractures on conventional multi-view radiographs of hand and wrist. Eur Radiol. 2022. PMID: 36380195. doi:10.1007/s00330-022-09205-4
- 全文:PMC9935716(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9935716/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。