文献速递骨肌DR

基于低工作量数据标注的AI检测与分类桡骨远端骨折:适用性及训练集大小影响评估

AI-based detection and classification of distal radius fractures using low-effort data labeling: evaluation of applicability and effect of training set size.
PubMed 文献 · Eur Radiol · 2021-03-19

本研究利用15,775张腕关节X线片及对应的非结构化放射学报告,训练ResNet18深度卷积神经网络检测桡骨远端骨折、金属和石膏,并分类骨折特征。结果显示骨折检测性能与放射科住院医师相当(AUC 0.98),但骨折分类模型(尤其是关节受累和移位)性能不足,训练集增大可提升多数任务性能。

要点

  • 基于报告关键词的标注可训练出骨折检测模型,性能接近放射科住院医师,适合作为二次阅读工具。
  • 金属和石膏检测AUC达0.99和1.0,可用于提示金属植入物或石膏固定。
  • 骨折分类模型(关节受累、移位)性能显著低于住院医师,尚不适用于临床报告。

核心结论

  • 基于报告标签训练的DCNN检测桡骨远端骨折性能与放射科住院医师相当,可作为辅助二次阅读工具。
  • 骨折分类模型(尤其是关节受累和移位)性能不足,尚未达到临床使用标准。
  • 除关节受累外,增大训练集可提升所有类别的模型性能。

研究设计与样本

  • 回顾性研究,纳入2010年4月至2019年12月单中心腕关节X线片共15,775张及对应放射学报告,使用ResNet18 DCNN。
  • 训练集来自2010年4月至2018年12月,测试集A来自2019年7月至12月,由两名肌肉骨骼放射学专家(分别具有14和15年经验)共识设定参考标准,标注582张X线片。
  • 测试集B为测试集A的子集(326张),由三名放射科住院医师(第2、3、4年)独立评估,用于与算法比较。
  • 训练子集大小从500到9,000张X线片随机生成,共62个子集,每个子集训练10个模型,总计620个模型。
  • 统计方法包括ROC和AUC、Youden's J统计量、Spearman相关系数(ρ)和Fleiss' kappa。

关键影像表现/征象

  • 算法在测试集B上骨折检测的AUC为0.98,Youden's J为0.91,与住院医师(AUC 0.98,J 0.92)无显著差异(p=0.864)。
  • 算法在多发骨折块分类上AUC为0.85,J为0.58,与住院医师(AUC 0.91,J 0.70)无显著差异(p=0.112)。
  • 算法在关节受累分类上AUC为0.65,J为0.34,显著低于住院医师(AUC 0.90,J 0.69;p<0.001)。
  • 算法假阳性包括骨性重叠似皮质不规则和继发于焦磷酸钙沉积的桡舟关节炎伴舟月骨进行性塌陷;假阴性均为微小骨折。

诊断标准与关键数值

  • 金属检测模型在测试集A上AUC为0.99,J为0.98;石膏检测模型AUC为1.0,J为1.0。
  • 骨折检测模型在测试集B上AUC为0.98,J为0.91;住院医师AUC为0.98,J为0.92。
  • 多发骨折块分类模型在测试集B上AUC为0.85,J为0.58;住院医师AUC为0.91,J为0.70。
  • 关节受累分类模型在测试集B上AUC为0.65,J为0.34;住院医师AUC为0.90,J为0.69。

临床应用与阅片要点

  • 基于报告关键词标注的AI模型可用于桡骨远端骨折的自动检测和提示,辅助非专科医师减少诊断不确定性。
  • 金属和石膏检测性能优异,可标记患者档案,为后续CT或MRI检查安排金属伪影减少协议提供参考。
  • 骨折分类模型对关节受累和移位识别能力有限,阅片时不应依赖其分类结果,需结合放射科医师判断。
  • 算法假阴性多为微小骨折,提示对细微骨折仍需人工仔细审阅。
  • 训练集大小与性能相关性分析显示,多数任务增大数据量可提升性能,但关节受累分类未见改善,可能因报告标注不一致。

局限性

  • 放射学报告由不同经验的住院医师和放射科医师撰写且为非结构化,可能影响标签质量。
  • 未使用先进的双输入模型或集成学习,未能找到模型的最佳组合。
  • 仅纳入单中心图像,应用所有排除标准后总X线片数量有限(15,775张),更大训练集可能提升模型稳健性。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Mar 19;31(9):6816–24. doi: 10.1007/s00330-021-07811-2

引言

急性桡骨远端骨折是常见的创伤性损伤,在西方社会占所有骨折的17%[1]。桡骨远端骨折可通过腕部X线片明确诊断[2]。这些X线片常由非专科医生阅片。如果急诊科或家庭医生对X线片和临床症状的判断存在模糊之处,可能会导致诊断不准确或治疗延迟。自动骨折检测和报告可减少诊断不确定性,有助于标记X线片以转诊至专科医生,并通过提供初步放射学报告支持工作流程。近年来,使用深度学习(DL)——人工智能(AI)中一个计算要求较高的子类别——的发表文献数量急剧增加。DL的快速发展之所以成为可能,仅仅是因为广泛可用的图形处理器单元满足了DL的需求。DL的一个类别被称为深度卷积神经网络(DCNN),它涉及其底层架构。DCNN非常适合图像上的模式检测。它们已成功用于X线片上的骨折检测和定位[3–12]。用于自动骨折检测的训练数据由骨科外科医生[5]、骨科专科医生[6]、放射科[10, 11, 13, 14]或骨科[15]住院医师和普通放射科医生[4]或专科肌肉骨骼放射科医生[7, 8]以异质性方式标注。Cheng等[8]使用登记数据标注X线片上的髋部骨折,只有Olczak等[12]使用放射学报告的关键短语标注训练集的X线片。虽然艰苦的基于专家的数据标注的潜力已被充分描述,但通过关键短语搜索提取的标签的潜力尚不清楚。迄今为止,已有五项研究评估了X线片上桡骨远端骨折的自动检测,灵敏度和特异度分别可达81–98%和73–100%,结果令人鼓舞[4–6, 12, 13]。为了生成有用的放射学报告,需要一种超越骨折检测和定位的骨折分类算法。此外,训练和测试外周骨折检测算法所需的理想X线片数量尚不清楚,各研究使用了从524到65,264张不等的X线片[12, 13]。

本研究的主要目的是评估DCNN在使用基于非结构化放射学报告的标签时,在腕部X线片上检测和分类桡骨远端骨折、金属和石膏方面的性能。次要目的是评估训练集大小对算法性能的影响。

材料与方法

本回顾性研究获机构审查委员会批准豁免。

研究人群

使用自定义编写的PACS爬虫对我们的放射信息系统进行回顾性检索,以筛选2010年4月至2019年12月期间的腕关节X线摄影报告。以关键词短语“distal radius fracture”进行检索,共检测到9,818份报告(图1)。这些报告被分为三类:桡骨远端骨折检测与分类(第1类);金属检测(第2类);石膏固定检测(第3类)。第1类仅纳入急诊科的报告,其报告中含有“osteosynthesis”“plate”“cast”和/或“follow-up”关键词的被打除,额外的X线摄影体位(如舟骨、手或前臂)也被排除。单一体位的检查纳入训练集,但从测试集中手动排除。第2类由所有转诊科室中含有“osteosynthesis”和/或“plate”关键词的报告组成。第3类包括同一筛选范围内含有“cast”关键词的报告。共纳入7,326份报告,包含15,775张X线摄影图像。

图1 流程图展示腕关节X线摄影训练集和测试集的选择。标有星号(*)的排除标准仅适用于测试集。一张X线摄影图像可符合多个骨折分类标签。测试集A由两位肌肉骨骼放射学专家评定,作为参考标准。测试集B是A的子集,用于将三名放射科住院医师与算法进行比较 查看原图 ↗

训练集和测试集

纳入的报告按三个研究类别分别分为训练集和测试集(图1)。训练集包括2010年4月至2018年12月的检查,测试集包括2019年7月至2019年12月的检查。

骨折检测与分类类别的X线摄影图像按体位排序。对于骨折检测训练集,根据报告中提示桡骨远端骨折存在或不存在的关键短语,为所有X线摄影图像分配“fracture”或“no fracture”标签。对于骨折分类训练集,仅具有“fracture”标签的X线摄影图像符合条件。分类标签根据关键短语分布,包括“displacement”“ulnar”“radial”“dorsal”“volar/palmar”“intraarticular”“extraarticular”和“multifragmented”,如AO/OTA分类所提出[16]。不符合上述任一关键词的报告未进行分类,称为简单骨折。

“metal”标签应用于金属类别中的X线摄影图像。“no metal”标签应用于骨折检测与分类类别中的所有X线摄影图像。石膏固定类别的流程相同。对于这两个类别,体位均不加区分地使用。

为评估基于放射学报告提取的关键短语标签作为DCNN训练输入的适用性,随机生成了标准化训练子集,预设子集大小范围为500至最多9,000张X线摄影(图2),共产生62个子集。仅金属和石膏检测训练集包含超过9,000张图像,超过该数量的训练集大小预计不会带来改善。对于骨折检测和分类类别的训练集,所有可用X线摄影均分配至最大子集,该子集未达到预设大小。在每个随机生成的子集中,阳性与阴性标签的原始比例保持不变(图1)。每个子集按90%训练和10%验证进行划分。

图2 流程图显示训练和测试架构。上部——训练子集的设置及其大小。所有子集均符合预设大小,但最大子集除外,该子集包含每个类别所有可用的X线摄影。中部——开发人工智能(AI)算法的设置。性能通过受试者工作特征曲线下面积(AUC)、Youden J统计量(J)和准确率进行评估。下部——确定放射科住院医师表现的设置,以及在测试集A(仅AI)和B(AI和放射科住院医师)上的性能评估。*金属和石膏检测训练集限制为9,000张图像,并同时包含两个视图;因此,直接使用模型,避免预测步骤的拆分和平均(见中部设置)。DCNN = 深度卷积神经网络 查看原图 ↗

人工智能算法

所选DCNN架构为ResNet 18,使用DL框架Pytorch(版本1.2,https://pytorch.org)在ImageNet上预训练。训练和测试在配备11GB内存的NVIDIA GTX 2080TI(NVIDIA)上运行。批大小设为24。使用优化器随机梯度下降(SGD),初始学习率为0.001,动量为0.9。学习率每七个epoch降低0.1。数据通过水平翻转进行增强,并以50%的概率应用最多五度和90%至110%缩放范围的仿射变换。训练进行15个epoch。对于训练和测试,图像中心裁剪至1024 × 1024像素大小,并调整至224 × 224像素,随后根据ImageNet均值和标准差对像素值进行归一化。

用同一数据集训练的两个模型可能表现差异显著(图3)。为获得对训练子集大小最大潜力的良好估计,在每个子集上训练了十个模型,共产生620个模型。

图3 人工智能模型在测试集A上对桡骨远端骨折检测、分类以及石膏和金属检测的性能。性能通过受试者工作特征曲线下面积(AUC)测量。该图显示训练子集大小从500张(子集1)增至9,000张(子集12)X线摄影对模型性能的影响,以及每个训练子集可能的性能变异 查看原图 ↗

测试集A

对于骨折检测和分类,参考标准由两位肌肉骨骼资深放射科医师制定,分别具有14年(B.K.)和15年(A.H.)经验。他们在不知道临床信息的情况下,以共识方式标记了582张腕部X线片,并在Nora(Nora医学影像平台项目)上成对查看,具体如下:桡骨远端骨折的存在或缺失、骨折块移位、关节受累以及多骨折块。每张X线片分别分配真实标签。对于金属和石膏检测,一名阅片者(P.T.)共标记了671张腕部X线片。

测试集B

从测试集A中系统选取326张X线片以创建测试集B。目标是排除金属和石膏,并减少骨折阴性数量。三名放射科住院医师(第2年(R.S.)、第3年(V.H.)和第4年(F.P.))独立分析测试集B,并在不知道临床信息的情况下在Nora上同时显示两个视图,具体如下:桡骨远端骨折的存在或缺失、骨折移位、关节受累以及多骨折块。放射科住院医师的答案按每对X线片记录。在此之前,所有三名阅片者均接受了关于Nora使用及所应用标准的教程介绍,所用腕部X线片未纳入测试集B。

统计分析

对放射科住院医师的平均结果以及所有模型和算法确定受试者工作特征曲线下面积(AUC)和约登J统计量(J)(图2)。为确定训练子集大小与模型性能之间的相关性,对所有模型按训练子集以及最佳模型按训练子集分析均使用Spearman相关系数(ρ)。最佳模型由AUC确定。

为模拟放射科医师在X线片骨折检测和分类中相互依赖的评估,仅使用每个测试集中AUC最高的模型进行相应分析。首先,分别针对每个视图计算的预测按每项检查进行平均。如果某一发现仅有一个视图被评定为阳性,则该单个视图用算法评估,另一视图赋值为零。两个最佳模型的这一平均值称为算法。除AUC和J外,还计算了测试集A上的准确率。

对三名放射科住院医师阅片者(住院医师第2至第4年)的结果取平均值(图2)。对分类错误的X线片进行了人工复核。

使用卡方检验比较测试集A与训练集之间骨折及分类的频率。参考标准、放射科住院医师分析和AI算法与模型之间的观察者间一致性使用Fleiss kappa统计量(κ)评估。根据Landis和Koch,kappa值0–0.20表示轻微一致性;0.21–0.40,一般一致性;0.41–0.60,中等一致性;0.61–0.80,高度一致性;0.81–1,几乎完全一致性[17]。p值< 0.05被认为具有统计学显著性。所有分析均使用Python 3(Python软件基金会)和SPSS 26(IBM SPSS Statistics for Windows)进行。

结果

研究人群

训练集和测试集A在侧位片上骨折存在频率(43%/42%;p = 0.67)和两个视图上关节受累频率(正位,50%/58%;p = 0.09;侧位,44%/36%;p = 0.09;图1)方面无差异。然而,两者在正位片上骨折存在(48%/41%;p = 0.02)、多发碎片(正位,39%/71%;p < 0.001;侧位,36%/70%;p < 0.001)以及两个视图上碎片移位(正位,61%/27%;p < 0.001;侧位,65%/81%;p < 0.001)方面存在差异。

训练子集大小与人工智能性能

表1和图3展示了训练子集大小与以AUC衡量的模型性能之间的相关性。在总共620个模型中,两个视图上骨折检测(正位,ρ = 0.947,p < 0.001;侧位,ρ = 0.946,p < 0.001)、多发碎片分类(正位,ρ = 0.856,p < 0.001;侧位,ρ = 0.489,p = 0.0013)以及正位片上碎片移位(ρ = 0.595,p < 0.001)均呈现统计学显著正相关。金属检测(ρ = 0.740,p < 0.001)和石膏固定检测(ρ = 0.722,p < 0.001)的相关性同样可追踪。

仅对最佳的62个模型进行计算时,相关性相似。其中,除侧位片上的多发碎片分类(ρ = 0.800,p=0.2)外,其余均达到统计学显著性。金属(ρ = 0.522,p = 0.07)和石膏固定(ρ = 0.305,p=0.34)检测的相关性较低,这是由于使用少量样本即已达到非常好的性能(图3)。

使用500至2,000张X线片训练集开发的骨折检测模型,以AUC衡量的性能为0.82–0.96(正位)和0.80–0.94(侧位)。分类任务中仅三项显示统计学显著相关:多发碎片0.51–0.78(侧位)和0.51–0.82(正位),以及碎片移位0.50–0.67(正位)。

表1 训练子集大小与以受试者工作特征曲线下面积(AUC)衡量的模型性能之间的Spearman相关系数(ρ),含两项独立分析。 查看原表 ↗

放射科住院医师分析与人工智能的比较

表2和图4展示了人工智能与放射科住院医师图像分析相比的性能。算法与放射科住院医师在骨折检测(AUC 0.981/0.983,J 0.907/0.918;p = 0.864)和多发碎片分类(AUC 0.851/0.905,J 0.577/0.704;p = 0.112)方面无显著差异。然而,两者在碎片移位分类(AUC 0.736/0.916,J 0.410/0.759;p = 0.002)和关节受累分类(AUC 0.654/0.898,J 0.341/0.688;p < 0.001)方面性能存在显著差异。住院医师将9张图像评为假阴性。算法产生3张假阳性和4张假阴性图像。假阳性中有2张包括骨性重叠表现为皮质不规则,另1张显示继发于焦磷酸钙沉积的放射性舟骨骨关节炎伴舟月骨进行性塌陷。假阴性均为微小骨折。

表2 最佳人工智能(AI)算法的性能与参考标准(测试集A)以及AI与放射科住院医师的性能(测试集B) 查看原表 ↗
图4 最佳人工智能(AI)算法与放射科住院医师分析的研究间平均受试者工作特征曲线下面积(AUC)。J = Youden J统计量 查看原图 ↗

观察者间一致性

参考标准、放射科住院医师分析和人工智能模型在骨折检测上的一致性几乎完美(κ 0.83–0.88;表3)。对于骨折分类,总体一致性从一般到中等不等(κ 0.21–0.69)。三名放射科住院医师各自与参考标准之间在骨折检测上的一致性几乎完美(κ 0.85–0.9),在骨折分类上则为一般到中等(κ 0.31–0.63)。

表3 参考标准、放射科住院医师与每项研究中最佳人工智能(AI)算法平均值之间的观察者间一致性 查看原表 ↗

讨论

本研究评估了ResNet18深度卷积神经网络(DCNN)开发模型的潜力,这些模型能够在腕部X线片上检测石膏、金属和桡骨远端骨折,并利用基于放射学报告的标签对骨折进行分类。

对于金属和石膏的检测,模型分别达到了0.99和1.00的优秀AUC。在特定身体区域的X线片上自动检测金属可用于标记患者病历,并且在计划进一步放射学检查(如计算机断层扫描或磁共振成像)时具有重要意义,以便安排配备金属伪影减少方案的专用扫描仪[18]。

最佳骨折检测算法(AUC 0.98,准确率0.94)的表现与放射科住院医师相似(AUC 0.98)。五项使用不同DCNN模型进行桡骨远端骨折检测的研究报告了相似的表现(AUC 0.93–0.98),均采用传统标注方法[4–6, 12, 13]。然而,其数据标注的参考标准各不相同,包括骨科外科医师[5]、骨科专家[6]、放射科住院医师[13, 14]和普通放射科医师[4]。Lindsey等[6]指出,只有专家给定的标签才能确保训练集中噪声最小,并假设只有使用高质量标签训练的算法才可信。Olczak等[12]使用放射学报告中人工识别的关键短语,其模型在腕部、手部和踝部X线片上的骨折检测准确率较低,为0.83。为确定其参考标准和比较,使用了裁剪并调整大小为256×256像素的单张X线片,这人为地限制了人类的表现。在本研究中,X线片是在真实环境中查看的,用于参考标准和比较。因此,可以预期结果在临床实践中具有可重复性。所考虑的研究提示肌肉骨骼专家给定标签具有优越性,但我们的结果并未证实这一点。高质量标签预计不会显著改善模型性能。模型失败的主要X线片与放射科住院医师不同;因此,需要对最佳骨折检测模型进行临床测试。

算法在多块骨折分类上的表现(AUC 0.85,准确率0.78)达到了与放射科住院医师相当的结果。相比之下,骨折块移位算法(AUC 0.74,准确率0.60)和关节受累算法(AUC 0.65,准确率0.64)的表现显著低于放射科住院医师。

自动骨折分类是迈向自动放射学报告的重要一步,但迄今为止尚不适用于腕部。Chung等[9]开发了一种算法,用于在裁剪至感兴趣区的正位X线片上对肱骨近端骨折进行分类。他们的分类仅考虑移位骨块和解剖区域。其算法表现与专家相似,并取得了优于我们的结果(AUC 0.90–0.98,J 0.71–0.90)(我们的AUC 0.65–0.85,J 0.34–0.58)。然而,由于AO/OTA分类评估关节受累和多个骨块,且独立于骨块移位,因此结果不能直接比较。因此,需要进一步研究骨折分类。

模型在预定且递增大小的训练集上开发,以更好地理解基于关键短语的标签在腕部X线片模式检测中的潜力。使用500至2’000张X线片训练集的模型所达到的AUC范围用于对模式检测任务的难度进行排序。结果表明,石膏(AUC,0.99–1.00)、金属(0.96–0.98)和骨折(正位,0.82–0.96)的自动检测容易实现。多个骨块的自动分类相当困难(正位,0.51–0.82;侧位,0.51–0.78),骨块移位的分类在正位上困难(0.50–0.67),在侧位上不可行。关节受累的分类在两种视图上均不可行。训练集大小与性能之间的相关程度可用于评估标签质量。我们发现,如果将关节受累排除在比较之外,住院医师与参考标准之间的观察者间一致性也与训练集大小和性能之间的相关性相关。本研究的观察者间一致性与关于AO/OTA分类可重复性的文献[19, 20]一致。因此,我们得出结论:基于关键词的搜索只能为观察者间一致性高的项目生成准确标签。在我们的非结构化放射学报告中,关节受累的报告可能不一致。

本研究存在若干局限性。首先,我们的放射学报告由在肌肉骨骼影像方面专业水平不一的放射科住院医师和放射科医师撰写,且未结构化,这可能影响了标签质量。其次,我们未使用先进的双输入模型或集成学习,这使我们无法找到最佳模型组合。如Pan等[21]在构建集成模型时所描述的,最佳组合来自彼此形成理想对比的模型,但这些模型可能不是最佳个体模型,且可能包括两个以上模型。第三,由于我们仅纳入一个机构的图像,在应用所有排除标准后,X线片总数限制为15,775张图像。更大的训练集将提高模型的稳健性,并根据观察到的趋势改变性能。

在DCNN上使用基于报告的标签训练用于检测X线片上桡骨远端骨折的模型适合作为辅助阅读工具;用于骨折分类的模型尚未准备好用于临床。除关节受累外,更大的训练集在所有类别中均能带来更好的模型。

引用

  1. Tobler P, Cyriac J, Kovacs BK, et al. AI-based detection and classification of distal radius fractures using low-effort data labeling: evaluation of applicability and effect of training set size. Eur Radiol. 2021. PMID: 33742228. doi:10.1007/s00330-021-07811-2
  2. 全文:PMC8379111(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8379111/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。