基于深度卷积神经网络的数字乳腺X线摄影与断层合成自动标准化质量保证
本回顾性研究训练8个深度卷积神经网络模型,对来自两家机构4200例患者的11733幅数字乳腺X线摄影及断层合成合成2D重建图像进行七项乳腺摆位质量特征自动评估。分类模型准确率93.0%–98.5%,与放射科医师读片几乎完全一致(Cohen's kappa>0.9);回归模型可精确测量摆位距离与角度。作者结论认为该AI系统可实现精确、一致且不依赖观察者的图像质量评估。
要点
- 分类模型对乳头显示、胸大肌显示等七项摆位特征的准确率在93.0%–98.5%之间。
- 所有模型与人工读片几乎完全一致,Cohen's kappa评分均高于0.9。
- 回归模型可自动计算胸大肌角度与乳头后线长度,与放射科医师评估几乎完全一致(kappa 0.97)。
核心结论
- 基于深度卷积神经网络的AI质量评估系统可对数字乳腺X线摄影和断层合成合成2D重建进行精确、一致且不依赖观察者的图像质量评级。
- 自动化和标准化质量评估可向技师和放射科医师提供实时反馈,有望减少根据PGMI(完美、良好、中等、不合格)标准判定的不合格检查数量、减少召回次数,并为经验不足的技师提供可靠培训平台。
- 作者结论认为本研究证明了使用所训练AI模型自动评估质量特征的可行性。
研究设计与样本
- 回顾性研究,经当地伦理委员会批准(Kantonale Ethikkommission Zurich,批准号2016–00,064;Ethikkommission Nordwest-und Zentralschweiz,项目ID 2021–01,472)。
- 纳入2012年至2020年间采集的图像,来自两家机构的五台不同设备(Siemens、Hologic、GE、IMS Giotto、Fujifilm制造)。
- 纳入女性患者年龄20–97岁(中位57岁),排除有硅胶植入物、起搏器、手术夹等异物或术后患者图像共662幅(478幅DM,184幅DT)。
- 训练与验证使用90%图像(70%训练、20%验证),共11733幅数字乳腺X线摄影(DM)图像及数字乳腺断层合成(DBT)合成2D重建图像,来自4200例女性患者(CC位:3565幅DM、2873幅DT;MLO位:2710幅DM、2585幅DT)。
- 分类模型测试使用独立数据集1944幅图像(CC位:369幅DM、602幅DT;MLO位:371幅DM、602幅DT);回归模型测试使用388幅图像(CC位:68幅DM、110幅DT;MLO位:82幅DM、128幅DT)。
关键影像表现/征象
- CC位乳腺实质显示分类正确率97.1%[95%CI 96.2–97.7%],MLO位正确率87.3%[95%CI 86.3–88.2%]。
- MLO位乳房下皱襞显示分类正确率96.3%[95%CI 94.9–97.4%],精确率0.94、召回率0.99、F1评分0.96。
- CC位胸大肌显示分类正确率98.5%[95%CI 98.2–99.5%],精确率0.98、召回率0.99、F1评分0.99。
- 乳头显示分类正确率93.0%[95%CI 91.7–94.0%],精确率0.99、召回率0.94、F1评分0.96,与放射科医师一致性为中等(Cohen's kappa 0.42[95%CI 0.34–0.50])。
- 回归模型乳头位置检测误差8.4 mm[95%CI 7.3–9.5 mm];MLO位胸大肌头侧点检测误差17.9 mm[95%CI 13.2–21.0 mm],尾侧点误差13.2 mm[95%CI 9.9–16.0 mm]。
诊断标准与关键数值
- 分类模型准确率范围:乳头显示93.0%至CC位胸大肌显示98.5%。
- 胸大肌角度计算准确率99.1%[95%CI 98.2–99.5%],乳头后线长度计算准确率99.0%[95%CI 98.2–99.5%],精确率、召回率和F1评分均为0.99。
- 与放射科医师评估的一致性:实质分类Cohen's kappa 0.94[95%CI 0.93–0.96],乳房下皱襞0.93[95%CI 0.90–0.95],胸大肌0.96[95%CI 0.94–0.98],乳头显示0.42[95%CI 0.34–0.50],质量特征计算0.97[95%CI 0.95–0.99]。
临床应用与阅片要点
- 作者认为临床实施该方案可为技师和放射科医师评估乳腺摆位整体图像质量提供快速、不依赖观察者的反馈。
- 作者认为自动化质量评估可能提高检查的敏感度和特异度,并减少放射科医师和技师的工作量、错误和召回。
- 作者指出PGMI标准推荐由放射科医师或经过专门培训的放射技师进行定性评估,质量控制的筛查项目通常要求70%完美或良好且不合格率低于3%。
局限性
- 由于本研究的回顾性性质,用于训练、验证和测试的数据集可能存在偏倚。
- 本研究图像来自有限数量的制造商,可能影响分析所用图像的变异种类。
- 本研究未纳入所有种族。
- 本研究未评估其他AI算法架构,其他dCNN配置可能达到更高准确率。
- 本研究为回顾性研究,聚焦于单一质量特征的评估;为评估实时反馈对诊断单位表现的影响,应开展进一步的前瞻性研究。
全文中译18 节 · 点击展开
引言
每年有230万女性被诊断为乳腺癌[1],占女性所有癌症病例的25%[2]。由于初期阶段症状相对缺乏,乳腺癌的早期发现对于降低死亡率至关重要[3]。乳腺X线摄影乳腺癌筛查是降低死亡率最常用的措施,在对照试验中已被证明可将死亡率降低24–48%[4–6]。尽管提供了切实的益处,筛查并非完美的解决方案。过度诊断的风险、缺乏用于全面评估诊断质量的自动化工具、致密乳腺患者中的中等准确度以及乳腺癌筛查项目的高医疗成本,都是对筛查项目合理性的严重威胁[7]。
为成功对乳腺X线摄影和断层合成图像进行放射学评估,两张投照图像上必须存在描绘尽可能多乳腺实质的充分诊断信息。在筛查项目中,实施了物理和技术方面的质量保证(QA),提供可重复且标准化的图像质量评估,使各诊断单位之间具有可比性。多年来,已开发了若干QA方案,尽管它们之间尚未完全协调统一[8, 9]。检查的诊断图像质量对癌症可检出性有显著影响[10]:体位不当、图像伪影或乳腺压迫不足可将乳腺癌检测的灵敏度从84.0%降至66.3%[11]。在欧洲和美国,最常见的乳腺X线摄影诊断图像质量控制是由英国乳腺X线摄影培训师小组在放射技师协会与学院支持下制定的完美–良好–中等–不合格(PGMI)标准[12],该标准建议由放射科医师或经过专门培训的放射技师对诊断图像质量进行定性评估。通常,在质量控制的筛查项目中,要求70%的乳腺X线摄影为完美或良好,且不合格乳腺X线摄影的可接受比例低于3%[13],某些筛查项目甚至采用更严格的规定,要求超过75%的乳腺X线摄影为完美或良好[14]。
尽管PGMI标准定义明确,但人工评估的主观性可能因阅片者间变异性导致评级可靠性较低,据报道阅片者间一致性仅在轻微(k = 0.02)至中等(k = 0.40)之间[15]。一项研究表明,甚至有49.7%的乳腺X线摄影不满足筛查项目所要求的质量标准,给患者带来额外且不必要的风险[15]。此外,这些任务中的每一项都耗时、繁琐,且容易因外部因素导致人工阅片者出错[16]。
方法的标准化和流程的自动化可能对乳腺X线摄影检查的图像质量产生重大影响。因此,标准化和自动化有可能提高机构的工作能力、改善癌症检出率、减少诊断错误并大幅降低医疗成本[17]。基于人工智能的质量保证自动化是解决这些问题的可行方案,可最大限度地减少质量评级中的错误并提高乳腺X线摄影单元的整体生产力[18],尽管能够对单一质量特征进行分析并向最终用户提供可解释反馈的产品在商业上非常有限。
人工智能已被证明能够根据ACR BI-RADS标准准确地对乳腺X线摄影中的乳腺密度进行分类[19, 20]。此外,深度卷积神经网络(dCNN)已被用于模拟人类在超声成像中检测和分类病变的决策过程[21],以及在乳腺X线摄影中识别微钙化等细微特征[22]。尽管开展筛查项目的机构正在采用基于人工智能的解决方案,但自动化图像质量控制尚未常规可用。
在本研究中,我们训练了深度卷积神经网络(dCNN)模型来确定乳腺X线摄影和断层合成检查中质量特征的存在和位置,并将专用dCNN模型的准确性与人类专家阅片进行了比较。
材料与方法
患者数据
本回顾性研究已获得当地伦理委员会的批准(“苏黎世州伦理委员会”;批准号:2016–00,064 及西北和中瑞士伦理委员会,项目ID:2021–01,472)。
纳入的图像采集于2012年至2020年之间,即我们伦理委员会批准所涵盖的整个时间跨度。图像来源于两家机构中五台不同的设备(分别由Siemens、Hologic、GE、IMS Giotto和Fujifilm制造)。研究中使用的所有设备均按照质量控制公差和标准运行。仅纳入年龄在20至97岁之间的女性患者(中位年龄57岁)。
我们排除了所有存在异物(如硅胶植入物、心脏起搏器以及其他异物如手术夹)的图像,共662幅(478幅DM,184幅DT)。术后患者也被排除。
用于模型训练和验证的图像占纳入图像的90%(70%用于训练,20%用于验证),具体为11,733幅数字乳腺X线摄影(DM)图像和4,200名女性患者的数字乳腺断层合成(DBT)合成2D重建图像(CC位:3,565幅DM,2,873幅DT;MLO位:2,710幅DM,2,585幅DT)。用于分类模型测试的图像占10%;使用与训练和验证数据集分离的独立数据集,该数据集由1,944幅图像组成(CC位:369幅DM,602幅DT;MLO位:371幅DM,602幅DT)。回归模型的测试在388幅图像上进行(10%的带有位置标签的图像;CC位:68幅DM,110幅DT;MLO位:82幅DM,128幅DT)。
数据准备
用于训练和验证dCNN模型的图像已从各机构的PACS系统中检索获得。由于不同制造商的图像属性存在差异,每张图像均进行了预处理。为避免失真,来自左侧方位的图像经水平翻转,使乳腺投影保持在图像的一侧,以便进一步后处理。图像尺寸和宽高比的差异通过在图像右侧添加一条黑色背景条来处理,以生成正方形尺寸的图像。设备间图像亮度和对比度的差异通过基于制造商查找表应用窗宽窗位调节来控制。所有图像均以无损图像格式保存,以避免因压缩或位深降低导致的图像质量下降。用于乳头分类的图像围绕乳头位置进行裁剪,该位置由放射科医师标记,裁剪区域包含原始图像宽度和高度的10%。
图像选择与数据准备
为确定乳腺摆位方面的图像质量,使用了两种方法:用于确定特征是否存在的分类,以及用于精确定位图像上特征的回归。在分类任务中,四名具有至少3–8年乳腺X线摄影成像经验的放射科医师通过判断相应特征在图像上是否可见或缺失来独立标注图像。图1展示了IMF(乳房下皱襞)特征分类的一个示例。在回归任务中,放射科医师标记特征在图像上的位置。图2展示了放射科医师标注位置及AI模型相应预测的一个示例。所有与图像标注相关的任务均由两名分别具有至少3年和8年乳腺成像经验的放射科医师在获得委员会认证后完成。
模型选择
训练了八个dCNN模型以评估影响整体诊断图像质量评估的关键图像质量:五个分类模型用于检测解剖标志或特征的存在,三个回归模型用于特征定位。
分类模型
CC和MLO方位下的腺体实质显示:确定CC视图中整幅乳腺腺体实质是否完整显示于图像上;
MLO方位下的腺体实质显示:确定MLO视图中整幅乳腺腺体实质是否完整显示于图像上;
MLO方位下的乳房下皱襞(IMF):图像上乳房下皱襞的存在。若皱襞缺失,则也无法确定胸部是否被充分显示,相应组织无法评估;
CC方位下的胸肌:CC视图中胸肌的存在,以确保靠近胸壁的组织被正确记录;
CC和MLO视图中的乳头显示:确定两个投照方位的图像中乳头是否处于轮廓位,以及乳头在CC视图中是否居中。
回归模型
(6)乳头在CC和MLO视图中的位置;
MLO视图中的胸肌头侧:胸肌在图像头侧边缘的位置(头侧点);
胸大肌尾侧:在MLO视图中,胸大肌在胸壁处位于图像边缘的位置(尾侧点)。
图3展示了一个检查定性评估的示例。通过回归模型找到的解剖标志点可以确定胸大肌的显示角度,并计算CC视图与MLO视图中的乳头后线。胸大肌角度评估使用了两个目标检测模型:检测胸大肌相对于胸壁的头侧和胸壁边缘位置,并与两位经验丰富的放射科医生的评估进行比较。乳头后线长度使用三个目标检测模型的结果计算:两个投影中的乳头检测以及MLO投影中的头侧和尾侧点,以确保胸大肌附近的部分腺体实质得到充分显示。检测点和计算的示例如图4所示。
图像已按3:1的比例随机分为训练集和验证集。用于每个模型训练的图像确切数量见表1。所有图像均从原始分辨率重新缩放为224 × 224像素的正方形;为提高模型泛化能力,训练集和验证集使用TensorFlow(Google LLC)数据增强工具进行随机增强,包括旋转、水平和垂直平移以及缩放。采用类别加权方法来抵消类别不平衡。
dCNN架构
分类模型使用包含13个卷积层(卷积核大小为3 × 3)、其间设有五个最大池化层用于降维以及两个使用修正线性单元激活函数的全连接层的网络进行训练。使用批归一化和50%丢弃法以减少过拟合。最终权重使用softmax层。采用随机梯度下降进行优化,交叉熵作为损失函数。
回归模型使用类似架构,但损失函数替换为均方误差(MSE),并使用Sigmoid作为激活函数。回归模型的输入为一个元组,包含图像和标记点的坐标,该标记点表示所需特征的位置。
训练以32张图像为批次进行,学习率为1.0 × 10−5,dCNN模型训练160个轮次,每个轮次后保存新模型。选择验证准确率最高或验证RMSE最低的dCNN模型进行测试。dCNN模型在配备Nvidia 1080 GTX GPU的机器上训练,运行Ubuntu 16.04操作系统上的TensorFlow 2.0软件库。
图像分析
所有图像分析均通过一个商业平台(“b-box”,v 1.1,b-rayZ AG)完成,该平台是一个用于自动分析乳腺X线摄影图像及断层合成合成2D重建图像的框架。测试图像被上传至b-box的DICOM服务器,并使用上述dCNN模型进行自动评估。dCNN模型的预测结果已与放射科医师作为金标准进行的分类和回归进行比较。分类任务的结果评估使用准确率指标,将模型的类别结果与放射科医师标注的类别结果进行比较。回归模型预测特征位置的坐标,并与放射科医师标记的特征位置进行比较,误差计算使用RMSE指标。图像在诊断显示器(EIZO RX350,分辨率:1536 × 2048,EIZO)上进行分析。
统计分析
预测准确率的置信区间(CI)使用蒙特卡罗方法基于测试数据集的预测概率或误差分布进行计算。统计分析使用Python编程语言的Scikit-learn 0.22.1软件包进行。准确率和RMSE的预测均以置信区间(CI)= 0.95进行评估。
结果
训练、验证和测试结果
分类dCNN模型的训练在训练图像上得到的准确率介于84.6%至89.4%之间,在验证数据集上为84.9%–92.7%。回归模型在训练数据上的RMSE范围为8.2至10.5 mm,在验证数据上为8.4至12.9 mm。训练和验证准确率及误差的详细结果见表1。测试数据集上的结果评估见表2。
腺体实质分类
AI模型对腺体实质的描绘在CC视图的测试病例中正确率为97.1% [95% CI 96.2–97.7%],在MLO视图的测试图像中正确率为87.3% [95% CI 86.3–88.2%]。在CC视图中,精确率为0.93,召回率为0.99,F1分数为0.96。在MLO视图中,精确率为0.94,召回率为0.89,F1分数为0.91。与放射科医师达到几乎完美的一致性,Cohen's kappa评分为0.94 [95% CI 0.93–0.96]。
乳房下皱襞分类
MLO投影中乳房下皱襞的描绘在96.3% [95% CI 94.9–97.4%]的图像上正确。模型的精确率为0.94,召回率为0.99,F1分数为0.96。模型与放射科医师显示出几乎完美的一致性,Cohen's kappa评分为0.93 [95% CI 0.90–0.95]。
胸肌分类
CC投影中胸肌的描绘在98.5% [95% CI 98.2–99.5%]的图像上正确。模型的精确率为0.98;召回率和F1分数均为0.99。模型与放射科医师显示出几乎完美的一致性,Cohen's kappa评分为0.96 [95% CI 0.94–0.98]。
乳头描绘
MLO图像中侧位乳头的描绘和分类以及CC图像中侧位和居中乳头的描绘和分类在93.0% [95% CI 91.7–94.0%]的评估病例中正确。模型的精确率为0.99,召回率为0.94,F1分数为0.96。模型与放射科医师显示出中等一致性,Cohen's kappa评分为0.42 [95% CI 0.34–0.50]。
回归模型
用于乳头位置检测的回归模型能够以8.4 mm [95% CI 7.3–9.5 mm]的误差预测位置。
在MLO视图中,胸大肌头侧点的检测误差为17.9 mm [95% CI 13.2–21.0 mm],尾侧点的误差为13.2 mm [95% CI 9.9–16.0 mm]。
质量特征计算
胸大肌角度计算的准确率为99.1% [95% CI 98.2–99.5%],乳头后线为99.0% [95% CI 98.2–99.5%]。两种情况下精确率、召回率和F1分数均为0.99。计算结果已与我们经验丰富的放射科医师的评估进行了比较。对于放射科医师,计算的准确率为99.0%,精确率、召回率和F1分数均为0.99。与放射科医师的一致性几乎完美,Cohen's kappa评分为0.97 [95% CI 0.95–0.99]。
讨论
在本研究中,我们证明了深度卷积神经网络可用于评估乳腺X线摄影图像及断层合成合成的2D重建图像上的质量特征。分类模型在确定乳腺影像关键图像质量特征方面达到了超过85%的准确率。回归模型能够精确定位所需特征以指示可能的摆位误差。在比较测试数据集的评估结果时,所有dCNN模型均能与放射科医师达成几乎完美的一致性。
近年来,基于人工智能的计算机辅助检测方案引起了全球放射科医师的关注。dCNN是图像分类任务的优秀方法。尽管难以进入临床工作流程,人工智能在乳腺X线摄影中乳腺癌检测的性能与经验丰富的放射科医师相当[23, 24]。缺乏向临床转化的一部分原因可能是分析不包含足够信息的图像时出现错误。导致图像质量不足的摆位错误很常见,而正确的摆位对评估至关重要[25]。与摆位正确的病例相比,摆位失败病例的乳腺X线摄影评估灵敏度下降21% [11]。在美国进行的审核显示,摆位不足是ACR认证机构认证失败的主要原因,占所有错误的79% [26]。
目前乳腺癌诊断质量控制的研究聚焦于质量保证。卷积神经网络(CNN)有可能根据欧洲乳癌筛查和诊断服务质量保证参考组织(EUREF)[27]实现自动化图像质量评估。然而,关注图像上可见的特定特征对图像质量影响的研究数量相当有限。视觉评估的主观性限制了放射技师和放射科医生在评估图像质量时的共识[8]。缺乏完全统一以及对ACR和EU指南的低依从性导致结果差异大且解读空间大[28]。缺乏循证实践和评估设备不足导致44%的放射技师不完全了解其实践中应遵循的指南[29]。在分析断层合成图像时,这种缺乏标准化是显而易见的。由于缺乏现代成像技术广泛接受的指南,断层合成的合成2D重建被用于评估和可视化。已有初步研究将AI应用于其他技术,在自动乳腺超声[30]和乳腺CT[31]中显示出有前景的初步结果。AI解决方案显示出有望显著减少技术人员的工作量,同时实现流程标准化[32]。图像质量评估也可有益地应用于诊断性乳腺X线摄影;然而,对于有症状的患者,例如有乳房疼痛、炎症征象或术后瘢痕者,可能难以应用与筛查环境中相同的标准。因此,可能需要针对诊断性乳腺X线摄影的专门指南。
我们的研究有一些局限性:(1)由于本研究的回顾性性质,用于训练、验证和测试的数据集可能存在偏倚。(2)本研究的图像来自有限数量的制造商,这可能对用于分析的图像的可能变体数量产生影响。然而,本研究的目的是提供自动化质量评估的原理验证,并获得关于可达到准确性的初步经验。(3)本研究未纳入所有族裔;然而,代表性数据取自我们机构女性患者的一般队列。(4)在本研究中,未评估其他AI算法架构。因此,使用其他dCNN配置可能实现更高的准确性。(5)这是一项专注于评估单一质量特征的回顾性研究。为评估实时反馈对诊断单元性能的影响,应开展额外的前瞻性研究。
总之,本研究证明了使用训练好的AI模型自动评估质量特征的可行性,这些模型允许质量控制的标准化。我们解决方案的临床实施可能允许在评估乳腺定位的整体图像质量时,向放射技师和放射科医生提供快速、独立于观察者的反馈。这可能提高检查的敏感性和特异性,并减少放射科医生和技术人员的错误、召回和工作量。
引用
- Hejduk P, Sexauer R, Ruppert C, et al. Automatic and standardized quality assurance of digital mammography and tomosynthesis with deep convolutional neural networks. Insights Imaging. 2023. PMID: 37199794. doi:10.1186/s13244-023-01396-8
- 全文:PMC10195933(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10195933/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。