基于人工智能的影像组学分析阅读致密乳腺钼靶时队列特异性诊断错误
研究让中国和澳大利亚各36名放射科医生阅读60例致密乳腺钼靶,提取正常可疑区与恶性区的影像组学特征并用随机森林建模识别易致诊断错误的区域。中国队列预测假阳性AUC为0.864(CC)和0.829(MLO),假阴性AUC为0.677(CC)和0.673(MLO);澳大利亚队列假阳性AUC为0.652(CC)和0.747(MLO),假阴性AUC为0.600(CC)和0.505(MLO)。两个队列中Gabor和最大响应滤波器输出较高的区域更易出现假阳性,强度变化显著和纹理粗糙的区域更易出现假阴性。
要点
- 致密乳腺钼靶阅片中,Gabor和最大响应滤波器输出较高的区域在两个队列均更易出现假阳性。
- 强度变化显著和纹理粗糙的区域在两个队列均更易导致假阴性。
- 中国队列假阳性预测AUC为0.864(CC)和0.829(MLO),高于澳大利亚队列的0.652(CC)和0.747(MLO)。
核心结论
- 基于队列的流程可有效利用图像衍生的影像组学特征识别特定读者队列的常见阅片错误。
- 影像组学人工智能可识别并预测放射科医生阅读致密乳腺钼靶时的判读错误,中国与澳大利亚队列中假阳性与假阴性关联的影像组学特征不同。
研究设计与样本
- 回顾性研究,经XX人类研究伦理委员会批准(批准号:XX),数据来自BREAST在线乳腺钼靶培训平台。
- 测试集共60例致密乳腺钼靶病例,其中40例正常(经2年阴性筛查报告确认),20例活检证实恶性(病灶21个),含CC和MLO两个体位。
- 中国和澳大利亚各36名放射科医生参与读片,中国医生阅片经验1至31年(中位9年),澳大利亚0至32年(中位8.5年)。
- 采用随机森林算法建模,以留一法交叉验证为外层循环、重复3折分层交叉验证为内层循环调参,并用SMOTE处理类别不平衡。
- 中国队列建模纳入假阳性分析14名、假阴性分析20名读者;澳大利亚队列纳入假阳性分析14名、假阴性分析16名读者。
关键影像表现/征象
- 两个队列中Gabor和最大响应滤波器输出较高的区域更易出现假阳性。
- 强度变化显著和纹理粗糙的区域更易出现假阴性。
- 影像组学特征共提取201个,包括一阶统计量28个、纹理特征139个、滤波高阶特征34个。
诊断标准与关键数值
- 中国队列假阳性预测AUC为0.864(CC)和0.829(MLO),澳大利亚队列为0.652(CC)和0.747(MLO)。
- 中国队列假阴性预测AUC为0.677(CC)和0.673(MLO),澳大利亚队列为0.600(CC)和0.505(MLO)。
- 采用RANZCR评分,评分低于3判为阴性,3分及以上判为阳性;阳性标注与病灶中心距离不大于病灶半径(本测试集约12.5 mm)视为正确标记癌症病灶。
- 以各感兴趣区假响应数的中位数将局部区域分为容易和困难两类,假响应数高于中位数为困难,低于或等于中位数为容易。
临床应用与阅片要点
- 该队列模型可在不获取个体读片数据的情况下,用于具有相似地理特征的读者队列,识别易致诊断错误的局部乳腺钼靶区域。
- 识别出的困难区域特征可用于开发针对性培训材料,以提升观察者判读能力。
局限性
- 原文未报告局限性。
全文中译11 节 · 点击展开
引言
筛查性乳腺X线摄影是乳腺癌检测和早期诊断的一线手段。然而,其实际获益高度依赖于诊断准确性,其中最主要的因素是观察者在乳腺X线片判读中的表现。在准确判读的情况下,筛查可使乳腺癌死亡率降低30%-40%。1 然而,判读乳腺X线片具有挑战性,诊断错误常有报道。一项队列研究显示,在为期十年的年度乳腺筛查后,经历一次或多次假阳性的总体概率超过50%,且这些接受筛查的女性中有7%-9%收到了假阳性活检建议。2 致密型乳腺中诊断错误的报道更为频繁,因为与非致密型乳腺相比,其乳腺X线片往往更为复杂且难以判读。3,4
为尽量减少诊断错误,已进行了多种尝试,例如优化双读策略——提出将具有互补视觉搜索模式的判读者配对,而非任意分配;以及开发计算机辅助乳腺癌检测工具,可为判读者提供关于癌症检测的第二意见。5,6 然而,在实际中实施配对双读并不简单,因为个体的视觉搜索数据很少可得,且个体的搜索行为会随着诊断技能的提升而随时间变化。5 对于计算机辅助癌症检测工具,其结果往往伴随较高的假阳性错误,尽管近期围绕诊断的机器学习创新仍在评估其效能,但目前至多被视为人类的补充而非替代。7 此外,上述方法无法直接提高判读者的判读能力,而判读能力是当代实践表现中的根本要素。
为提高观察者表现,第一步是识别任何判读薄弱环节,特别关注对正确检测构成尤其挑战的乳腺X线表现。通过识别这些特征,可以开发并提供有针对性的培训材料。这可以通过使用人工智能(AI)对判读者既往判读数据进行回顾性分析来实现,AI可将图像表现与诊断错误进行映射。8–10 图像表现在输入AI模型之前会被量化,一种常用的方法是影像组学。影像组学涉及高通量提取图像特征,将其转换为可供挖掘的定量数据。影像组学与观察者表现相关。11–13 例如,一项研究提出了一个模型,将乳腺肿块的乳腺X线表现映射至假阴性错误的可能性,这些肿块由计算机提取的影像组学特征表示。8 这种个性化模型有助于在个体层面识别特别难以成功检测的肿块。然而,将此类模型付诸实践仍然具有挑战性,因为个体判读数据很少可得,且往往不足以开发需要大量数据的准确AI模型。14
为克服这一局限性,我们开发了定制模型,能够分析某一地理区域阅片者群体的常见错误,该模型可应用于具有相似地理特征的其他阅片者,而无需获取其阅片数据。越来越多的证据表明,开发基于队列的人工智能(AI)模型来预测乳腺X线摄影中特定队列阅片者可能做出错误评估的特定局部区域是可行的。15 研究表明,诊断错误并非随机发生,而是对于具有相似特征(如人口学特征和专业水平)的阅片者而言会呈现一定的模式。16–19 例如,在越南执业的放射科医师更容易遗漏具有毛刺状星形外观的病变,而澳大利亚阅片者更容易遗漏密度不典型的病变。16,17 此外,经验较少的放射科医师在成功检出较小病变方面比经验丰富者更为困难,尤其是边缘不清的病变。18,19
本研究旨在探讨具有可比地理特征的放射科医师在判读致密型筛查乳腺X线摄影时是否存在判读错误的相似性。此外,本研究旨在确定AI模型能否利用影像组学有效捕捉这些共有错误。研究有两个目标:(a)分析具有相同地理人群特征的放射科医师在判读致密型筛查乳腺X线摄影时识别正常和检出恶性肿瘤的表现;(b)提出一个机器学习框架,以识别对特定放射科医师队列而言特别难以准确诊断的乳腺X线摄影局部区域。
方法
伦理批准
本回顾性研究经XX人类研究伦理委员会伦理批准(批准号:XX),并遵守所有相关指南和法规。访问中国和澳大利亚放射科医师数据的许可由乳腺筛查阅片者评估策略(BREAST)委员会授予。每位放射科医师的个人知情同意被豁免,因为BREAST已在所有参与者开始测试集评估之前获得了他们的知情同意。
数据集获取
我们收集了来自BREAST(一个在线乳腺X线摄影培训平台)的阅片数据库,包括一个乳腺X线摄影测试集和来自两个地理上独立阅片者队列的放射学评估。20 该测试集包含60例致密型乳腺X线摄影病例,从筛查人群中过采样获得。其中,40例为正常分类,经2年阴性筛查报告确认,而20例为活检证实的恶性肿瘤(病灶=21)。两年的随访期足以确认无癌症存在,有效排除了通常在正常筛查乳腺X线摄影后两年内检出的间期癌。21 BREAST集中选择60例乳腺X线摄影病例并按20例阳性与40例阴性分配,是经过仔细校准以反映特定考量,确保在检测放射科医师表现中显著差异或模式方面具有平衡的统计效能,并在放射科医师可用资源和时间限制内具有可行性。22
所有乳腺X线摄影均采用数字技术获取,并进行了去标识化处理。病例经过特意挑选,以确保高图像质量,并呈现有助于教育和自我评估目的的挑战性病例。22 每个病例均包含双乳的标准头尾位(CC)和内外侧斜位(MLO)投影。癌症病例中病变的位置和亚型由至少两名资深放射科医师(每位在乳腺影像领域拥有超过20年经验)根据当前和既往乳腺X线摄影、组织病理学报告及任何额外影像学检查达成共识予以确认。参与此项确认的放射科医师未参与后续的阅片。按乳腺影像报告和数据系统(BIRADS)23分类的乳腺密度信息及病变亚型见表1。根据普遍接受的标准,BIRADS A和B通常与低密度相关,而BIRADS C和D提示高密度。23 由于本研究特别关注评估阅片者在致密乳腺背景下的表现,我们从分析中排除了BIRADS B的 two 例病例,以确保更特异性地研究致密乳腺X线摄影相关的诊断挑战。
在中国(队列A),乳腺X线摄影筛查以群体性和机会性方式开展,参与率较低,而澳大利亚(队列B)运行全国性的人群筛查项目,参与率较高。中国乳腺筛查参与率较低可归因于多种因素,包括意识不足、宿命论、污名化、经济限制以及筛查和诊断设施的可及性有限。24 这些文化和系统性影响导致了乳腺癌在较晚期才被诊断,与通过定期筛查发现的病变相比,病变往往更大。25 因此,与澳大利亚同行相比,中国放射科医师可能更习惯于发现晚期、大尺寸肿瘤(大于30 mm)。26
关于放射学培训,正式培训项目仅限于中国选定的都市地区。27 与中国相比,澳大利亚的放射科医师接受更为结构化和以亚专科为重点的培训路径,强调在住院医师培训后通过国家和专科考试。28 各队列的放射科医师专业水平参差不齐。队列A阅读乳腺X线摄影的经验年限从1年至31年不等,中位经验为九年。在队列B中,经验范围为0至32年,中位数为8.5年。每周乳腺X线摄影病例工作量差异很大,从少于20例到超过200例不等。在队列A中,大多数阅片者每周审阅20至100例,而队列B中超过半数的阅片者每周审阅少于20例。
每位读者在标准乳腺X线摄影阅片环境中独立评估所有病例,或在工作坊/会议期间使用在线BREAST平台,或在其通常工作的常规诊所中进行,地点可能在澳大利亚或中国。乳腺X线摄影图像以DICOM格式通过图像存档与通信系统(PACS)在两台经过校准的医用级五百万像素显示器上显示。此外,BREAST软件以JPEG格式提供相同的图像,供读者标记和评分所有可疑病灶。提供了标准的图像处理操作,如平移和缩放。22 分类遵循澳大利亚和新西兰放射学家皇家学院(RANZCR)指南。29 RANZCR与BIRADS系统之间存在差异,但两者通常可以互换。30 RANZCR评分<3的标注被归类为“阴性”,评分≥3的标注被视为“阳性”。我们认为,如果阳性标注与病灶中心之间的距离不大于病灶半径(本测试集中癌症的半径约为12.5 mm),则癌症病灶被正确标记。阅片过程的详细信息已在其他文献中描述。31
诊断错误分析
识别了所有怀疑为癌症的局部区域,包括被报告为癌症的正常区域以及实际含有癌症的恶性区域。为实现这一目标,我们首先汇集每个队列中所有读者的阳性标注(即评分高于2的标注),并将其可视化显示在乳腺X线摄影图像上。对于癌症病例,恶性病灶也被标注(图1A)。然后,我们对这些阳性标注进行聚类,使一个聚类中每个点之间的距离不大于250像素(图1B)。32 该阈值根据经验选择,以与两个测试集中发现的乳腺病灶平均直径相匹配。为确保准确性,另一位对病理结果不知情的研究人员手动调整了遇到不同像素大小的病例。在出现冲突的病例中,通过共识达成最终聚类决定。
随后,我们在每个聚类外绘制一个矩形框,将框的边界延伸至超出最近标注点10像素,以确保所有相关标注均被纳入(图1C)。该框表示特定队列中至少一名读者做出错误响应的局部区域。我们选择使用矩形框来标示可疑局部区域,而非勾勒单个可疑结构或恶性肿瘤,因为认识到周围组织的特征也可能影响放射科医生对癌症发现的判读。所有作者进行了全面审查并验证了聚类和勾画的准确性与适当性。此过程使用MATLAB R2021a(Mathworks,MA,美国)完成。每位读者可能给出多个标注,因此在某些病例中总标记数可能超过读者人数。
为确保基于队列的模型的通用性,采用凝聚层次聚类(HC)识别出每个队列中阅片模式与其余阅片者差异最大的放射科医师,并将其从模型构建中排除。33 HC能够依次将各已识别局部区域反应相似的阅片者分组,并生成树状图,直观展示放射科医师阅片行为的层次关系。33由于模型分别构建以分析假阳性和假阴性错误,我们在每个队列中分别对正常区域和含癌区域进行HC。为此,我们将错误反应标记为“1”,正确反应标记为“0”,并计算阅片者反应之间的欧几里得距离作为相似性度量。具体而言,若阅片者对正常区域留下阳性标记,则该反应被视为假阳性;若仅留下阴性标记或无标记,则为真阴性。同样,若阅片者对含癌区域留下阴性标记或无标记,则该反应被视为假阴性;若留下阳性标记,则为真阳性。然后采用Ward最小方差法作为连接方法,将小组合并为组内方差最小的大组。从树状图中,位于外侧分支的阅片者被识别为具有最不相似阅片行为的异常值,并从特定队列中排除。通过此方法,仅由异常值阅片者标记的局部区域也被移除。这使得在分析假阳性和假阴性错误的模型构建中,队列A的最终阅片者人数分别为14和20,队列B分别为14和16。
随后,根据每个感兴趣区域错误反应数量的中位数,将剩余的局部区域分为两个队列特异性诊断难度类别:“容易”和“困难”。正常区域和含癌区域分别根据假阳性和假阴性反应进行分类。具体而言,假阳性反应数量高于中位数的正常区域被归类为“困难”;同样,假阴性反应数量高于中位数的含癌区域被归类为“困难”。错误反应数量低于或等于中位数的区域被归入“容易”组。
影像组学流程
图像分割与影像组学特征提取
随后,我们在每个聚类外绘制了一个矩形框,将框的边界延伸至超出最近标注点10像素处,以确保所有相关标注均被纳入(图1C)。该矩形框标示了特定队列中至少一位阅片者做出错误反应的局部区域。我们选择使用矩形框来标示可疑局部区域,而非勾画单个可疑结构或恶性肿瘤,因为我们认识到周围组织的特征也可能影响放射科医师对癌症发现的解读。所有作者进行了全面审查并验证了聚类和勾画,以确保准确性和适当性。34 归一化过程将强度值标准化为零均值和单位方差,最大限度地减少了图像采集设置变化的影响。为验证归一化过程,我们检查了归一化前后像素强度的直方图以确保一致性。进行重采样以确保所有图像具有一致的分辨率,这对于放射组学特征的一致性和可重复性提取至关重要。所有图像均使用双三次插值重采样至长度0.1 mm的像素间距。35 通过比较重采样图像的空间分辨率与原始分辨率来验证重采样过程。
然后,我们自动提取了每个感兴趣区(ROI)的201个放射组学特征,包括来自直方图的一阶统计量、描述纹理的二阶统计量以及来自变换图像的高阶统计量:
一阶特征(n = 28)34
纹理特征(n = 139):灰度共生矩阵(GLCM)(n = 88),36 灰度游程长度矩阵(GLRLM)(n = 6),37 灰度锐度测量(GLSM)(n = 6),38 灰度差分统计(GLDS)(n = 15),39 邻域灰度色调差分矩阵(NGTDM)(n = 15),40 统计特征矩阵(SFM)(n = 8),41 以及分形维数纹理分析(n = 1)。42
基于滤波器的高阶特征(n = 34):Law纹理能量测量(n = 18),43 Gabor滤波器(n = 6),最大响应(MR)滤波器(n = 8),以及傅里叶变换(n = 2)。44–46
值得注意的是,Gabor和MR滤波器是已知对频率和方向均敏感的小波滤波器。具体而言,我们专注于在单一尺度内提取Gabor滤波器响应,使用正弦载波波长为每周期4像素(波长 = 4),方向为0°、30°、60°、90°、120°和150°。选择4像素波长尺度和0°-150°方向得到了我们先前研究实证发现的支持和验证,这些研究实验了滤波器组用于预测诊断性乳腺X线摄影解读错误。47–49 这些研究表明,Gabor滤波器在4像素波长处的响应为错误预测提供了最具信息量的见解,这可能是由于其能够捕捉类似于结构扭曲的细微不规则和假阳性区域的能力。47,48
为创建MR滤波器,我们遵循了Varma等人关于尺度和方向数量的建议。50 MR8滤波器组源于一个共享的根滤波器集(RFS),该滤波器集由38个不同的滤波器组成。RFS包括一个高斯滤波器和一个高斯拉普拉斯滤波器,两者均表现出旋转对称性,sigma值为10像素。此外,它还包括三个尺度上的边缘滤波器和条形滤波器,每个尺度内每个滤波器定向于六个不同角度(方向=0°、30°、60°、90°、120°和150°)。
为确保旋转不变性,向MR8滤波器组的转换仅保留了两个各向异性滤波器在所有方向上的最高滤波器响应。该过程将初始的38个响应减少为八个响应。因此,虽然MR8滤波器组总共包含38个滤波器,但其仅产生八个滤波器响应。
提取的特征列表见表S1。特征提取在MATLAB R2021a(Mathworks,MA,美国)上进行。
模型构建
我们引入了两个机器学习流程,以简化和自动化数据准备、特征选择和模型构建过程。这两个流程分别分析了诊断难度水平与源自正常区域和恶性区域的影像组学特征之间的关系。具体而言,每个流程分别基于CC位和MLO位独立开发,因为放射科医生通常依赖这两个体位来做出最终决定,且一个体位中的可疑发现会影响读者对另一体位中相应区域的判断。在本研究中,我们选择随机森林(RF)算法作为我们的模型,因为其在处理高维数据方面有充分记录的優勢、能够建模特征之间的复杂交互作用,以及对过拟合的稳健性。51 RF在医学图像分析中尤其具有优势,因为其集成学习方法汇总了多棵决策树的预测以提高泛化性和准确性。52此外,RF提供了内在的特征重要性度量,使我们能够识别对预测模型贡献最大的特征。53
在配置RF模型时,我们优化了关键超参数以提升其性能。具体而言,我们使用max_features='sqrt'来确定每次分裂时考虑的特征数量,在树多样性与计算效率之间取得平衡。此外,我们对n_estimators的不同取值进行了实验,该参数表示森林中树的数量。我们使用嵌套交叉验证测试了100、250、500和1000棵树的配置,详见后文说明。
在整个模型构建过程中,我们评估了几种替代算法,包括逻辑回归(LR)、支持向量机(SVM)和梯度提升机(GBM)。这些替代方案基于其AUC值进行评估。经过综合评估,RF成为我们研究中最合适的选择,表现出更优的预测准确性,同时保持计算效率。
模型评估
在每个分类流程中,我们应用嵌套交叉验证(CV)以确保稳健的模型评估和超参数调优,同时降低过拟合风险并提供对泛化能力的无偏估计。51 “该方法包括两个循环:一个外循环用于性能评估,一个内循环用于超参数优化”。51 通过纳入嵌套交叉验证,我们能够有效优化模型参数并获得模型在未见数据上性能的可靠估计。这一严格的验证过程对于开发能够在不同数据集和设置中良好泛化的模型至关重要。
如图2所示,外循环采用留一交叉验证,其中数据集被分为k折(其中k等于我们研究中的样本量)。在每次迭代中,1折作为测试集,而其他k − 1折用于训练。该过程重复k次,确保每个数据点恰好一次用于训练和验证。
在外循环的每次迭代中,内循环采用重复3折分层交叉验证进行超参数调优。来自外循环的训练集进一步分为m折(其中m = 3)。这些m折中的每一折作为验证集,其余m − 1折用于超参数优化。这种分层方法确保每一折中保持类别分布,提供数据的平衡表示并提高超参数调优过程的可靠性。
具体而言,在内循环中,我们使用合成少数类过采样技术(SMOTE)来增加少数类(即“困难”类)的规模,因为“容易”类和“困难”类的分布不平衡。54 数据不平衡可能导致模型训练有偏,分类器可能因多数类在数据集中占比较大而偏向多数类。SMOTE的使用与文献中关于机器学习任务中处理不平衡数据集的建议一致。55
在SMOTE之后,我们对影像组学特征进行标准化,并选择方差大于1的特征。随后,对随机森林(RF)的超参数,特别是树的数量,从100、250、500到1000进行穷举搜索。该内循环过程对每种超参数组合重复三次。在这些m折验证中产生最佳平均性能的超参数被选中。
使用选定的超参数在完整训练集(来自外循环)上训练模型,并在外测试集上评估。然后汇总所有外循环迭代的性能指标以获得模型的泛化性能。性能通过受试者工作特征曲线下面积(AUC)和准确度来衡量,AUC为0.5被视为随机猜测。为进一步验证模型,我们采用2000次分层bootstrap获得AUC的95%置信区间(95% CI)。
虽然嵌套交叉验证是稳健的,但它有局限性。由于多轮交叉验证,它计算密集。此外,随机划分可能无法确保各折之间类别分布或特征表示相等,可能引入偏倚。为减轻这一点,我们在研究中使用了分层交叉验证。
采用Python 3.9.4版本中的scikit-learn包。
特征判别力的比较
我们还分析了对分类任务贡献最大的影像组学特征的判别力。如上所述,在每个内层循环中选择方差大于1的特征。接下来,在重复嵌套交叉验证循环中,通过随机森林(RF)内置的特征重要性方法选择剩余特征。具体而言,在外层循环的每次迭代中,使用RF模型对特征进行排序,并记录前10个特征。完成所有迭代后,我们确定了在所有循环中出现频率最高的五个特征。这些特征被认为是始终对分类实施做出贡献的最具判别力的特征。我们评估了重复嵌套交叉验证循环中特征排序的稳定性,以确保被识别为具有判别力的特征在不同数据子集中始终具有影响力,从而提高我们特征选择过程的可靠性。
使用Mann-Whitney U检验对来自“容易”和“困难”类别的判别特征进行比较,采用双侧显著性检验,显著性水平为.05。为解决多重比较问题并维持较低的总体I型错误率,应用Bonferroni校正方法,家族错误率为.05。在同时进行多重检验的情况下,这种校正对于降低假阳性结果的可能性至关重要。统计检验使用Python 3.9.4版本中的statsModels和SciPy模块进行。56,57
结果
HC分析了每位放射科医师对240幅图像(60例乳腺摄影病例×四个体位)中所有被怀疑为癌症的被调查局部区域的反应,包括每个队列中被报告为癌症的正常区域和实际含癌区域。图3显示了两个队列诊断错误的聚类树状图。纵轴表示组间的不相似度,横轴表示每位放射科医师。两个聚类合并的高度表示其相似性,较低的高度表示较高的相似性。异常值根据树状图的结构和聚类距离进行识别。通常,异常值是那些不明显属于任何主要聚类的数据点,或者在聚类距离方面与大多数观测值显著远离的数据点。为确保一致性和可靠性,树状图的解释和异常值的识别通过参与研究的研究人员之间的共识进行。
根据这一原则,我们发现队列A的读者A4、A10、A12、A14、A15和A20以及队列B的B2和B9在正确识别正常区域方面表现出最高的差异性,其判读模式与其余读者不同。他们比其他读者贡献了更多的假阳性错误。具体而言,读者A4、A10、A12、A14、A15和A20分别将总共82、77、87、55、73和90个正常区域报告为癌症,而队列A中每位读者的假阳性反应中位数为41。在队列B中,每位读者的假阳性反应中位数为43,而读者B2和B9分别贡献了总共66和63个误分类。尽管队列A的读者A4、A10、A12、A14、A15和A20以及队列B的读者B2和B9与较高的假阳性发生率相关,但值得注意的是,他们拥有丰富的乳腺X线摄影判读经验。所有这些读者积累的经验年数均超过了其各自队列的中位水平。每个队列中其余读者之间的诊断一致性更高。对于假阴性错误,未发现离群读者,两个队列的所有读者在检测恶性肿瘤方面表现相似。基于HC分析和树状图,我们从假阳性错误分析中排除了队列A的读者A4、A10、A12、A14、A15和A20以及队列B的B2和B9及其标注(即分别为队列A的14名放射科医师和队列B的14名放射科医师),而这些数据在假阴性错误分析中被保留(即分别为队列A的20名放射科医师和队列B的16名放射科医师)。
在排除判读模式不同的读者后,我们发现队列A和队列B的观察者分别共有207个(CC:97;MLO:110)和241个(CC:95;MLO:146)正常区域被报告为癌症。对于队列A剩余14名读者,每个区域的假阳性反应范围为1至10(CC:1-8;MLO:1-),对于队列B剩余14名读者,范围为1至7(CC:1-7;MLO:1-7),两个队列的中位值均为1。根据“诊断错误分析”部分提到的标准,假阳性反应大于1的正常区域被定义为“困难”,假阳性反应为1的区域被归类为“容易”。
对于42个含癌症区域(21个病灶×两个投照位),我们发现对于队列A的20名放射科医师,每个区域的假阴性反应范围为3至20(CC:3-20;MLO:4-20),对于队列B的16名读者,范围为1至16(CC:2-16;MLO:1-16),队列A和队列B的中位值分别为12和7.5。根据“诊断错误分析”部分提到的标准,队列A中被超过12名读者遗漏的含癌症区域以及队列B中被超过7名读者遗漏的含癌症区域被归类为“困难”,其余区域被归类为“容易”。
表2展示了基于队列的模型在预测最具挑战性的乳腺X线摄影区域的性能,这些区域最可能与队列A和队列B阅片者的错误相关。表2显示,所有预测假阳性错误的模型均显著优于随机猜测,AUC值大于0.5,这意味着基于队列的模型可用于基于图像衍生的影像组学特征来分析和预测特定阅片者队列的常见假阳性。然而,预测假阴性错误的模型性能不一致,可能的AUC值范围较宽。这很可能是因为用于训练随机森林(RF)模型的样本量较小。
表3中的结果表明,排除离群阅片者并未显著影响模型性能,两个队列和视图的P值均表明了这一点。排除离群值后的模型AUC值与纳入所有阅片者的模型AUC值基本相当。
图4展示了我们提出的模型正确分类和错误分类的乳腺X线摄影表现示例。值得注意的是,我们的模型表现出一种倾向:将强度值不均匀的区域分类为“难以”判读,而将强度变化较少的区域分类为“容易”判读。这一发现与AL Mousa等人的眼动追踪研究一致,他们观察到病灶的感知难度(表现为注视时间延长和注视次数增多)主要受病灶是否位于致密纤维腺体组织内的影响。58
表4列出了对每个分类流程有显著贡献的前五个判别性影像组学特征。我们可以看到,基于Gabor滤波器和MR滤波器的统计量以及来自灰度共生矩阵(GLCM)的特征被频繁选为重要属性。这些特征的判别能力通过Mann-Whitney U检验进行评估,我们发现部分特征在两个难度类别之间的分布具有统计学差异(表4)。具体而言,对于分析假阳性错误的模型,Gabor和MR输出值较高的乳腺X线摄影区域对两个队列的阅片者而言更难正确判读;在队列A中,“灰度不均匀性”较高的区域也特别难以判读,表明显示不均匀强度值的区域比灰度均匀的区域更常与假阳性相关。
对于研究假阴性错误的模型,来自GLCM的“相关性信息度量2”、“能量”、“差分方差”和“聚类阴影”在队列A阅片者的“容易”类别中具有统计学上更高的值,表明在灰度水平相对均匀的背景中,具有明显强度差异的癌症更容易被检出。然而,对于队列B的放射科医师而言,流程所选择的特征均未在两个类别之间显示统计学显著差异。尽管如此,“困难”组中略高的“能量”(来自灰度游程矩阵,GLDS)和“和熵”(来自GLCM)以及较低的“Law's measures”和“均值”(来自GLDS)提示,在强度变化较大的相对粗糙背景中,边缘和斑点不明确的癌症更可能被队列B的阅片者漏诊。
讨论
在本研究中,我们回顾性分析了来自两个不同地理人群的放射科医生的阅片数据,这些医生评估了包含致密筛查乳腺X线摄影的同一测试集,并提出了利用图像衍生的影像组学特征预测诊断错误的机器学习流程。我们的研究结果显示,具有相似地理特征的放射科医生,无论阅片专业水平如何变化,在评估致密乳腺X线摄影时具有相似的犯错模式,而这些规律可以被我们提出的流程成功预测。这一发现对未来针对队列定制化的放射学培训研究具有深远意义,可指导乳腺X线摄影解读中定制化教育项目的开发。此类项目可根据我们提出的流程所捕捉到的特定阅片者队列的共同错误模式,纳入针对这些队列量身定制的具有挑战性的乳腺X线摄影病例。
为了探究具有匹配地理特征的放射科医生的阅片行为是否具有可比性,我们首先使用凝聚层次聚类(HC)分析了读者对所有可疑局部区域的反应,包括疑似癌症的正常区域和恶性区域。通过这样做,读者根据诊断一致性被迭代聚类,那些解释最不相似的读者单独形成一个分支。我们发现同一人群中的一些读者可以聚类到同一分支,表明在检测恶性肿瘤和识别正常表现时具有可比较的解释模式。虽然承认其他混杂因素可能影响了我们的结果,但这一发现强调了在乳腺X线摄影解释中考虑地理因素的重要性,并突出需要针对特定区域进行培训以应对这些差异并提高诊断准确性。我们的发现进一步证实了解释致密乳腺X线摄影的困难。在致密乳腺X线摄影中,癌症被叠加的正常组织所掩盖,导致假阴性概率更高,因此读者更有可能实际上“达成一致”而遗漏病变。59另一方面,不透X线的正常组织的叠加产生了可以模仿恶性肿瘤的新特征,导致乳腺X线摄影上出现多个可疑区域。59由于遗漏恶性肿瘤将导致治疗延迟和不良健康结局,一些读者可能更为保守以避免遗漏任何可疑表现。然而,值得注意的是,较高的假阳性也可能由于实验室效应,意味着评估测试集时的阅片行为可能不反映实际临床实践中的表现。这也是我们将这些离群读者从模型构建中排除的原因。
采用HC并排除离群读者的理由是为了提高所提出的基于队列模型的泛化能力。这涉及识别阅片模式与同队列 peers 显著分歧的放射科医生,并随后将其从模型开发中排除。然而,比较所有纳入读者的模型与移除离群读者后的模型性能,未发现统计学显著差异。这表明离群读者的存在不影响模型的准确性。因此,模型在更广泛的放射科医生人群中展示了可靠的泛化能力。然而,值得指出的是,我们的研究使用了内部验证,这可能导致了未观察到差异。未来研究应纳入外部验证,以进一步评估模型在不同数据集和环境中的性能。这种外部验证可以为模型在我们研究中使用的特定队列和数据集之外的适用性提供额外信心。
为进一步探究特定乳腺X线表现是否更易对特定放射科医生群体诱发诊断错误,我们构建了分类模型,以比较从感知难度低和高的局部区域提取的影像组学特征。我们发现,这些模型能够成功区分那些可能被报告为癌症的正常区域与那些特定群体中大多数阅片者能够正确诊断的正常区域。准确识别正常表现对于阅读筛查乳腺X线片至关重要,因为在筛查环境中大多数病例将是正常的。此外,通过分析判别性特征,我们发现,对于来自两个群体的阅片者而言,在致密乳腺X线片上,具有较高Gabor和MR响应的正常区域更可能被报告为癌症,尽管在最大响应出现的方向和尺度上存在跨群体差异。Gabor滤波器在该分类任务中被评估出很强的判别能力并不令人意外,因为这些滤波器被认为可近似哺乳动物的视觉感受野剖面,并广泛用于边缘检测和纹理分析。60 Gabor和MR滤波器通过将图像与具有不同方向和尺度的大量滤波器进行卷积,对物体的旋转和尺度变化具有抵抗力,且输出最高的滤波器具有与所研究结构相似的朝向和尺度。60,61 直观地说,这些滤波器组输出的较大能量值表明沿特定方向的强度变化更大62,因此假阳性区域的焦点与其周围环境之间存在明显差异。这种结构会类似于实际病灶,因此会使阅片者难以排除该假阳性区域。
对于恶性区域,尽管模型性能不一致可能归因于样本量有限,但我们发现,在两个队列中,与背景粗糙、强度变化显著的肿瘤相比,周围环境均匀的肿瘤更容易被检测到。然而,单变量分析显示,随机森林(RF)模型认为重要的特征在两个难度类别之间在队列B中未显示出任何统计学差异。这可能归因于所应用的Bonferroni校正,这是一种用于控制假阳性发现的保守检验,或者可以解释为特征之间的相互关系对预测贡献最大。对于队列A,我们观察到“聚类阴影”在容易类别中表现出更高的值。这表明图像中像素小邻域内灰度值分布存在不对称性,突显了像素强度值倾向于紧密聚集在一起。当“聚类阴影”具有较高值时,表明像素强度围绕局部区域的均值或中心值更加集中,导致分布中出现更明显的峰值。相反,较低的值意味着分布更加分散和偏斜,像素强度较少集中在均值附近,导致一侧出现较长的尾部。直观地说,在“聚类阴影”具有较高值(即更明显的聚集)的病例中,病灶更容易被检测到,因为它们表现出独特且局限的像素强度集中。这种局部聚集使病灶在视觉上从周围环境中突出,有助于放射科医师在乳腺X线摄影分析中更有效地识别这些异常。另一方面,较低的“聚类阴影”值可能表明强度分布更加分散,由于缺乏独特的集中模式,可能使放射科医师更难在乳腺X线摄影中辨别和准确识别病灶。在队列A中,容易病灶还表现出更高的“相关性信息度量2”。该特征特别关注像素强度对之间的相关性,并测量沿指定方向上像素对的灰度值相似性。它被称为“信息度量”,因为它量化了所考虑的两个像素之间共享或相关的信息量。它提供了关于在定义的空间背景下,基于另一个像素的强度值可以预测或推断一个像素强度值的程度的见解。其较高的值表明配对像素的像素强度之间存在更强的线性相关;因此,像素强度沿该特定方向更强烈地相关或协同变化。当其具有较低值时,意味着两个像素的强度值彼此依赖性较低,沿指定方向显示出较少可预测的模式。当放射科医师审阅乳腺X线摄影时,他们依赖于识别可辨认的模式和独特特征来检测异常。具有较高“相关性信息度量2”值的容易病灶可能表现出更可预测和连贯的纹理模式,使其在分析过程中视觉上更突出且更容易识别。相反,具有较低“相关性信息度量2”值的更具挑战性的病灶可能表现出不规则且组织较差的纹理模式。这些区域可能包含异质性结构或重叠组织,导致像素强度之间的线性相关较弱。因此,这些区域可能在视觉上显得更加杂乱,使放射科医师更难将潜在异常与周围乳腺组织区分开来。对于该队列,容易病灶也更可能具有较高的能量值。这些容易病灶通常与周围乳腺组织相比表现出更高的对比度。病灶内明显的强度变化增强了局部均匀性,导致灰度共生矩阵(GLCM)中重复强度对的数量增加,进而导致更高的能量。在队列B中,没有任何特征对病灶可检测性产生显著影响。这种缺乏显著性可能归因于他们丰富的经验,使他们能够对恶性病灶外观形成成熟的理解。因此,他们的感知过程变得更具弹性,较少受图像特征变化的影响。这些发现强调了某些影像组学特征在乳腺X线摄影解读中的临床相关性。“聚类阴影”、“相关性信息度量2”和能量等特征提供了对病灶纹理特征的见解,有助于放射科医师检测异常。理解这些关系可以提高诊断准确性,并可能促进乳腺癌检测中更好的临床决策。
由于我们已证明具有相似地理特征的放射科医生的判读行为并非随机,而是形成了一种模式,且这种规律性可以通过我们提出的模型来表示,因此通过为特定读者队列提供更具挑战性的乳腺X线摄影病例,来制定针对队列定制的乳腺X线摄影判读教育项目是可行的。传统上,乳腺X线摄影培训在住院医师培训期间进行,由资深成员指导放射科培训生。然而,这类培训存在显著缺陷,包括遇到的恶性病例数量有限以及性能反馈延迟,如果是筛查判读,反馈往往要到年度审核时才提供。63,64 为解决这些局限性,在线乳腺X线摄影培训项目逐渐受到欢迎。例如,BREAST是一个在线乳腺X线摄影培训平台,提供自评测试集,其中包含大量乳腺X线摄影图像,癌症病例的患病率高于筛查人群,读者在完成测试集中所有乳腺X线摄影图像的评估后可立即获得个人反馈。20 然而,大多数现有的在线项目仍采用一刀切的构建方式,未必考虑读者个体和群体的错误模式。理想情况下,乳腺X线摄影测试集应根据读者的具体薄弱环节进行定制。我们的影像组学流程可以纳入培训材料的选择中,以开发针对特定队列的测试集。我们可以将所提出的流程应用于乳腺X线摄影数据库,模型将自动搜索每个病例中任何难以识别的征象。然后,可以收集富含挑战性表现的病例,为特定读者队列形成量身定制的测试集。
这项初步研究存在局限性。首先,我们测试集中的所有乳腺X线摄影图像均来自澳大利亚人群,尽管对高密度表现进行了过采样以模拟中国放射科医生所遇到的乳腺密度。65 因此,不可否认的是,与中国同行相比,澳大利亚队列可能对测试集具有更高程度的熟悉度。这种熟悉度可能有助于降低队列内读者间的变异性,并带来更好的诊断性能。为验证我们所提出方法的有效性,我们强烈建议未来研究应使用能准确代表读者临床实践中所遇人群的乳腺X线摄影图像进行。这可能需要收集中国放射科医生评估专门来自中国人群的乳腺X线摄影图像的读者性能数据。
此外,当本研究结果应用于具有不同乳腺X线摄影判读行为的不同人群放射科医师、应用于使用各种成像技术获取的乳腺X线摄影图像以及应用于不同临床环境时,应谨慎使用。未来研究应以更多样化的乳腺X线摄影阅片者验证所提出的方法学。培训、文化实践和临床指南的差异可导致放射科医师判读乳腺X线摄影图像的方式发生变化。因此,必须以来自不同人口学和专业背景的放射科医师对模型进行测试,以确保其在更广泛临床环境中的可推广性。此外,成像技术,如乳腺X线摄影设备制造商和图像采集技术,可能影响模型的可推广性。成像技术或采集方案的差异(例如,分辨率、对比度和噪声水平)可改变从乳腺X线摄影图像中提取的影像组学特征。尽管我们进行了图像预处理以标准化不同采集过程之间的差异,未来研究应进一步在各种成像平台上测试该模型以确保其稳健性。临床环境,包括放射科医师的专业水平、诊断工作流程以及医疗机构类型(例如,社区医院与专科癌症中心),也可影响乳腺X线摄影图像的判读和我们所提出的影像组学模型的应用。临床环境和专业水平的这些差异凸显了在不同临床环境中验证我们模型的重要性。我们期望未来研究在各种医疗机构和放射科医师专业水平层次上测试和完善该模型。
另一个局限性涉及用于聚类诊断标注的方法学。虽然我们实施了盲法方案和第二阅片者验证,但由于该任务的解释性质,手动调整中可能仍存在一定程度的主观性。此外,作为一项初步研究,我们仅考察了随机森林(RF)内置特征选择方法在预测诊断错误方面的有效性。互信息、递归特征消除(RFE)或LASSO正则化等替代方法可能产生不同的判别性特征集。我们认识到方法的选择可影响模型的可解释性和泛化性能,并希望未来研究继续探索这些方法学以增强其在不同情境中的应用。最后,放射科医师在阅读癌症患病率较高的测试集时的阅片行为可能因实验室效应而与临床实践中的行为不同。这也可能是为什么在HC分析中,同一队列中某些放射科医师比其余医师贡献了更高数量假阳性的原因。然而,我们在本研究中排除了阅片模式最为不同的阅片者,以增强模型的通用性。此外,该问题可通过在实际临床实践中调整难度阈值来解决,值得未来研究调查放射科医师在真实世界中的诊断行为。
结论
基于队列的人工智能流程能够成功地将局部乳腺X线影像表现映射到阅读致密筛查乳腺X线片时队列特定的诊断错误,并具备根据图像衍生的影像组学特征预测特定阅片者队列常见假阳性错误的能力。所提出的方法可进一步验证并应用于开发更具挑战性的乳腺X线病例,以开展针对群体的定制化培训,从而提高未来乳腺X线判读的准确性。
补充材料
引用
- Tao X, Gandomkar Z, Li T, et al. Radiomic analysis of cohort-specific diagnostic errors in reading dense mammograms using artificial intelligence. Br J Radiol. 2025. PMID: 39383202. doi:10.1093/bjr/tqae195
- 全文:PMC11652727(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11652727/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。