基于治疗前超声与断层摄影的多模态影像组学能否预测乳腺癌新辅助全身治疗反应
本研究利用720例乳腺癌患者治疗前超声与断层摄影影像组学特征联合临床变量构建支持向量机算法预测病理完全缓解,多模态模型AUC为0.81(95%CI 0.75–0.87),显著高于仅用临床变量的0.72(95%CI 0.65–0.78),假阴性率为6.7%(150例中漏诊残余癌10例)。
要点
- 多模态影像组学模型预测pCR的AUC为0.81,高于临床模型的0.72,差异有统计学意义(p=0.007)。
- 多模态模型假阴性率6.7%(150例中10例漏诊残余癌),低于临床模型的14.0%(150例中21例)。
- 断层摄影肿瘤表面体积比与超声瘤周熵是最重要的影像组学特征,激素受体和HER-2状态是最重要的临床预测因子。
核心结论
- 基于治疗前临床、超声和断层摄影影像组学特征的多模态机器学习算法可能有助于预测新辅助全身治疗后残余癌。
- 作者认为在等待前瞻性验证的前提下,该算法可能有助于制定个体化的新辅助全身治疗方案。
研究设计与样本
- 单中心回顾性研究,纳入2010至2020年在海德堡大学医院接受新辅助全身治疗前完成超声和断层摄影检查的720例乳腺癌患者,随机分为开发集504例(70.0%)和验证集216例(30.0%)。
- 采用支持向量机算法,输入变量包括临床变量、超声影像组学特征和断层摄影影像组学特征,以手术标本组织病理学评估为参考标准定义pCR(ypT0且ypN0)。
- 超声图像使用Siemens S2000和S3000采集,断层摄影使用Novation和Inspiration采集;图像经直方图匹配、半自动分割(肿瘤及3 mm瘤周空间)、重分割(μ±3σ)和离散化(bin宽度10)后,用Pyradiomics提取特征。
- 在开发集上采用10折交叉验证进行特征选择和模型训练,以90%敏感度在开发集上通过1000次bootstrap重复选择二分类风险阈值。
诊断标准与关键数值
- 多模态影像组学联合临床变量模型预测pCR的AUC为0.81(95%CI 0.75–0.87),显著高于临床变量模型的0.72(95%CI 0.65–0.78),p=0.007。
- 断层摄影肿瘤加瘤周影像组学模型AUC为0.79(95%CI 0.72–0.85),显著高于临床变量模型(p=0.03)。
- 多模态模型假阴性率为6.7%(150例中10例漏诊残余癌),显著低于临床变量模型的14.0%(150例中21例),p=0.016。
- 以ypT0/is、ypN0为终点定义时,多模态模型AUC为0.78(95%CI 0.71–0.85)。
- 按肿瘤生物学亚型,Luminal亚型AUC最高为0.83(95%CI 0.75–0.91),三阴性乳腺癌亚型AUC最低为0.71(95%CI 0.57–0.83)。
临床应用与阅片要点
- 作者认为该算法可在治疗前识别可能达到病理完全缓解的患者,高阴性预测值有助于排除残余癌。
- 作者提出一种设想的临床路径:检测阳性患者接受手术;检测阴性患者接受扩展的非侵入性活检,其中活检阳性者再接受手术。
- 作者指出阴性预测值为71.6%,意味着28.4%被告知阴性结果的患者可能实际存在残余癌而跳过手术。
- 作者认为在决策曲线分析中,阈值概率从0.29至1.0时多模态模型净获益最高。
局限性
- 原文指出本研究为回顾性、单中心研究,可能存在选择偏倚,因为相当数量未在本院接受影像检查的患者被排除。
- 原文指出单一族群信息是另一偏倚来源,例如亚洲女性乳房更致密,可能对模型泛化能力产生负面影响。
- 原文指出需在不同超声和断层摄影设备采集的图像上重复验证,并需要前瞻性多中心研究进一步验证。
- 原文指出断层摄影仅允许两个平面的数字重建而非三维重建,故本研究仅分析断层摄影的单个层面;未来研究可分析断层摄影视频片段以挖掘其全部潜力。
- 原文指出分析时间跨度从2010至2020年,患者接受了多种新辅助全身治疗方案,且在此期间诊疗标准已发生变化。
全文中译16 节 · 点击展开
引言
新辅助全身治疗(NAST)是早期乳腺癌患者的标准治疗,因为它可以监测疗效并实现肿瘤降期[1]。达到病理完全缓解(pCR)的患者与非pCR患者相比,生存率显著更好[2]。在治疗开始前了解个体达到pCR的可能性,有助于制定个体化优化的NAST方案。
近年来,机器学习在医学中的应用发展迅速[3]。已有多个影像组学研究探索了预测乳腺癌对NAST的肿瘤反应[4–6]。影像组学是一种能够提取图像特征并以数值形式呈现的工具[7]。目前,基于影像组学的算法在预测乳腺肿瘤反应方面显示出良好前景,但存在一定局限性:(1)高性能常见于使用NAST完成后/接近完成时的影像学检查的算法,这限制了预测算法的临床应用;(2)大多数研究[8–10]探讨的是单模态影像组学,不能代表临床常规中的综合多模态影像流程(主要为超声和乳腺X线摄影/断层合成);(3)尽管基于MRI的影像组学模型显示出满意结果[9],但由于禁忌证和经济原因,MRI检查并非每位患者的常规检查[11];(4)缺乏清晰报告的标准化图像处理流程,而这对模型性能和泛化能力有很大影响;(5)断层合成近期在筛查乳腺极度致密及乳腺癌高风险女性方面显示出优于乳腺X线摄影的性能[12],但基于断层合成的影像组学算法在NAST反应评估中的性能仍未知。
在本研究中,我们旨在开发并比较使用多模态治疗前超声和断层合成影像组学特征联合临床变量的智能算法,以在治疗开始前预测乳腺癌的pCR。
方法
研究设计
这项单中心回顾性研究符合《赫尔辛基宣言》,并获海德堡大学医学院伦理委员会批准(S-092/2022)。
在本研究中,我们旨在开发并比较使用治疗前超声和断层合成影像组学特征联合临床变量的智能算法,以在治疗开始前预测乳腺癌对NAST的反应。我们考虑了三种不同类型的输入变量:临床变量、超声影像组学和断层合成影像组学。临床变量的完整列表和定义详见补充表S2。因此,我们根据输入变量评估并比较了不同模型:仅临床变量。
临床变量和带瘤周信息的单切面超声影像组学。
临床变量和带瘤周信息的双切面超声影像组学。
临床变量和断层合成影像组学。
临床变量和带瘤周信息的断层合成影像组学。
使用临床、超声和断层合成影像组学(包括瘤周信息)的综合多模态模型。
患者选择
纳入标准如下:经病理学证实诊断为乳腺癌的患者。
接受新辅助全身治疗。
在海德堡大学医院接受新辅助全身治疗前接受了乳腺断层摄影和超声检查。
诊断时无远处转移。
任何肿瘤生物学特征。
排除标准如下:合并其他肿瘤疾病。
年龄<18岁。
患者的超声和断层摄影图像由专注于乳腺诊断的经验丰富的医师使用西门子设备采集(超声使用Siemens S2000和S3000,断层摄影使用Novation和Inspiration)。记录超声图像最清晰的双切面(最大直径切面和90°切面),并选取和记录断层摄影图像中内外侧斜位(MLO)切面和内外侧位(ML)切面中肿瘤最大的一个层面。所有图像以医学数字成像和通信(DICOM)格式存储。相应的临床变量从患者病历中记录(表1)。
图像处理
直方图匹配
我们使用直方图匹配以保持不同型号设备和设置采集图像的一致性[13],并选取一张正常超声图像和一个正常断层摄影图像层面进行直方图匹配。2)分割
我们使用开源软件3D slicer(4.13.0-2022-04-01)进行分割,半自动勾画肿瘤轮廓,并使用3D slicer中的“Hollow”效果生成3 mm瘤周空间[14]。图1展示了超声图像和断层摄影图像中的分割示例。3)再分割、离散化和特征提取
再分割和离散化在进行特征提取时同时完成。再分割用于去除分割区域内灰度级超出指定范围的像素,以减少手动勾画引起的误差[15]。离散化在概念上等同于创建直方图,以使特征计算易于处理[16]。它们在实际操作层面表现为特征提取的参数。我们使用最常见的参数μ±3σ进行再分割[15, 17](μ代表灰度级均值,σ代表标准差)。图像离散化的最佳箱宽数量仍不明确[18];我们将离散化的箱宽设为10。我们使用开源软件Pyradiomics进行特征提取[19]。4)特征选择
我们在开发集上使用皮尔逊相关系数矩阵(PCCM)和嵌入10折交叉验证的递归特征消除(RFE)进行特征选择。首先,应用PCCM识别特征间的多重共线性;对于相关系数大于0.85或小于−0.85的任意特征对,仅保留一个特征[20]。其次,在开发集上应用RFE进一步减少影像组学特征的数量[21] [22]。
结局与定义
对手术标本的病理学评估作为定义pCR的金标准。如果在乳腺和腋窝淋巴结中未发现残留的浸润性或原位肿瘤细胞(ypT0和ypN0),我们假定为pCR。详情见表1。
模型构建与评估
对于算法的开发和报告,我们参考了医学机器学习的指南[23]、诊断试验的指南[24]和多变量预测模型的指南[25]。数据补充材料中提供了一份基于近期医学机器学习指南的核查清单。
我们选择支持向量机(SVM)算法进行模型构建,因其具有考虑特征间非线性关系的已知特性[26]。我们将整个队列随机分为开发集(720例中的504例,70.0%)和验证集(720例中的216例,30.0%)。
在开发数据集上使用十折交叉验证进行算法训练和内部测试。通过超参数网格搜索选择最优超参数。假阴性率(FNR)被作为模型性能的主要衡量指标。二分类结局预测的风险阈值在开发集中以90%灵敏度选定,通过在1000次自助法重复中最大化该指标来确定。随后使用验证集对优化阈值后的最终整合多模态模型进行验证。图2展示了在开发集中为最终整合多模态模型选择的截断值。
我们计算了其他诊断指标,如受试者工作特征曲线下面积(AUC)、准确率、特异度、灵敏度、假阳性率(FPR)、阳性预测值(PPV)和阴性预测值(NPV)。我们使用R语言中的“DALEX”包来计算通过置换计算的不可知变量重要性度量(例如,先计算完整模型的损失函数,再计算随机化响应变量的损失函数)。我们使用决策曲线分析(DCA)来更好地说明模型临床应用的获益[27]。所有分析均使用Python(版本3.9.7)和R(版本4.2.1)完成。
统计分析
我们进行了描述性分析以说明开发集和验证集基线特征的分布。我们使用卡方检验比较分类数据,使用t检验比较连续数据,以评估开发集与验证集之间基线特征的差异。我们使用2000次按结局变量(非pCR、ypT+和/或ypN+)分层的自助法重复计算算法的受试者工作特征曲线下面积及相应的95%CI。使用Venkatraman方法检验比较模型性能[28]。使用比例检验比较模型的诊断性能[29]。使用校准图(观察概率 vs. 预测概率)和Spiegelhalter's Z统计量评估模型校准度[30, 31]。
p值<0.05被认为具有统计学意义。
结果
患者流程
2010年至2020年在海德堡大学医院接受新辅助全身治疗的1643例患者中,75例因远处转移被排除,768例因未在我们机构接受治疗前超声和/或断层合成检查被排除,80例因技术问题(无法传输至图像分析软件,或双视图超声图像被并排保存在一张图像中而非两张独立图像)而丢失。剩余720例患者纳入本研究分析(图3)。
基线特征
720例患者中,33.6%(242/720)达到病理完全缓解(pCR)。比较开发集与验证集,开发集中更多患者为雌激素受体(ER)阳性肿瘤(60.1% vs. 52.1%,p = 0.046)。基线临床特征详情见表1。按乳腺癌亚型分类的pCR率见表2。Her-2过表达亚型在整个队列(49/79,62.0%)和开发集(35/51,68.6%)中达到最高pCR率。
特征选择
每次分割提取130个特征,因此对于接受双视图超声和断层合成检查、并进行肿瘤及瘤周分割的患者,共提取780个特征。应用PCCM去除非数值特征后,保留了22个超声影像组学特征和33个断层合成影像组学特征。最终通过RFE筛选出23个特征,详见表S3。最终模型特征见表S4。
模型性能
图4展示了不同支持向量机(SVM)模型之间的比较:临床模型、单视图超声模型、双视图超声模型、断层合成肿瘤影像组学模型、断层合成肿瘤加瘤周影像组学模型,以及整合多模态临床、超声和断层合成影像组学特征的综合模型。与临床模型相比,多模态模型和断层合成肿瘤加瘤周影像组学模型在预测肿瘤对新辅助全身治疗(NAST)反应方面性能显著更高(曲线下面积(AUC)分别为0.81,95% CI 0.75–0.87和0.79,95% CI 0.72–0.85,对比0.72,95% CI:0.65–0.78;p = 0.007和p = 0.03)。其余模型的AUC值有所提高但无统计学显著性(表S4)。当以ypT0/is、ypN0作为终点定义时,整合多模态模型的性能为AUC 0.78(95% CI 0.71–0.85;见表S6)。
着眼于可靠地排除NAST后残留癌,多模态模型显示出显著更低的假阴性率(FNR)为6.7%(150例中10例遗漏残留癌), compared to 临床模型(14.0%,21/150,p = 0.016)。表3显示了临床模型和多模态模型的诊断性能指标。
表4显示了临床模型和多模态模型的混淆矩阵以及按肿瘤生物学亚型分类的AUC值。Luminal亚型达到最高AUC为0.83(95% CI:0.75–0.91),三阴性乳腺癌(TNBC)亚型达到最低AUC(0.71,95% CI:0.57–0.83)。
模型预测的深入分析
表5展示了非病理完全缓解(non-pCR)与病理完全缓解(pCR)比较的临床单因素和多因素logistic回归结果。在进行多因素logistic回归分析后,Ki-67(比值比[OR] 0.99;95% CI,0.98至1.00,p = 0.003)、围绝经期状态(OR 0.54;95% CI,0.31至0.95,p = 0.032)、雌激素受体(ER)阳性状态(OR 1.82,95% CI,1.15至2.89,p = 0.011)、孕激素受体(PR)阳性状态(OR 2.14,95% CI,1.35至3.40,p = 0.001)以及HER-2阳性状态(OR 0.32,95% CI,0.22至0.47,p < 0.001)与新辅助全身治疗(NAST)后non-pCR显著相关。
图5展示了对多模态SVM模型预测结果的变量重要性分析。最重要的五个变量分别为断层合成肿瘤原始形状表面体积比、ER状态、HER-2状态、超声肿瘤原始灰度级大小区域矩阵(GLSZM)区域熵以及PR状态。
图6展示了整合多模态模型与临床模型的决策曲线分析。图中显示了两种模型以及默认策略(治疗所有患者[always act]或不治疗任何患者[never act])的净获益。在0.29至1.0的阈值概率范围内,整合多模态模型具有最高的净获益。
模型校准
图S2展示了多模态SVM模型的校准图;Spiegelhalter's z检验表明模型校准良好(z = 0.2301,p = 0.409)。
讨论
我们开发并比较了使用多模态治疗前超声和断层合成影像组学特征以及临床变量的智能算法,用于在乳腺癌治疗开始前预测NAST疗效。与仅使用临床变量的算法相比,整合多模态算法在评估NAST疗效方面显示出显著改善(AUC 0.81,95% CI 0.75–0.87 vs. AUC 0.72,95% CI 0.65–0.78,p = 0.007),假阴性率(FNR)为6.7%(150例患者中10例手术标本遗漏残留癌,ypT+或ypN+)。据我们所知,这是首项使用来自不同检查的多模态影像组学特征在治疗前进行预测的研究。我们的研究严格遵循影像生物标志物标准化倡议(ISBI)指南[15],并提供了透明的图像处理参数(即直方图匹配、图像再分割和离散化)。
在过去十年中,对接受新辅助全身治疗(NAST)的乳腺癌患者进行个体化治疗一直是一个研究重点。尽管高达60%的患者可达到病理完全缓解(pCR)(取决于肿瘤大小和生物学特征)[32],但由于缺乏在手术前可靠排除残留癌的工具,目前每位患者都必须接受手术。最近一项单中心研究报告了在严格入选标准(cT1-2、cN0-1、三阴性或HER-2阳性、NAST后影像学残留病灶<2 cm)的患者中,NAST后采用真空辅助活检(VAB)省略乳腺手术的首个肿瘤学结局:在26.4个月的随访中无同侧复发[33]。然而,此前在多中心环境中使用VAB显示出较高的假阴性率(FNR)[34]。最近,一种多中心智能VAB算法显示FNR为0.0–5.2%[35]。我们本研究显示了可比的结果(FNR:6.7%,150例中10例),且未使用额外的活检操作,仅使用治疗前信息。
在这一临床背景的基础上,可以设想NAST后所涉及患者的潜在新路径:现实世界场景目前将所有患者在NAST后引导至手术,并接受组织学阴性患者的高比例过度治疗(手术),但通过整合多模态模型避免治疗不足。所有检测阳性患者可能被引导至手术,导致假阳性患者的过度治疗(41/181;22.6%;假阳性),然而这仍低于当前实践(100%接受手术)。所有检测阴性患者可能被引导至扩展的无创活检。假阴性患者的治疗不足(10/35;28.5%)必须避免,并可通过肿瘤床的扩展影像引导真空辅助活检或放疗并省略手术来预防。活检结果阳性的患者需要被引导至手术。最后,11.6%(25/216)将从这一降阶梯概念中获益;这一比例与近期乳腺癌局部区域管理中的范式转变一致[36]。然而应当注意,71.6%的阴性预测值(NPV)意味着28.4%被告知检测结果为阴性(无肿瘤)的患者可能跳过手术,尽管实际上仍有残留癌残留。值得注意的是,过去乳腺癌的手术降阶梯策略基于FNR,因为FNR独立于相应人群中的患病率。
许多研究试图建立影像组学模型来预测肿瘤对NAST的反应,但其性能和质量参差不齐[37]。在性能方面,从多次检查中提取的特征表现更好,AUC范围为0.86[38]至0.94[5],但要求患者接受多次检查(即治疗前、早期治疗——完成两个[38]和/或四个[8]周期NAST后——以及治疗后)。这需要患者高度依从,并在临床应用中消耗医生大量精力。在质量方面,一些研究从单一时间框架的检查中提取特征,但未报告具体时间[39–41]。其他研究仅使用治疗前影像组学特征开发模型,性能范围为0.79[42]至0.92[43]。然而,样本量仍然有限[25](开发集最多362例患者[43])。
肿瘤周围空间被认为与肿瘤微环境高度相关,并在肿瘤血管生成和增殖过程中发挥重要作用[44]。基于MRI[9]、超声[10]和乳腺X线摄影[39]的影像组学研究证明,肿瘤周围空间可为预测肿瘤反应提供补充信息。但肿瘤周围空间的最佳宽度仍存在争议,一些研究表明较宽的肿瘤周围空间(10 mm)比较窄的空间(5 mm)表现更差[39]。少有研究探讨肿瘤周围空间在断层合成成像中的效能。在本研究中,我们从3 mm肿瘤周围空间中提取特征,与仅基于断层合成肿瘤的模型相比,断层合成肿瘤加肿瘤周围空间模型的性能有所提高,但无统计学显著性。
关于医学图像分析应优先选择影像组学还是深度学习分析,目前仍在讨论中。深度学习分析通常表现出更高的性能,且在图像处理过程中需要的人工工作较少;然而,其缺乏可解释性。另一方面,影像组学需要耗时的(半)自动图像分割,但允许模型具有一定程度的可解释性[4, 5, 8]。在本研究中,有2个影像组学特征在所有变量中排名前5:第一,断层合成成像中肿瘤的原始表面积体积比(SA:V)。SA:V越高,NAST后越可能存在残留癌。这可能表明,在断层合成成像上形状更紧凑(类球形)的肿瘤患者可能有更高的机会达到pCR(例如三阴性肿瘤)[45],而形状不规则、蟹样和多边形肿瘤的患者达到pCR的机会较低(例如管腔型肿瘤)。第二,超声图像中肿瘤的原始GLSZM区域熵。GLSZM区域熵衡量区域大小和灰度分布中的不确定性/随机性。值越高表明纹理模式中的异质性越大[19]。这可能表明,超声图像上回声不均匀的乳腺肿瘤达到pCR的机会较低。
本研究存在局限性。第一,这是一项回顾性、单中心研究。潜在的选择偏倚可能影响了我们的研究结果,因为相当数量的未在我们机构接受影像学检查的患者被排除在外。另一个偏倚来源是单一的人种学信息,例如,亚洲女性往往乳腺密度更高[46],这可能对模型的泛化性产生负面影响[47, 48]。第二,我们的研究结果需要在不同超声和断层合成设备拍摄的图像上进行重复验证,以确保算法的泛化性。需要一项前瞻性、多中心研究来进一步验证我们的研究结果。第三,断层合成允许在2个平面进行数字重建,但不支持3D重建。因此,本研究仅分析了断层合成平面的单个切片。未来研究可探索自动分析断层合成视频片段,以充分发挥断层合成的潜力。第四,我们的分析跨越2010年至2020年的大时间跨度,患者接受了多种新辅助全身治疗(NAST),且在此期间诊疗标准已发生变化。由于我们的研究聚焦于治疗前超声图像,我们不认为不同NAST对影像学缓解的影响会干扰我们的模型,但我们承认,随着现代NAST方案的使用,对NAST的缓解已有很大改善[32, 49]。因此,输入和输出参数随时间变化的问题可能是未来研究需要关注的一个点,在将来将此类似模型应用于临床实践时也是如此。第六,pCR存在不同的定义(ypT0, ypN0 vs. ypTis, ypN0)。虽然大多数指南允许将残留原位病变视为完全缓解,但我们本研究的开展着眼于潜在早期排除残留癌以减少手术处理。因此,原位病变也必须排除(手术切除的适应证),这就是我们选择该终点指标的原因,与此前该主题的研究一致[35]。我们在表S6中提供了整合多模态模型在不同pCR定义(ypT0, ypN0 vs. ypT0/is, ypN0)下性能的比较。第七,超声存在固有的评估者间变异性,这也适用于基于影像组学的超声分析。因此,需要未来研究来确认特征的可重复性。为在影像组学分析中尽量减少特征偏倚,我们使用了固定箱宽进行图像离散化,并采用异常值去除技术进行再分割,这符合最新指南和该领域的其他研究[15, 50]。
结论
我们开发并比较了使用多模态治疗前超声和断层合成影像组学特征以及临床变量的智能算法,以在乳腺癌治疗开始前预测对新辅助全身治疗(NAST)的反应。与仅使用临床变量的算法相比,整合的多模态算法在评估对NAST的反应方面显示出显著改善(AUC 0.81,95% CI 0.75–0.87 对比 AUC 0.72,95% CI 0.65–0.78,p = 0.007),验证集中的假阴性率(FNR)为6.7%(150例患者中10例在手术标本中遗漏残留癌,ypT+或ypN+)。多模态治疗前超声和断层合成影像组学模型的FNR与既往使用微创活检可靠排除NAST后残留癌的更具侵入性研究处于相同范围。我们研究结果的进一步前瞻性验证似乎是有必要的,以确认我们的结果并在治疗开始前实现对NAST结局的个体化预测。
补充信息
ESM 1(PDF 257 kb)
引用
- Cai L, Sidey-Gibbons C, Nees J, et al. Can multi-modal radiomics using pretreatment ultrasound and tomosynthesis predict response to neoadjuvant systemic treatment in breast cancer? Eur Radiol. 2023. PMID: 37707548. doi:10.1007/s00330-023-10238-6
- 全文:PMC10957593(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10957593/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。