预测克罗恩病黏膜愈合:基于肠道超声图像的深度学习模型开发
该回顾性队列研究纳入190例克罗恩病患者共1548张基线肠道超声图像,构建卷积神经网络模型预测标准化治疗1年后的黏膜愈合。模型在测试队列中平均AUC为0.73,敏感度68.1%、特异度69.5%、阳性预测值80.0%;热图显示模型主要关注肠壁、浆膜面及周围肠系膜信息。作者结论认为模型具有较好准确性,但需更多多中心真实世界数据进一步验证和改进。
要点
- 模型基于基线肠道超声图像联合临床实验室表格数据,预测克罗恩病治疗1年后的节段性黏膜愈合,测试队列平均AUC为0.73。
- 热图提示模型决策主要考虑肠壁、浆膜面及周围肠系膜信息,而非仅依赖肠壁分层等肉眼形态特征。
- 患者层面预测敏感度37.7%、特异度88.8%,与节段层面性能存在差异,阅片时需注意模型输出层级。
核心结论
- 作者结论为基于肠道超声图像开发的深度学习模型可预测克罗恩病黏膜愈合,具有较好准确性,但需更多多中心、真实世界数据进一步验证和改进。
研究设计与样本
- 回顾性队列研究,在单家三级医院连续纳入2015年9月至2022年2月住院的克罗恩病患者,最终纳入190例、1548张基线肠道超声图像。
- 纳入标准为符合ECCO指南确诊克罗恩病、基线接受经腹肠道超声和内镜检查、接受符合ECCO-ESGAR指南的标准化治疗并随访≥12个月。
- 图像按检查日期分为训练队列(2015年9月至2020年4月,120例、1010张图像)和测试队列(2020年5月至2022年2月,70例、538张图像)。
- 参考标准为随访内镜评估的黏膜愈合,定义为内镜下无活动性炎症(SES-CD为0),由对临床、实验室和超声数据设盲的消化科医生独立判定。
- 采用预训练ResNet50提取图像特征,结合SE模块和动态仿射特征图变换结构融合图像与表格数据,行5折内部交叉验证并在独立测试队列评估。
关键影像表现/征象
- Grad-CAM热图显示模型主要捕获病变最重肠壁、浆膜面及周围肠系膜区域的特征,暖色表示预测意义较大的激活区域。
- 基线肠道超声图像中,回盲部338张(21.8%)、结肠710张(45.8%)、小肠500张(32.3%)。
- 图像选择要求沿纵轴清晰显示肠壁且伪影最少,肠壁厚度>3 mm视为疾病指征,每个受累部位至少保证1张合格图像。
诊断标准与关键数值
- 测试队列中模型预测节段性黏膜愈合的平均AUC为0.73(95% CI:0.68-0.78),平均敏感度68.1%(95% CI:60.5-77.4%)、特异度69.5%(95% CI:60.1-77.2%)、阳性预测值80.0%(95% CI:74.5-84.9%)、阴性预测值54.8%(95% CI:48.0-63.7%)。
- 训练队列5折内部交叉验证平均AUC为0.77(95% CI:0.71-0.83);仅用超声图像建模时5折内部交叉验证平均AUC为0.66(95% CI:0.61-0.73)。
- 作为对比,基线IBUS-SAS预测节段性黏膜愈合的AUC为0.67(95% CI:0.69-0.76),截断值34.5,准确率62.8%(95% CI:54.5-68.1%)、敏感度72.6%(95% CI:64.5-77.8%)、特异度57.8%(95% CI:53.5-61.7%)、阳性预测值46.9%(95% CI:41.7-52.3%)、阴性预测值80.5%(95% CI:73.3-83.8%)。
- 患者层面模型预测黏膜愈合的平均敏感度为37.7%(95% CI:23.5-53.6%)、特异度为88.8%(95% CI:73.4-96.9%)。
- 患者层面判定规则为:若患者所有超声图像均预测为黏膜愈合则判为愈合,任一图像预测为未愈合则判为未愈合。
临床应用与阅片要点
- 原文引用ECCO-ESGAR指南推荐肠道超声作为评估和监测克罗恩病的一线影像学检查。
- 模型输出以节段性黏膜愈合预测为主,患者层面聚合判定时敏感度较低(37.7%),阅片和报告时需注意区分节段层面与患者层面的预测性能差异。
- 模型决策主要依赖肠壁、浆膜面及周围肠系膜信息,提示日常肠道超声采集和图像选择时应保证这些区域清晰显示。
局限性
- 原文结论指出需更多多中心、真实世界数据进一步验证和改进该模型。
- 原文讨论指出既往多数研究样本量小或缺乏外部验证,导致证据不足;本研究为单家三级医院回顾性队列,未进行外部验证。
- 原文讨论指出预测临床结局本身具有挑战性和复杂性,模型性能可能不及某些诊断模型的高准确率。
全文中译13 节 · 点击展开
引言
克罗恩病(CD)是一种慢性炎症性肠病。过去十年间,CD药物治疗取得了快速发展,尤其是多种新型生物制剂疗法,显著改善了CD患者的预后[1]。然而,患者对药物的反应高度异质,且往往呈现随机性[2]。考虑到这些药物的潜在副作用和高昂费用,越来越需要开发能够可靠地早期预测黏膜愈合(治疗成功的标志性指标)的准确模型[3]。预测治疗反应的能力将有助于实现个性化和精准的患者管理,最终改善CD患者的长期结局[2]。
已有研究尝试通过传统统计方法,利用各种人口学、生化和基因组因素(包括发病年龄、吸烟、粪便钙卫蛋白水平、凋亡基因多态性、循环细胞因子、miRNA)来预测黏膜愈合[4–6]。尽管研究众多,尚无预测模型成功开发用于临床。新的潜在预测因素结合新型分析方法,如血清学标志物、基因组学和人工智能,可能成为新的突破点,有待探索。
肠道超声(IUS)是评估CD肠道状况不可或缺的影像学手段。欧洲克罗恩病和结肠炎组织与欧洲胃肠和腹部放射学会(ECCO-ESGAR)指南推荐IUS作为评估和监测CD的一线影像学检查[7]。近期研究已发现治疗前IUS特征与治疗反应之间存在关联,提示IUS具有潜在预测价值[4, 8, 9]。IUS的一个优势在于能够提供肠壁的详细视图,便于检查肠壁形态、血流信号和蠕动功能,从而提取更详细的信息[10]。
近年来,深度学习方法在诊断或预测多种疾病(包括CD)的治疗反应方面展现出良好前景[11]。与人眼只能判断粗略形态特征(如肠壁分层和半定量血流分级)不同,深度学习技术可以从病变肠壁中提取详细信息,使研究人员有可能评估各种治疗反应。然而,利用IUS图像通过深度学习方法预测黏膜愈合的研究尚属空白。
为开发一种可能促进CD治疗改进和个体化的实用方法,本研究旨在基于基线IUS图像以及临床、实验室和内镜数据,开发一个能够预测黏膜愈合的深度学习模型。
材料与方法
患者与研究设计
本回顾性队列研究在一家三级医院进行,并经该医院机构审查委员会(IRB)批准。IRB豁免了书面知情同意。2015年9月至2022年2月期间连续住院的CD患者符合研究纳入条件。纳入标准如下:(1)根据ECCO指南[12, 13]确诊CD诊断;(2)基线时接受经腹IUS和内镜检查;(3)接受符合ECCO-ESGAR指南的标准化治疗方案,并在≥ 12个月的随访期内接受常规评估。排除标准如下:(1)IUS或内镜对肠道病变评估不完整;(2)随访期间接受胃肠道手术或干预;(3)妊娠、严重全身合并症或肠道合并症,包括肠道恶性肿瘤、白塞病或肠结核。
基线时收集人口学信息、临床病程、蒙特利尔分型、吸烟状况、用药史、手术史、C反应蛋白(CRP)、白蛋白(Alb)、CDAI和克罗恩病简化内镜评分(SES-CD)。随后患者接受抗炎治疗并定期随访至少一年,根据症状、生化标志物、内镜和影像学研究进行重新评估。在开始治疗后至少12个月(52周)进行结肠镜检查。对于有小肠受累的患者,额外进行胶囊或球囊辅助小肠内镜检查。在我们的队列中,67例患者有小肠病变,涉及小肠的500幅IUS图像。
IUS检查与图像选择
三位具有> 10年肠道影像经验的放射科医师之一使用Philips iU22(Philips Healthcare)或SuperSonic Aixplorer(SuperSonic Imaging)机器,配备凸阵(C5-2)和线阵(L9-3)换能器,按照欧洲超声医学与生物学联合会(EFSUMB)指南[14]进行IUS检查。嘱患者在IUS检查前禁食至少8 h。沿结肠走行扫查结肠,连续采集纵向灰阶IUS图像,每幅代表5 cm肠段。对于小肠,采用割草式扫查法,仅保存病变部位图像。每次检查共保存20–30幅IUS图像。
采用线阵探头连续测量回肠末端、回盲部、升结肠、横结肠、降结肠和乙状结肠的肠壁厚度(BWT)。每个肠段的BWT测量至少进行两次,记录平均值。BWT > 3 mm被认为提示病变。所有病变肠段的纵向灰阶图像被选取用于机器学习[15]。图像筛选由一名具有10年以上腹部影像经验的放射科医师精心完成,以优化数据质量,筛选标准为沿纵轴肠壁显示清晰且伪影最少,包括运动模糊或声影。由于超声采集的操作者依赖性,各次检查中不合格图像的数量存在差异。尽管如此,确保每个受累部位至少有一张合格图像用于进一步分析。肠外并发症(如瘘管和脓肿)的图像也包括在内。通常同时进行CT检查以交叉核对肠外表现。IUS图像从超声机器导出并以最高分辨率的JPEG格式保存。每位患者选取1–25张包含病变肠段的IUS静态图像,共获得1548张IUS图像。IUS图像上所有选取的病变肠段均经内镜证实存在溃疡或糜烂。根据检查日期,1548张图像被分为训练队列(2015年9月–2020年4月)和测试队列(2020年5月–2022年2月)(图1)。
为进行比较,我们还计算了国际肠道超声节段活动评分(IBUS-SAS),这是一个客观评分系统,纳入BWT、分层、炎性脂肪和血管化等IUS参数,如既往报道[16]。
金标准评估
我们以随访评估时内镜确定的黏膜愈合/无黏膜愈合作为深度学习的金标准。黏膜愈合定义为内镜下无活动性炎症(SES-CD为0)。基线IUS图像与随访内镜的位置对应由一名消化科医师和一名放射科医师共同完成,他们审阅IUS图像并选取相应的内镜图像/视频。另一名对临床、实验室和IUS数据不知情的消化科医师独立评估所选内镜图像/视频是否存在黏膜愈合。基线IUS图像根据对应的内镜结果分类为“黏膜愈合”或“无黏膜愈合”。
在患者层面,若任何肠段均未观察到活动性炎症(SES-CD为0),则认为该患者达到黏膜愈合[17]。这由一名对临床、实验室和IUS数据不知情的消化科医师根据一名患者的全部随访内镜图像/视频进行评估。
深度学习的数据预处理
我们将采集的肠道超声(IUS)图像统一调整为512×1024像素,并将像素值标准化至−1至1范围内。由四名对随访结果不知情的放射科医师中的一名使用Colabeler软件(快易科技)勾画图像中的相关信息,包括肠壁、瘘管和脓肿,以防止向模型引入混杂信息。为扩充数据集,对图像进行了水平翻转、垂直翻转和随机翻转。
为提高预测模型的性能,除IUS图像外,还收集了表格形式的临床和实验室信息,包括性别、入组时年龄、病程、病变部位、CDAI、超敏C反应蛋白(hsCRP)、吸烟、既往肠道手术和用药情况(表1)。对于表格信息,根据数据类型采用不同的编码格式来表示模型特征。离散数据采用独热编码表示,连续数据采用数值表示。最后,对特征进行归一化并纳入深度学习模型。
深度学习架构
将患者的图像和表格临床数据相结合,用于分类黏膜愈合和非黏膜愈合。构建了卷积神经网络(CNN),主要模型结构如图2所示。使用预训练的ResNet50模型从IUS图像数据中提取特征[18]。然后,使用三个ResNet残差块处理特征图。在残差块中应用挤压-激励(SE)对图像特征进行缩放,引导深度学习模型关注通道特征[19]。最后,图像和表格信息通过三个步骤融合:首先,将图像特征和表格变量特征相结合;其次,动态仿射特征图变换结构对卷积模块中的特征图进行动态缩放和偏移[20];最后,使用全连接层对黏膜愈合和无黏膜愈合进行分类。
此外,在训练队列中进行了5折交叉验证,旨在避免模型过拟合并提高可靠性。为解决复杂肠瘘数据对模型效能的影响,我们提取了复杂肠瘘图像的子集(56张图像)用于微调模型。在微调过程中,我们仅使用该数据子集训练模型以适应更复杂的情况。我们反复使用5折交叉验证测试微调后模型的性能。然后在独立的测试队列上评估模型的性能。
还在患者层面评估了预测性能。根据本研究的规则,如果一名患者的所有IUS图像均被预测为达到黏膜愈合,则该患者被分类为达到黏膜愈合。相反,如果一名患者的任何IUS图像被预测为未达到黏膜愈合,则该患者被分类为未达到黏膜愈合。我们将模型做出的这些预测与内镜评估确定的金标准进行了比较。
梯度加权类激活映射(Grad-CAM)可视化
尽管深度神经网络能够取得良好性能,但其复杂性往往使其难以解释。为解决这一问题,我们使用Grad-CAM来解释我们的预测模型,因为它无需任何架构修改即可生成类判别性定位图,使其非常适合可视化我们基于CNN的模型所关注的关键区域。这种可视化增强了模型决策过程的可解释性,并支持了我们任务中预测的可靠性[21]。尽管我们在网络结构中融合了图像特征和临床信息,但在动态仿射特征图变换结构之后,融合特征作为注意力偏向于图像特征,模型在决策过程中主要依赖图像特征。
统计分析
描述性统计中,分类变量以数量(百分比)表示,连续正态分布变量以均值±标准差表示,连续非正态分布数据以中位数(范围)表示。黏膜愈合组与无黏膜愈合组之间临床和实验室数据的差异根据数据分布适当采用t检验、Mann–Whitney U检验或卡方检验计算。CNN模型的性能以灵敏度、特异度、阳性预测值(PPV)、阴性预测值(NPV)和准确率描述。进行受试者工作特征(ROC)曲线分析,并计算曲线下面积(AUC)。使用MedCalc Software 19.5.3(MedCalc Software Ltd)和Python 3.7(Python Software Foundation)进行统计分析。p值<0.05被视为显著。
结果
研究人群特征
研究期间共有238例患者符合我们的纳入标准。其中,11例患者未完成内镜检查,10例患者肠道超声检查不完整,27例患者在随访期间接受了手术,共计排除48例患者。因此,最终纳入190例患者。包括人口学、临床、实验室和用药特征在内的表格信息见表1。患者平均年龄为32.3±14.1岁,平均病程为73.4±58.1个月。42例(22.1%)患者为回肠病变,43例(22.6%)为结肠病变,105例(55.3%)为回结肠病变。用药方面,32例(16.7%)接受美沙拉秦,77例(40.1%)接受硫嘌呤类药物,104例(54.2%)接受生物制剂治疗。83例(43.2%)患者在基线时还接受了糖皮质激素治疗。
共从入组患者中收集了1548张病变肠段的基线肠道超声(IUS)图像。按图像划分,回盲部IUS图像338张(21.8%),结肠710张(45.8%),小肠500张(32.3%)。此外,338张(21.8%)图像来自目前吸烟或既往吸烟的患者。用于治疗该疾病的药物包括基线时使用的类固醇(47.1%)、美沙拉秦(15.3%)、硫嘌呤类药物(38.8%)和生物制剂(58.5%),部分病例涉及联合治疗。
根据治疗开始后12个月的评估,97例(51.1%)患者实现黏膜愈合,而93例(48.9%)患者未实现黏膜愈合,由此获得黏膜愈合的IUS图像1038张和未黏膜愈合的图像510张。患者和图像按顺序分为训练队列(120例患者,1010张图像)和测试队列(70例患者,538张图像)(图1)。训练队列和测试队列中黏膜愈合图像的百分比无显著差异(训练队列为692/1010(68.5%),测试队列为346/538(64.3%),p = 0.1)。
CNN模型的预测性能
仅使用IUS图像开发用于节段性黏膜愈合预测的CNN模型时,5折内部交叉验证的平均AUC为0.66(95% CI:0.61–0.73)(补充表1)。随后,我们将临床和实验室表格数据与IUS图像相结合(图2)。在训练队列中,5折内部交叉验证的平均AUC为0.77(95% CI:0.71–0.83)。在测试队列中,五个深度学习模型的AUC范围为0.72至0.74,平均值为0.73(95% CI:0.68–0.78)(图3)。预测节段性黏膜愈合的平均准确率、敏感性、特异性、PPV和NPV分别为68.6%(95% CI:66.8–70.3%)、68.1%(95% CI:65.8–70.3%)、69.5%(95% CI:66.5–72.4%)、80.0%(95% CI:78.4–81.6%)和54.8%(95% CI:52.8–56.8%)(表2)。作为比较,基线IBUS-SAS预测节段性黏膜愈合的AUC为0.67(95% CI:0.69–0.76),截断值为34.5,准确率、敏感性、特异性、PPV、NPV分别为62.8%(95% CI:54.5–68.1%)、72.6%(95% CI:64.5–77.8%)、57.8%(95% CI:53.5–61.7%)、46.9%(95% CI:41.7–52.3%)和80.5%(95% CI:73.3–83.8%)(表2)。
在患者层面,CNN模型的预测价值通过聚合同一患者各张IUS图像的判断来计算。预测黏膜愈合的平均敏感性和特异性分别为37.7%(95% CI:23.5–53.6%)和88.8%(95% CI:73.4–96.9%)。
通过Grad-CAM可视化深度学习过程
为确定CNN模型是否关注与肠壁状态相关的特征,我们使用Grad-CAM方法[21]追踪模型提取的信息。图4显示,我们的分类器能够准确捕捉病变最严重肠壁、浆膜面及周围肠系膜的相关特征。
讨论
在本研究中,我们开发了一种深度学习算法,能够主要基于克罗恩病(CD)患者的超声图像和临床信息预测黏膜愈合,达到AUC 0.73和PPV 80.0%,表明其在临床实践中的潜在应用价值。据我们所知,这是首个基于超声的AI模型用于预测CD的治疗应答。
识别最有可能对治疗产生良好应答的患者对于确定有效的治疗方案至关重要。大量研究旨在寻找治疗反应性不良的潜在临床和实验室预测因素;然而,对日常实践的实际意义仍然有限[5, 6, 22–27]。例如,从临床角度来看,已有报道称长病程、年轻发病年龄、肛周病变、结肠受累、狭窄型表型以及吸烟习惯等因素与治疗成功概率降低相关,但存在争议[22]。若干研究还考察了实验室检测指标(如CRP和核周抗中性粒细胞胞质抗体)作为治疗有效性预测因素的应用,结果同样不一致[5, 6, 28]。近期,一些初步研究评估了凋亡基因多态性、循环细胞因子、miRNA和基因表达水平作为硫嘌呤类和生物制剂治疗疗效预测因素的价值,显示出一定前景[23, 24, 26, 27]。然而,这些结果需要在更大型队列中验证。
使用治疗前影像学方法预测CD治疗应答的报道较少。Rimola等分析了58例患者治疗前MRI图像的特征以预测抗TNF治疗的应答性,证明病变位置和爬行脂肪是良好治疗应答的阴性预测因素[29]。基于MRI的预测模型在内部验证中显示对治疗失败的符合率为0.67[30]。Atreya等使用共聚焦激光显微内镜计数mTNF阳性细胞,其与治疗应答性相关[31]。近期多项研究显示了IUS的预测价值。Chen等使用BWT和SWE值预测30例CD患者抗TNF治疗的应答,达到AUC 0.683[4]。Albshesh等证明在60例累及末端回肠的CD患者中,末端回肠透壁厚度与英夫利西单抗治疗成功相关,AUC为0.844[8]。Dolinger等在13例CD患者中证明了治疗前小肠超声表现与英夫利西单抗治疗第14周临床和生物标志物应答之间的关联[9]。近期一项研究使用基线IBUS-SAS预测黏膜愈合,达到AUC 0.70,与我们的结果一致[32]。总之,大多数既往研究样本量较小或缺乏外部验证,导致证据不足且不确定,无法支持其研究发现的临床应用[22]。
我们的结果为进一步增多的证据提供了支持,这些证据表明深度学习算法在克罗恩病(CD)结局预测方面具有潜在能力。上述早期研究表明,肠道图像包含有助于预测治疗反应的有价值信息,深度学习神经网络可能以人眼无法检测的方式捕捉这些信息。尽管人工智能在乳腺、神经和胸部影像等领域已取得重大突破,但在炎症性肠病中的应用仍处于新兴阶段,大多数研究集中于内镜技术,如常规内镜或胶囊内镜[33, 34]。CD的复杂性需要全面、整合的信息来进行临床决策,使其成为人工智能应用的理想候选对象。例如,Con等人证明,基于临床和实验室数据的深度学习模型在预测临床缓解方面优于传统算法,在146例患者中达到AUC 0.754。[35]。同样,一项近期研究应用基于胶囊内镜视频的深度学习分析来预测101例患者是否需要生物治疗,获得AUC 0.86[36]。相比之下,我们的研究利用二维成像数据为各个肠段提供详细预测。通过使用黏膜愈合作为金标准,我们的模型提供了比“软”临床标志物更客观且更广泛接受的终点,增强了其实际应用价值。
尽管深度学习模型具有令人印象深刻的能力,但预测临床结局仍然具有挑战性和复杂性。因此,我们的模型性能可能无法达到某些诊断模型的高准确率,这是可以理解的。尽管如此,我们的模型具有较高的阳性预测值(PPV),这突显了其在识别黏膜愈合方面的有效性,这在临床实践中具有很高价值。Grad-CAM可视化的使用通过突出模型对病变肠段关键特征的关注,进一步验证了模型的可靠性。
为解决过拟合——深度学习中常见的问题,即模型在训练数据上表现良好但在新数据上表现不佳——我们采用了多种策略。我们实施了五折交叉验证,将数据集分为五部分,每次迭代使用四部分进行训练,一部分进行测试。该方法减轻了数据划分随机性带来的评估误差,并降低了过拟合风险。此外,我们使用了数据增强技术,如随机旋转和翻转,以增强数据多样性和复杂性,从而帮助模型学习更多特征和模式。
我们的研究存在一些局限性。作为回顾性分析,肠道超声(IUS)检查由一名未对临床和实验室数据设盲的放射科医师进行,可能引入操作者依赖性。此外,排除在12个月评估前接受手术或干预的患者可能引入选择偏倚。最后,该模型使用来自单一医疗中心的IUS数据开发,需要使用来自其他机构的更大数据集进行进一步验证。
总之,我们开发了一种基于肠道超声(IUS)图像的深度学习模型,用于预测克罗恩病(CD)的黏膜愈合,具有显著的准确性。该模型有潜力识别可能对治疗反应不佳的患者,从而支持及时的临床决策,并为消化科医生制定合适的个性化治疗策略提供帮助。仍需更多多中心、真实世界数据对该模型进行进一步验证和改进。
补充信息
电子补充材料
引用
- Ma L, Chen Y, Fu X, et al. Predicting mucosal healing in Crohn's disease: development of a deep-learning model based on intestinal ultrasound images. Insights Imaging. 2025. PMID: 40522531. doi:10.1186/s13244-025-02014-5
- 全文:PMC12170472(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12170472/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。