结直肠癌肝转移患者深度学习分割模型(COALA)在放射学工作流程中的评估
本研究将结直肠癌肝转移(CRLM)深度学习分割模型COALA整合进放射科PACS,由8名腹部放射科专家对57例患者的112次门静脉期增强CT进行问卷评估。6名(75%)放射科医生认为该模型在其放射学工作流程中用户友好;模型在小病灶、异质性病灶及靠近膈肌或心脏的肝边缘病灶分割方面有待改进。
要点
- 8名腹部放射科专家中6名(75%)认为COALA在放射学工作流程中用户友好。
- 模型的改进方向包括小病灶、异质性病灶以及靠近膈肌或心脏的肝边缘病灶的分割。
- 实施经验:多学科协作、模型开发前建立稳健方法、开发早期组织终端用户评估会议。
核心结论
- 本研究表明,针对CRLM患者的深度学习分割模型COALA在放射科医生的PACS中用户友好。
- 未来致力于实施的研究人员应采用多学科方法、提出稳健的方法学并在模型开发前纳入终端用户。
研究设计与样本
- 回顾性研究,纳入2023年1月至12月在结直肠癌肝转移多学科团队会议中讨论的连续患者,共57例患者、112次门静脉期增强CT扫描。
- COALA为自学习分割模型,采用nnUNet网络结构(包含两阶段3D U-Net级联),输入为门静脉期增强CT轴位图像,输出分割掩码和总肿瘤体积报告至PACS。
- 由8名腹部放射科专家(腹部放射学经验分别为24、19、11、7、5、3、3、2年)在临床PACS工作站完成问卷评估,评估时间安排90分钟。
诊断标准与关键数值
- 整体分割被3名(37.5%)放射科医生评为准确(同意)。
- 5名(62.5%)放射科医生同意分割边界清晰,2名(25%)强烈同意。
- 复杂病例(如融合性或异质性病灶)的不一致率为50%,小CRLM病例的不一致率为37.5%。
- 6名(75%)放射科医生同意使用模型输出评估全身治疗前后扫描不受阻碍。
- 对模型结果用于临床决策的信心分布为:1名(12.5%)强烈不同意、1名(12.5%)不同意、1名(12.5%)中立、4名(50%)同意、1名(12.5%)强烈同意。
临床应用与阅片要点
- 自由文本反馈显示CRLM检出率高,但反复观察到病灶尺寸被低估,尤其是较小的CRLM。
- 对于异质性CRLM(如伴钙化),分割仅限于低密度区域,遗漏高密度区域。
- 包膜下病灶,尤其是靠近膈肌或心脏的病灶,常未被检出。
- 分割过程每份CT扫描耗时25至40分钟,取决于扫描层数。
- 当前模型缺乏明确的触发系统,EHR、放射信息系统、PACS与HPC集群之间的通信是碎片化的,针对特定患者手动触发运行模型仍是必要的。
局限性
- 研究局限性包括自动肿瘤直径测量和病灶随时间追踪等放射学特征仍在开发中,模型和应用需进一步开发以纳入这些特征。
- 通过进一步容器化、流式传输和部署web-API,可实现与医院IT基础设施更无缝的整合。
- 使用自动部署可提高软件代码的整体稳健性。
- 模型整合于当前学术医院供应商的PACS中,适配不同PACS可能带来挑战,尽管生成的结果符合DICOM标准。
- 缺乏明确的模型触发系统是模型完全整合进放射学工作流程的障碍;目前EHR、放射信息系统、PACS与HPC集群之间的通信是碎片化的,针对特定患者手动触发运行模型仍是必要的。
全文中译11 节 · 点击展开
引言
已在多种实体瘤中证实总肿瘤体积(TTV)对生存结局具有预后价值[1–4]。对于结直肠癌肝转移(CRLM)患者,基线TTV对总生存期(OS)具有预后价值,TTV变化对OS和无复发生存期(RFS)具有预后价值[5–7]。在传统方法中,TTV通过手动分割所有肿瘤来确定。然而,手动分割容易受到观察者间和观察者内变异性的影响,且是一项耗时且繁琐的任务[8]。因此,如果采用手动测量,将TTV作为影像生物标志物在日常实践中不可行。
自动分割模型有可能提高可重复性,并促进体积肿瘤评估在未来日常实践中的临床可采纳性。此外,目前使用的放射学评估方法,例如用于评估肿瘤对全身治疗反应的最长径,可以从分割中提取[9]。然而,将自动分割模型应用于临床实践,需要对其在放射学工作流程中的性能、整合和实际效用进行全面评估。对于肺结节,基于计算机断层扫描(CT)的计算机辅助检测、分类和增长率估算系统已在我们三级中心的放射学工作流程中成功实施并临床使用[10]。
最近,一种用于CRLM评估的深度学习分割模型COALA(COlorectal cAncer Liver metastases Assessment,结直肠癌肝转移评估)已被开发并进行外部验证[11]。基于COALA的肿瘤分割,可以执行自动体积肿瘤评估。在开发和验证过程中,COALA在研究环境中对参加随机临床试验的CRLM患者进行了训练和测试[12, 13]。为确定COALA的临床价值和临床效用,还应在临床环境中的患者中评估其性能。因此,COALA与图像归档和通信系统(PACS)进行了整合,PACS是放射科医生日常临床放射学评估所使用的系统。了解最终用户(如放射科医生)的观点对于优化和改进COALA以满足临床实践的动态需求至关重要。
自动分割可以带来更一致和客观的放射学评估,从而减轻放射科医生的工作负担,并促进TTV作为CRLM患者影像生物标志物的临床实施和整合。在放射学PACS中评估自动分割模型是最终在日常实践中实施的关键步骤。
本研究的目的是评估深度学习分割模型COALA在放射学工作流程中对CRLM患者的性能和实际效用。次要目的是为未来研究人员实施人工智能(AI)模型提供有价值的经验教训。
方法
研究人群
本回顾性研究经当地医学伦理委员会批准,并豁免知情同意要求。连续纳入2023年1月至12月期间在结直肠癌肝转移(CRLM)多学科团队会议(MDT)上讨论并接受系统治疗的患者。所有患者均因CRLM伴或不伴肝外转移的管理而被讨论。排除非结直肠原发肿瘤肝转移的患者。纳入患者需在PACS中具有可用的增强门静脉期CT扫描。
终端用户
邀请八位专家放射科医师参加评估会议,其作为腹部放射科医师的经验分别为24年(Y.N.)、19年(J.H.T.M.W.)、11年(J.E.B.)、7年(M.P.M.K.)、5年(F.S.)、3年(J.W.K.)、3年(I.M.N.)和2年(S.I.M.)。其中四位参与了用于COALA开发的训练数据的手动肿瘤分割。评估在临床PACS工作站(IDS7,Sectra,Linköping,瑞典)安排90分钟。该PACS由放射科医师用于日常临床放射学评估。评估前,向放射科医师提供了在PACS中访问和查看分割结果的操作说明。参见补充材料S1中的说明。
自动肿瘤分割模型COALA
采用自学习方法来训练COALA分割模型。自学习首先以一个教师分割模型开始,该模型在少量手动分割的训练数据上训练。随后使用该教师分割模型为整个未分割的训练数据集生成肿瘤分割。这些教师生成的分割随后用于训练学生分割模型。学生和教师分割模型均选择包含两阶段3D U-Net级联的nnUNet网络设置。该级联包括一个初始U-Net,在降采样图像上训练以生成低分辨率分割,作为训练后续全分辨率U-Net的辅助输入。采用5折交叉验证,训练-验证比例为80-20,每折1000步,初始学习率为0.05,训练低分辨率和全分辨率U-Net。所有模型均在NVIDIA A100图形处理单元(GPU)上训练,每折约需一天[11]。
COALA的输入数据为门静脉期增强CT扫描。共从电子健康记录(EHR)中回顾性识别112例轴位CT扫描。随后从PACS中提取数据,进行假名化处理,并由COALA处理。分割掩膜和包含TTV的报告被发送回PACS。扫描采集参数总结于表1。
实现
为创建一个稳定且稳健的环境,COALA被封装到一个容器中,该容器还包含一个带有必要Python软件包的Python应用程序。该容器在具有特定GPU资源(NVIDIA P100—12GB)的高性能计算(HPC)集群上执行。围绕该模型构建了一个应用程序,以确保输入和输出数据符合医学数字成像和通信(DICOM)标准[14]。COALA使用GPU资源进行分割以提高处理速度。输入数据从临床PACS中提取并存储在缓存中。该缓存充当HPC集群与PACS之间的桥梁。模型的分割结果(以DICOM格式)通过同一缓存发送回PACS。根据每次CT扫描的层数,自动分割过程每次CT扫描耗时25至40分钟不等。在图1中,可以看到数据工作流程的概览。所有DICOM传输均使用临床试验处理器(CTP)[15]。
模型评估
开发了一份问卷,用于在放射学PACS系统中评估COALA,该问卷由腹部放射科医师、肝脏外科医师以及在内部开发模型临床实施方面具有经验的医学影像和ICT专家共同组成。该问卷采用5点Likert量表,作为一种结构化工具来收集定性和定量反馈,促进对模型优势、劣势和潜在进一步改进领域的全面分析。问卷见补充材料S2。在完成所有分配的CT扫描审阅后,放射科医师被要求填写问卷。此外,他们还被要求提供任何一般性观察或意见。
通过对开发、验证和实施阶段中吸取的经验教训进行定性分析,方法是在COALA开发期间以及本研究的评估会议之后,与最终用户和研究团队组织反馈会议。在这次反馈会议中,为未来在临床工作流程中实施AI工具的研究人员总结了三项关键经验教训。
分类基线变量以数量和百分比报告。连续基线变量如果呈正态分布,则以均值及标准差(SD)报告;如果不是正态分布,则以中位数及四分位距(IQR)报告。分布使用直方图进行分析。使用IBM SPSS Statistics for Windows,版本28.0(Armonk,NY:IBM Corp)。
结果
影像数据
本研究共纳入57例患者,中位年龄为57(IQR 53–72)岁,均在三级中心的CRLM MDT上进行了讨论。在这些患者中,57次CT扫描在全身治疗前可用,55次CT扫描在全身治疗后可用。见图2。
不到一半的患者(42%)为女性。基线时CRLM的中位数量为3(IQR 2–5),中位最大直径为37(IQR 22–55)mm。见表2。
图3a展示了临床PACS中一次CT扫描并自动分割的示例。同时,图3b展示了对同一患者两次CT扫描的对比分析:一次为全身治疗前,一次为全身治疗后,每次均附加了自动分割。
性能评估与临床整合
图4展示了八位放射科医师各自评估14次CT扫描后的反馈。结果显示,3位(37.5%)放射科医师认为整体分割准确(“同意”),5位(62.5%)放射科医师认同(“同意”)分割边界轮廓清晰,2位(25%)表示强烈同意。然而,对于更复杂的情形,一致性出现分歧,复杂病例(如融合性或异质性病灶)的不一致率为50%,涉及小CRLM病例的不一致率为37.5%。
八位参与研究的专家放射科医师中有六位报告该模型可无缝整合入其临床工作流程,其中37.5%表示同意,同等比例表示强烈同意。多数(6位放射科医师,75%)认同使用模型输出时,评估全身治疗前后的扫描未受妨碍。然而,他们对于模型发现可用于临床决策的信心呈现出广泛的应答分布:1位(12.5%)强烈不同意,1位(12.5%)不同意,1位(12.5%)保持中立,4位(50%)同意,1位(12.5%)强烈同意。
自由文本反馈显示,虽然CRLM的检出率较高,但反复出现的观察是病灶大小被低估,尤其是在较小的CRLM中。此外,对于异质性CRLM病例,如伴有钙化者,分割仅限于低密度区域,遗漏了高密度区域。包膜下病灶,尤其是靠近膈肌或心脏者,常未被检出。
经验教训
在开发、验证和实施过程中总结出三条关键经验,我们认为这些经验对未来研究者具有参考价值。第一是多学科协作,涉及临床与技术研究人员、预期最终用户、治疗CRLM患者的临床医生,以及在内部开发模型临床实施方面具有经验的医学影像与信息通信技术专家。第二是在开发和外部验证模型之前提出稳健的方法学。这确保了模型对未见数据集的泛化能力。最后,通过让最终用户早期参与开发阶段,在开发之前收集他们的见解,使模型能够根据他们的需求和要求进行微调。此外,通过与腹部放射学专家组织评估会议,收集了宝贵的见解,用于模型的进一步优化和在临床环境中的整合。
讨论
本研究表明,用于CRLM患者的深度学习分割模型COALA在放射科PACS中使用时具有用户友好性。与腹部放射学专家的评估会议为COALA在临床环境中的进一步优化和整合提供了宝贵见解,例如在较小病灶、异质性病灶和肝脏边缘病灶中分割性能下降。对未来研究者成功实施AI模型的关键经验是:采用多学科方法、在模型开发之前提出稳健方法并进行外部验证,以及在模型开发阶段早期与最终用户组织反馈会议,以满足他们的需求和要求。
为促进自动分割模型的临床实施,无缝整合到临床放射科医生的日常工作流程中至关重要。通过让最终用户(即腹部放射科医生)参与开发过程并在其日常工作流程中测试模型,可以实现必要的改进。一些放射科医生将模型的性能评价为中等,但确实报告称他们有信心使用该模型进行临床决策。其原因在于,尤其是在小病灶中,所报告的性能较低。然而,在大病灶中,大多数放射科医生认为性能准确。在当前实践中,仅使用两个最大的CRLM进行RECIST1.1评估,这解释了在评估的模型性能与临床决策信心之间看似矛盾的结果。通过自动测量使用RECIST1.1标准进行疗效评估等手动放射学评估自动化的可能性,是一个突出的有前景的应用。此外,该模型有潜力推动TTV作为临床实践中的影像生物标志物,目前其受到劳动密集型手动分割过程的阻碍。
本研究的一个优势在于,纳入本临床评估的患者比用于模型开发的患者更接近临床实践。后一组由参加随机对照试验(RCT)的患者组成,所有患者均符合高度特异的入组标准才被纳入该试验。CAIRO5试验的患者为初始不可切除的仅限肝脏的结直肠癌肝转移(CRLM),且既往从未接受过局部治疗(手术和/或消融)。本研究的患者是从CRLM多学科团队(MDT)中随机筛选的,其中部分患者为局部治疗后复发的CRLM,肝脏内留有手术夹和/或消融后区域。在此类患者上测试COALA,可通过深入了解如何优化COALA在小病灶及既往接受过治疗的肝脏患者中的性能,从而确认模型的泛化能力。
针对CRLM患者已开发了多种其他分割模型。然而,先前开发的模型均未在放射学工作流程中进行评估或临床实施。大多数模型从未超越开发阶段,仅经过内部验证[16–18]。有一个研究组确实对其自动分割模型进行了外部验证,结果在外部队列中性能显著下降[19]。这些发现与其他专注于模型临床实施的研究组的发现一致。这强调了外部验证和临床评估对于最终促进临床实施的迫切需求[20, 21]。
本研究存在若干局限性,例如放射学特征(如自动肿瘤直径测量和病灶随时间追踪)仍在开发中。模型和应用程序均需进一步开发以纳入这些特征。通过进一步使用容器化、流式传输以及部署Web-API,可以实现与医院IT基础设施更无缝的集成。总体而言,使用自动部署可以提高软件代码的稳健性。此外,该模型已集成到我们学术医院当前供应商的PACS中。适配不同的PACS可能带来挑战,尽管生成的结果符合DICOM标准。最后,模型完全整合到放射学工作流程的一个障碍是缺乏明确的模型触发系统。目前,电子健康记录(EHR)、放射信息系统、PACS和高性能计算(HPC)集群之间的通信是碎片化的,因此,仍然需要手动触发来为特定患者运行模型。一些机构已努力描述和构建此类专用的AI部署基础设施[22]。由医疗保健企业集成(IHE)放射学AI工作流程制定的基于标准的AI整合指南目前正处于试验实施阶段[23]。
未来方向包括在MDT期间对模型的分割和体积评估能力进行全面评估,特别关注其易用性、可解释性,以及最重要的临床相关性。
总之,本研究证明了用于结直肠癌肝转移(CRLM)的外部验证自动分割模型(COALA)成功整合到放射学图像归档与通信系统(PACS)中,凸显了该模型在增强放射学评估方面的潜力。研究收集了关于进一步优化COALA并将其整合到临床环境中的宝贵见解。对未来研究人员成功实施的关键经验包括:采用多学科方法、在模型开发前提出稳健的方法,以及在开发早期组织最终用户反馈会议。
补充信息
电子补充材料
引用
- Zeeuw M, Bereska J, Strampel M, et al. Evaluation of a deep-learning segmentation model for patients with colorectal cancer liver metastases (COALA) in the radiological workflow. Insights Imaging. 2025. PMID: 40410643. doi:10.1186/s13244-025-01984-w
- 全文:PMC12102431(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12102431/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。