深度学习对放射科医师及住院医师在CT上识别食管癌表现的影响
单中心回顾性研究纳入250例食管癌和25例对照,开发深度学习模型在增强CT上检测食管癌,并在测试集评估其对4名读者(1名放射科医师、3名住院医师)的辅助作用。模型图像分析AUC 0.95、患者分析AUC 0.98;参考模型结果后,经验较少的住院医师图像分析AUC显著提升,患者分析AUC和准确率趋于提升。结论:模型主要帮助经验较少的读者提高诊断信心和性能。
要点
- 深度学习模型在增强CT上检测食管癌具有较高性能,患者分析AUC达0.98。
- 参考模型结果可显著提升经验较少住院医师的图像分析AUC。
- 经验仅数月住院医师参考模型后对阴性病例诊断信心可能下降,需警惕。
核心结论
- 深度学习模型主要帮助经验较少的放射科住院医师提高在增强CT上检测食管癌的诊断信心和诊断性能。
- 经验丰富的放射科医师参考模型结果后诊断性能未显著提升。
研究设计与样本
- 单中心回顾性研究,纳入250例食管癌患者和25例年龄性别匹配的无食管癌对照,均行胸部增强CT。
- 深度学习模型以200例食管癌患者为训练集、25例为验证集,另25例食管癌和25例对照为测试集。
- 4名读者(1名放射科医师、3名住院医师)独立以3分法评分,之后参考模型输出结果并修改评分。
- 参考标准依据上消化道内镜和病理报告确定CT图像上是否存在食管癌,测试集由两名放射科医师共识判读。
- 使用受试者工作特征曲线分析计算AUC,DeLong检验比较AUC,McNemar检验比较准确率、敏感度和特异度。
关键影像表现/征象
- 食管癌在增强CT上表现为食管壁增厚或肿块,具体影像征象原文未详细描述。
- 原文指出食管壁厚度随管腔扩张程度变化,且无明确的食管壁厚度定义,可能造成假阳性判断。
- 图5示例:71岁男性食管上段癌,模型患者分析输出评分0.997,高于验证集确定阈值0.189,判为阳性。
- 图6示例:70岁男性无食管癌,模型图像分析输出评分从左至右为0/0.19/0.93/0.58/0.12/0.03/0.01/0。
诊断标准与关键数值
- 模型在验证集最佳AUC为0.92,准确率/敏感度/特异度分别为0.86/0.85/0.87,阈值取0.189(约登指数)。
- 模型在测试集图像分析AUC 0.95,准确率/敏感度/特异度0.92/0.87/0.92;患者分析AUC 0.98,准确率/敏感度/特异度0.96/0.96/0.96。
- 图像分析中,读者A/B/C/D的AUC从0.96/0.93/0.96/0.93提升至0.97/0.95/0.99/0.96,P值分别为0.100/0.006/<0.001/<0.001。
- 患者分析中,读者A/B/C/D的AUC从0.98/0.96/0.98/0.94提升至1.00/1.00/1.00/1.00,P值分别为0.317/0.149/0.317/0.073。
- 读者使用3分法评分:3=病变存在,2=不确定,1=病变不存在;模型帮助程度用5分法评估:2=非常有帮助至-2=完全没有帮助。
临床应用与阅片要点
- 深度学习模型可作为辅助工具,帮助经验较少的住院医师提高食管癌检测敏感度和诊断信心。
- 经验丰富的放射科医师参考模型结果后性能未显著提升,模型价值主要体现在经验不足者。
- 经验很少的住院医师参考模型时,对无食管癌患者的阴性诊断信心可能下降,需注意假阳性提示。
- 模型阈值0.189来自验证集约登指数,阅片时需结合患者临床信息和食管壁扩张程度综合判断。
局限性
- 训练集患者数量相对较小,但模型性能在训练集超过150例后趋于平台。
- 仅纳入CT上可见食管癌的患者,模型对早期食管癌检测效果可能有限。
- 部分患者术前接受化疗,病理证据仅来自活检标本。
- 测试集无食管癌对照组未行内镜,但食管癌发病率低,错分风险很低。
- 模型仅适用于仰卧位扫描,未进行外部验证,需多中心大样本进一步研究。
全文中译15 节 · 点击展开
引言
食管癌与不良预后相关,这一点已得到充分证实。1 根据美国癌症协会的报告,该类癌症局限性、区域性和远处转移阶段的5年相对生存率分别为47%、25%和5%。2 筛查可能有助于在疾病较早阶段检出食管癌。然而,由于尚无筛查试验被证明可降低该类癌症的死亡风险,美国目前不推荐对普通人群进行食管癌筛查。2
食管癌在所有癌症中相对常见。根据世界卫生组织的数据,2020年食管癌新发病例数在所有癌症中位居第八。3 已知吸烟与食管癌的发病率相关。1 由于吸烟也是其他类型癌症发生的危险因素,如头颈癌、4 肺癌、5 胰腺癌、6 以及腹主动脉瘤,7 因此食管癌有可能在为其他诊断目的而进行的CT图像中被偶然发现。这一点尤其成立,因为CT在临床环境中的使用正在迅速增加。8
近年来,将卷积神经网络深度学习应用于放射影像诊断正受到广泛关注。9,10 据报道,深度学习模型已能够从放射图像中检测、11,12 分期、13,14 和分类15,16 病变。开发一种能够在CT图像上于症状出现前有效检测食管癌的深度学习模型,可能具有改善患者预后和治疗结局的实际价值。
更近期,如何将深度学习部署到临床环境也正受到关注。在此背景下,深度学习算法的角色开始被视为支持和帮助放射科医师及放射科住院医师的决策过程,而非取代他们。17 因此,评估深度学习模型是否能帮助放射科医师和放射科住院医师检测偶然性食管癌至关重要。因此,本研究的目的是探讨深度学习模型能否支持放射科医师和放射科住院医师在增强CT图像上检测食管癌。
方法和材料。
这项回顾性、单中心研究经我院机构审查委员会批准。获取书面知情同意的要求被豁免。
概述
图1展示了本研究的概况。首先,我们开发了一个深度学习模型,该模型能够判断单张CT图像中是否显示食管癌。我们使用训练数据集进行监督学习,并使用验证数据集评估模型性能。随后,为避免因超参数优化而高估模型性能,在验证数据集中表现最佳的模型进一步在测试数据集上进行了测试,该测试数据集由患有和不患有食管癌的患者组成。纳入不患有食管癌的患者是为了在基于患者的分析中分析检测性能。最后,评估并比较了放射科医师和放射科住院医师在参考与不参考深度学习模型结果的情况下检测食管癌的性能。
患者
我们使用图像存档与通信系统连续检索食管癌患者。纳入标准如下:治疗前接受过包括胸部的对比增强CT检查的患者;CT上可见食管癌的患者;接受过上消化道内镜检查的患者;以及经组织病理学诊断为食管癌的患者。对于测试数据集,还选择并纳入了年龄和性别匹配、无食管癌、接受过包括胸部的对比增强CT检查的患者。
输入数据:CT成像与预处理
对比增强CT检查使用来自两家厂商的扫描仪(Canon Medical Systems[栃木,日本]的Aqulion ONE和Aquilion PRIME,以及GE Healthcare[威斯康星州]的Discovery CT 750HD和Revolution CT)进行。关于管电流,使用了自动曝光控制技术,Canon-CT的标准差设定为13.0,GE-CT的噪声指数设定为11.36。其他扫描和重建参数如下:管电压,120 kVp;重建算法,滤波反投影;重建平面,轴位;层厚/间隔,5/5 mm。对比增强材料的浓度和总体积根据患者体重确定(体重<60 kg和>60 kg的患者分别为每毫升350和370 mg碘;总体积(ml)由体重(kg)乘以2确定,上限为100 ml)。扫描在开始注射后90 s进行。
CT图像进一步使用Python 3.6.4编程语言(https://www.python.org/)、Pillow 5.0.0(https://pillow.readthedocs.io/en/stable/#)和pydicom 1.2.2(https://pydicom.github.io/pydicom/stable/#)进行预处理。为便于深度学习过程,从512 × 512像素的原始CT图像中裁剪出中下部(256 × 256像素,裁剪位置固定),并将其用作输入数据。这意味着不包括食管的图像部分被省略。该过程完全自动执行。裁剪位置是通过参考训练数据中的一些CT图像经验性确定的。对于训练数据集,通过生成裁剪位置略有改变的图像、旋转图像、翻转图像和添加噪声的图像来进行增强。数据增强也使用Python 3.6.4、Pillow 5.0.0和pydicom 1.2.2软件包进行。通过增强,有食管癌和无食管癌的CT图像数据集分别扩展了32倍和7倍(采用不同数字以平衡阳性和阴性图像的数量)。
参考标准:食管癌的存在
通过参考上消化道内镜报告和组织病理学报告,确定CT图像中是否描绘了食管癌(1=存在食管癌,0=不存在食管癌)。关于训练和验证数据集,由一名放射科医师(放射科医师#1,在完成2年研究生培训作为实习医师后具有11年诊断影像经验)制定参考标准。至于测试数据集,由于我们认为深度学习模型在该数据集中的性能在临床上更具相关性,另一名放射科医师(放射科医师#2,在完成2年研究生培训作为实习医师后具有8年诊断影像经验)也参与了参考标准的建立,并由两名放射科医师以共识阅读方式进行评估。所有标注过程均在卷积神经网络的监督训练之前完成。
卷积神经网络的监督学习
深度学习由放射科医师#1使用配备128 GB RAM、Core i9-7900X中央处理器(Intel)和Quadro P6000图形处理器(NVIDIA)的计算机进行。使用Python 3.6.4编程语言和Chainer 4.0.0深度学习框架(https://chainer.org/)。
根据CT检查日期,患者数据被分为训练集(n=200[2014年12月至2019年11月])、验证集(n=25[2019年11月至2020年8月])和测试集(n=25[2020年8月至2021年5月])。在卷积神经网络的监督学习中,裁剪的CT图像(请参阅输入数据:CT成像和预处理小节)和食管癌存在的二值数据(请参阅参考标准:食管癌存在小节)分别用作输入数据和教学数据。超参数使用训练和验证数据进行经验性优化(即测试数据未用于优化超参数)。本研究使用的卷积神经网络结构如图2所示。本研究使用的其他超参数如下: epoch数,20;微批量大小,15;优化器,Adam。每个会话进行15次训练和验证,同时将训练组患者数递增10例(会话1[10例患者用于训练]、会话2[20例患者用于训练]……会话20[200例患者用于训练])。这导致每个会话生成15个模型。记录每个会话中15个模型的平均性能。选择会话20中15个模型间诊断性能最佳的模型,并将该模型应用于测试数据集。
阅片者病灶检测
一名放射科医师(读者A,在完成2年毕业后实习培训后具有11年诊断影像经验)和三名放射科住院医师(读者B、C和D,在完成2年毕业后实习培训后分别具有3年、1年和3个月诊断影像经验)参与了病灶检测测试。四名读者对临床和组织病理学信息设盲,也未被告知本研究的目的。要求他们使用3分制(诊断评分;3=存在病灶,2=不确定是否存在病灶,1=无病灶)独立检测CT图像上具有恶性潜能的病灶。50个独立数据集以随机顺序呈现。
在对所有患者完成病灶检测测试后,允许四名读者参考深度学习模型得出的每个CT层面的输出评分,并在必要时修改上述评分。还告知读者深度学习模型的性能以及在验证数据集(而非测试数据集)中达到约登指数的截断值。此外,还要求他们使用5分制评估深度学习模型是否有助于提高检测食管癌的诊断信心(深度学习模型的有用性;2=非常有帮助,1=有帮助,0=不确定,−1=无帮助,−2=完全无帮助)。
统计学
统计分析使用R v. 2.4.0(https://www.r-project.org/)进行。连续变量以均值和标准差表示,并使用Student t检验进行比较。相比之下,二分类变量使用χ2检验进行比较。为评估检测食管癌的诊断性能,进行了受试者工作特征曲线分析,并计算了受试者工作特征曲线下面积(AUC)。基于图像的分析在验证组中进行,而基于图像和基于患者的分析在测试组中进行。在基于患者的分析中,登记一名患者所有CT层面中的最高评分。为比较读者参考与不参考深度学习模型结果时的性能,对AUC进行DeLong检验,对准确率、灵敏度和特异度进行McNemar检验。随后使用配对t检验比较参考与不参考深度学习模型结果时的诊断评分。
结果
患者
在本研究中,训练组、验证组和测试组分别连续纳入200例、25例和25例食管癌患者(图1)。此外,在测试组中选择25例年龄和性别匹配的无食管癌患者作为阴性对照。训练组、验证组和测试组的CT层面总数分别为11429、1418和3133。表1总结了250例患者和25例对照者的背景信息。
患者数量与深度学习模型性能之间的关系
训练数据集中使用的患者数量与卷积神经网络(CNN)在验证数据集中的性能之间的关系如图3所示。随着训练数据集中患者数量的增加,CNN性能趋于改善。当训练数据集中的患者数量超过150例时,这一趋势变得不那么明显。
训练模型在测试数据集中的性能
在验证数据集中,最佳模型的AUC为0.92,采用达到约登指数的阈值0.189时,准确率/灵敏度/特异度分别为0.86/0.85/0.87。将最佳深度学习模型应用于测试数据集,在基于图像和基于患者的分析中,AUC分别为0.95和0.98。采用达到约登指数的截断值,测试组的准确率/灵敏度/特异度在基于图像和基于患者的分析中分别为0.92/0.87/0.92和0.96/0.96/0.96(表2)。
阅片者在参考与不参考深度学习模型结果时的性能
在基于图像的分析中(表2),参考深度学习模型的结果使所有阅片者的AUC从0.96/0.93/0.96/0.93提高至0.97/0.95/0.99/0.96,放射科住院医师(即阅片者B、C和D)的差异具有统计学意义(p < 0.006)(图4)。经验较少的阅片者的灵敏度呈改善趋势,从0.88/0.95/0.90提高至0.90/1.00/0.96(图5),阅片者C和D的差异具有统计学意义(p < 0.002)。然而,阅片者D在参考深度学习模型结果后,特异度从0.97下降至0.95(p < 0.001)(图6)。这些结果也反映在诊断信心评分中,详见表3。
在基于患者的分析中,所有阅片者的AUC和准确率在参考深度学习模型结果后均呈升高趋势,阅片者A、B和C达到完美性能(即达到1.00)(表2)。在食管癌阳性诊断中,放射科住院医师(即阅片者B/C/D)的诊断信心从2.84/2.64/2.64提高至2.96/2.88/2.96,阅片者C和D的差异具有统计学意义(p < 0.018)(表3)。然而,在无食管癌患者的阴性诊断中,阅片者D的诊断信心从1.00下降至1.24(p = 0.011)。
关于深度学习模型在伴和不伴食管癌患者中有用性的评分汇总于表3。总体而言,三名经验较少的阅片者认为深度学习模型在检测食管癌方面具有显著帮助(阅片者B、C和D的评分[含95%置信区间]分别为0.26 [0.08–0.44]、1.52 [1.37–1.67]和0.84 [0.66–1.02])。然而,放射科医师(即阅片者A)的评分为0.02 [−0.28–0.32],低于显著性水平。
讨论
在本研究中,我们开发了一个在对比增强CT图像上检测食管癌的深度学习模型。我们的研究结果表明,该模型可以表现出高水平的诊断性能。此外,研究发现该模型可以提高经验较少的阅读者在检测食管癌方面的信心并改善其诊断性能。事实上,当参考深度学习模型的结果时,具有1年以上影像经验的阅读者的准确率达到了完美水平。
总体而言,该深度学习模型在检测食管癌方面取得了高性能。先前的一项研究同样开发了一个在CT图像上检测食管癌的深度学习模型,18报道该模型的AUC/准确率/灵敏度/特异度分别为0.91/0.84/0.72/0.90。相比之下,我们的模型在基于图像和基于患者的分析中分别达到了AUC/准确率/灵敏度/特异度值为0.95/0.92/0.87/0.92和0.98/0.96/0.96/0.96,优于先前开发的模型。此外,先前的研究比较了深度学习模型与放射科医师的性能。然而,深度学习模型的基本作用是在临床环境中为放射科医师和放射科住院医师提供支持,而非取代他们。因此,获取深度学习模型如何影响或能够影响阅读者表现的数据,比收集表明深度学习模型能否超越阅读者表现的数据更为必要。因此,本研究评估了放射科医师和放射科住院医师在未参考和参考深度学习模型结果时的表现。
我们的研究结果表明,在对食管癌患者作出阳性诊断时,经验较少的阅片者的敏感性及诊断评分均呈现改善趋势。更具体地说,在25例患者中,阅片者B、C和D在参考深度学习模型结果后,分别有2例、1例和2例患者的诊断被更正为食管癌阳性。因此,该深度学习模型在实际临床环境中的应用,可能使因其他目的而进行的增强CT图像上的食管癌诊断成为可能。
在将无食管癌的患者诊断为阴性时,经验丰富的放射科医师在参考深度学习模型结果后,其特异性达到了完美水平。相反,这一过程却降低了仅有数月影像经验的放射科住院医师的诊断评分。食管壁厚度随扩张程度而变化,且食管壁厚度没有明确定义。19 我们推测阅片者D对此类影像表现不够熟悉,无法正确排除深度学习模型所提示的假阳性表现。然而,即使在这种情况下,在我们实施的3分评分量表中,患者的评分仍被评为2分(不确定是否存在病变),而非3分(存在病变)。
此外,我们还评估了训练数据集中的患者数量与验证数据集中深度学习模型性能之间的关系。理论上,深度学习模型的性能被认为随着训练数据集中患者数量的增加而提高,我们的结果与这一预测一致。在我们的数据集中,当训练组患者数量超过150例时,模型性能几乎达到平台水平。因此,可以认为与食管癌相关的大部分影像表现模式可被这150例患者图像所覆盖。
本研究存在一些局限性。第一,训练数据集中纳入的患者数量相对较少。然而,我们发现当训练数据集中的患者数量超过150例时,深度学习模型的性能几乎达到平台期水平。因此,我们假设即使使用更多患者,性能也不会大幅提升。第二,本研究仅纳入了CT图像上可见食管癌的患者,因为为早期食管癌制备参考标准可能非常具有挑战性。我们的模型在检测极早期食管癌方面将不够有效。第三,由于部分患者在手术前接受了化疗,这些患者的食管癌病理证实仅来自活检标本。第四,测试数据集中食管癌阴性组的患者未接受内镜检查。然而,考虑到食管癌的发病率(每10万人口6.3例),20 可以合理假设食管癌风险患者被误分类为“无食管癌患者”组的可能性非常低。第五,由于我们在预处理中裁剪了CT图像的中下部,我们的模型不适用于俯卧位或侧卧位扫描的患者。最后,我们模型的性能未经过外部验证。需要在测试组中纳入来自多中心的大量患者进行进一步研究。更大的患者数量也可能为逐期比较提供足够的患者,从而提供深度学习模型在较早癌症分期中有效性的数据。
结论
总之,用于在增强CT上检测食管癌的深度学习模型主要有助于经验较少的放射科住院医师提高其诊断性能。然而,我们应当意识到,可能存在这样一种风险:影像经验有限的放射科住院医师(例如仅数月经验)在参考深度学习模型结果时,对无食管癌患者的阴性诊断信心可能会降低。
引用
- Yasaka, Hatano, Mizuki, et al. Effects of deep learning on radiologists' and radiology residents' performance in identifying esophageal cancer on CT. Br J Radiol. 2023. PMID: 37000686. doi:10.1259/bjr.20220685
- 全文:PMC10546446(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10546446/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。