文献速递胸部CT

独立深度学习与专家在胸部计算机断层扫描诊断肺癌中的比较:一项系统综述

Standalone deep learning versus experts for diagnosis lung cancer on chest computed tomography: a systematic review.
PubMed 文献 · Eur Radiol · 2024-05-22

该系统综述纳入20项研究,比较独立深度学习算法与人类专家在胸部CT上诊断肺癌的效能。深度学习算法汇总敏感度82%、特异度75%,专家分别为81%和69%,特异度差异有统计学意义而敏感度差异无统计学意义。算法性能随成像方式和任务不同而变化,需针对不同场景优化。

要点

  • 深度学习算法汇总敏感度82%与专家81%相近,差异无统计学意义(P=0.06)。
  • 深度学习算法汇总特异度75%显著高于专家69%(P<0.01)。
  • 低剂量CT上深度学习敏感度94%高于专家89%,但特异度39%低于专家82%。

核心结论

  • 深度学习算法在CT肺癌诊断中敏感度与专家相近、特异度更高,但性能随成像方式和任务变化,需进一步研究评估其在低剂量CT恶性分类和高分辨率CT侵袭性分类中的效果。

研究设计与样本

  • 系统综述与Meta分析,检索PubMed、Embase和Web of Science自建库至2023年11月7日,最终纳入20项研究。
  • 纳入研究除1项外均使用回顾性数据集,多数为队列研究,另含1项病例对照研究和1项回顾性分析随机对照试验数据的研究。
  • 所有研究以组织病理学为诊断参考标准,评估任务包括恶性分类和侵袭性分类,成像方式包括CT、低剂量CT和高分辨率CT。
  • 采用双变量随机效应模型合并敏感度和特异度,并进行亚组分析;质量评价使用QUADAS-2、QUADAS-C和CLAIM。

关键影像表现/征象

  • 原文未报告影像征象相关的具体表现,仅报告诊断效能指标。

诊断标准与关键数值

  • 全部研究汇总:深度学习算法敏感度82%(95%CI 79–86)、特异度75%(95%CI 70–80);人类专家敏感度81%(95%CI 78–85)、特异度69%(95%CI 62–74)。
  • 标准CT恶性分类(12项研究):深度学习算法敏感度82%(95%CI 77–86)、特异度75%(95%CI 66–82);专家敏感度81%(95%CI 75–85)、特异度60%(95%CI 50–70)。
  • 低剂量CT:深度学习算法敏感度94%(95%CI 82–98)、特异度39%(95%CI 23–58);专家敏感度89%(95%CI 77–96)、特异度82%(95%CI 64–92)。

临床应用与阅片要点

  • 原文未据此给出推荐。

局限性

  • 本研究仅纳入非干预性研究,AI评估从未直接参与患者诊断,其在临床实践中能否可靠检测癌症存疑。
  • 分析仅限于聚合数据,因无法获取纳入研究的个体患者数据,限制了对患者特异性评估的详细分析。
  • 无法评估所审查放射科医师的相对专业水平。
  • 分析中以回顾性研究为主而非前瞻性多中心研究,可能影响研究结果对未来临床实践的普遍性和适用性。
  • 作者指出需要更多整合性、患者特异性和前瞻性研究来验证AI在临床诊断环境中的效能。
全文中译13 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 May 22;34(11):7397–407. doi: 10.1007/s00330-024-10804-6

引言

肺癌仍然是全球癌症死亡的主要原因,2023年估计有238万新发病例和127万死亡病例[1]。通过影像学进行早期检测,特别是通过胸部计算机断层扫描(CT),对于改善患者预后至关重要[2]。然而,解读CT扫描可能具有挑战性和主观性,取决于放射科医生的经验和专业知识[3]。为解决CT扫描结果解读中的这些局限性,人工智能(AI)模型,特别是深度学习(DL)模型,已被用于提高肺癌诊断的准确性。DL模型,尤其是卷积神经网络,已被训练用于识别影像数据中的细微模式,其准确性可能超过人类专家[4, 5]。DL模型提供一致且快速的分析,这在管理大量影像数据时尤为有益[6]。

将AI应用于临床实践面临挑战。担心AI模型“黑箱”性质的放射科医生质疑其在临床决策中的透明度和分析能力[7]。此外,DL模型的性能因训练数据质量而差异很大,这表明DL模型可能不可靠或有偏倚[8]。尽管如此,将AI整合到放射学实践中有望带来巨大益处。AI可以帮助减少诊断错误,补充放射科医生的技能,并促进更优质的患者护理[9]。AI还可以减轻放射科医生的工作量,腾出时间用于复杂病例和患者互动[10]。

以往的荟萃分析主要关注AI单独分析通过各种影像模态采集的图像的性能[11–14]。比较AI模型与放射科医生的性能可以提供有价值的见解。因此,本研究的目的是进行一项荟萃分析,对专家放射科医生和DL模型在胸部CT扫描诊断肺癌方面的准确性进行比较评估。该研究还回顾和分析了文献,以了解DL模型在肺癌筛查和诊断中的优势、局限性和应用。

材料与方法

一般指南

本系统综述和荟萃分析严格遵循2020年系统综述和荟萃分析首选报告项目(PRISMA)指南[15]。在研究设计和报告阶段坚持遵守PRISMA清单,以确保方法学严谨性。对这些指南的符合程度在表S1和S2中详细说明。此外,该研究已在PROSPERO正式注册(注册号:CRD42023479874)。该研究不涉及与患者的直接临床互动,因此无需伦理批准或知情同意。

数据库检索和合格稿件的确定

两位分析人员(T.W.W.和J.S.H.)检索了文献,寻找比较深度学习(DL)模型与专家评估在胸部CT扫描诊断肺癌方面有效性的研究。他们全面检索了三个数据库——PubMed、Embase和Web of Science——从建库至2023年11月7日。表S3提供了我们的研究结果汇总。我们审查了所识别文章的标题和摘要,并纳入与DL评估CT扫描相关的文章。分析人员之间的任何分歧均通过咨询第三方专家来解决。为确保集中于高质量综述,以下研究被排除:侧重于肺裂周围结节分类任务、侧重于检测或分割任务、不涉及CT、未采用DL模型、非英文发表、或未提供列联表的研究;此外,综述类文章也被排除。

数据提取与管理

数据提取由两位分析人员(T.W.W.和J.S.H.)完成。提取项目按以下分类系统整理:研究国家、研究类型、研究设计、结节识别的参考标准、涉及的分类(恶性分类或侵袭性分类)、人群(定义为阳性结局患者的百分比)、成像方式、阅片者数量以及所使用的DL算法。结局指标包括受试者工作特征曲线下面积(AUC)、灵敏度和特异度。这些指标用于评估人类专家和DL算法的性能;也用于评估DL算法单独应用时的性能。若纳入研究中未明确提供DL算法和人类专家的性能指标,我们在可行的情况下从现有信息中推导。

质量评估

纳入研究的质量采用诊断准确性研究质量评估2(QUADAS-2)框架[16]和QUADAS比较(QUADAS-C)工具[17]进行评估。此外,每项研究的报告质量依据医学影像人工智能清单(CLAIM)[18]进行评估。该评估由负责数据提取的同一组分析人员完成。由于评估医学影像中AI应用的复杂性,解释上的任何差异均通过咨询参与研究的资深研究人员来解决。

统计分析

在本研究中,我们根据各纳入研究报告的数据及其提供的灵敏度和特异度值,通过计算真阳性、假阳性、真阴性和假阴性,为每项纳入研究构建了2×2列联表。我们采用双变量随机效应模型,计算放射科医师和深度学习(DL)算法各项性能指标的合并估计值及95%置信区间(CI),从而对上述数据进行合并。在我们的分析中,灵敏度和特异度值在纳入模型前均经过转换。鉴于这些指标的有界性质(范围为0至1),我们对灵敏度和特异度均施加了logit转换。此外,我们采用汇总受试者工作特征(SROC)曲线比较DL算法与人类专家在诊断过程中的准确性。我们按分类任务和图像类型亚组生成森林图,以直观呈现纳入研究的结果。这些图展示了各研究的总体结果,并按特定成像模态和任务对结果进行了分段。我们进行亚组分析,以确定研究地区、所用软件和发表年份对DL算法与人类专家在CT扫描上恶性分类性能的影响。最后,为评估发表偏倚,我们使用Deeks漏斗图不对称检验[19]分别对人类专家和DL算法进行了分析。该统计方法旨在检测荟萃分析中的偏倚;漏斗图的不对称性提示已发表研究结果存在发表偏倚。统计分析使用Stata(18.0版)及metadata [20]和Midas进行。

结果

研究识别与筛选

图1展示了检索过程的PRISMA流程图。检索共获得3485项研究。去除1255篇重复文献后,我们使用EndNote筛选了2330篇文章,基于相关性不足排除了2238篇。对92篇全文文章的进一步审查导致了更多排除,详见表S4。最终,我们选择了20项符合条件的研究[21–40]纳入本荟萃分析。

图1 研究纳入检索过程的PRISMA流程图 查看原图 ↗

纳入研究的基本特征

表1和表2总结了纳入研究的特征。除一项研究[39]外,所有研究均使用回顾性数据集。此外,12项研究(11项使用CT扫描,1项使用低剂量CT [LDCT])聚焦于恶性分类。7项研究聚焦于侵袭性分类(4项使用CT,3项使用高分辨率CT [HRCT]),1项研究通过使用CT扫描同时纳入恶性和侵袭性分类。除一项病例对照研究[21]和一项回顾性分析随机对照试验数据的研究[26]外,大多数研究为队列研究。所有研究均采用组织病理学作为诊断参考标准。这些研究考虑了多种结节类型,包括亚厘米结节、磨玻璃结节、亚实性结节、非实性结节、小结节以及结节或腺瘤。

在我们回顾的20项研究中,使用了多种深度学习(DL)算法。具体而言,五项研究(25%)使用了市售的人工智能算法,一项研究使用了开源软件,其余14项研究使用了内部开发的自定义算法。DL模型的这种差异反映了可用于提高医学影像诊断准确性的基于人工智能的方法的广泛性。

表1 纳入研究的基本特征 查看原表 ↗
表2 诊断研究中人工智能算法的比较概览 查看原表 ↗

质量评估

图S1使用QUADAS-2和QUADAS-C工具细致地描绘了纳入研究的质量评估结果。同时,补充表S5对这些研究相关的潜在偏倚和适用性问题提供了详尽的阐释。

在补充表S6中呈现的一项严格评估中,二十项研究依据CLAIM标准进行了评价。这些研究获得的CLAIM平均得分为30.45,相当于最高可得分42分的约72.5%。该评估记录的标准差为4.07,各项研究的个体得分范围为24.00至36.00。这些研究在CLAIM标准各子部分中获得的平均得分的详细分析如下:标题/摘要部分获得了2分中的满分2分(100%),引言部分得分为2分中的1.95分(97.5%),方法部分得分为28分中的20.5分(71.6%),结果部分得分为5分中的3.4分(68%),讨论部分得分为2分中的1.85分(92.5%),其他信息部分得分为3分中的1.2分(40%)。得分的这种分段阐明了所评估研究各部分的全面性和质量的差异水平。

独立DL算法与人类专家的结局指标

在我们的荟萃分析中,我们得出了人类专家和DL算法在胸部CT扫描诊断肺癌方面的敏感度和特异度的合并估计值(表3)。DL算法表现出略高于人类专家的敏感度水平(82%;95% CI:79–86)对(81%,95% CI:78–85),尽管差异(2%)无统计学意义(p = 0.06)。值得注意的是,DL算法表现出显著高于人类专家的特异度水平(75%,95% CI:70–80)对(68%,95% CI:62–74),差异(7%)具有统计学意义(p < 0.01)。这些合并估计值及相应的森林图见图S2,SROC图见图S3。我们注意到DL算法的结果中存在轻微的发表偏倚(p = 0.01,图S4a),但人类专家的结果中未观察到发表偏倚(图S4b)。

对于恶性肿瘤分类任务,我们观察到深度学习算法与人类专家在CT扫描诊断肺癌的性能方面存在显著差异(图2a和3a)。具体而言,在12项使用CT进行恶性肿瘤分类的研究中,深度学习算法与人类专家表现出相当的灵敏度水平,分别为82%(95% CI:77–86)和81%(95% CI:75–85)。然而,深度学习算法与人类专家的特异度水平差异显著,分别为75%(95% CI:66–82)和60%(95% CI:50–70)。在这些研究中,人类专家或深度学习算法的结果均未观察到显著的发表偏倚(图4a、b)。在使用低剂量CT(LDCT)的研究中,深度学习算法的灵敏度优于人类专家(94% [95% CI:82–98] vs 89% [95% CI:77–96]),但特异度劣于人类专家(39% [95% CI:23–58] vs 82% [95% CI:64–92])。

对于侵袭性分类任务,深度学习算法在使用CT时表现出略高于人类专家的灵敏度和特异度水平(图2b和3b)。在基于高分辨率CT(HRCT)的研究中,深度学习算法与人类专家的灵敏度和特异度密切匹配,未显示出显著差异。如森林图和表格所示,这些发现证明了深度学习算法相对于传统影像学分析在肺癌诊断中的有效性。

本研究还调查了CT扫描恶性肿瘤分类中的潜在混杂因素。我们的分析揭示了人类专家在性能上存在显著的区域差异。然而,我们发现研究区域、软件或发表年份对深度学习算法的灵敏度和特异度无显著影响。这些结果见表4。

表3 所有纳入研究和涉及各种成像模态的任务中人类专家和独立深度学习算法性能指标的合并估计 查看原表 ↗
图2 森林图显示(A)CT扫描恶性肿瘤分类和(B)CT扫描侵袭性分类的合并估计 查看原图 ↗
图3 综合受试者工作特征(SROC)曲线显示人类专家(蓝色)和深度学习算法(红色)在(A)CT扫描恶性肿瘤分类和(B)CT扫描侵袭性分类中的性能 查看原图 ↗
图4 Deeks检验图显示(A)专家CT扫描恶性肿瘤分类、(B)深度学习算法CT扫描恶性肿瘤分类、(C)专家CT扫描侵袭性分类和(D)深度学习算法CT扫描侵袭性分类。ESS,有效样本量 查看原图 ↗
表4 人类专家和独立深度学习算法在不同调节因素下灵敏度和特异度的比较 查看原表 ↗

讨论

这项全面的荟萃分析比较了独立深度学习算法与人类专家在胸部CT(包括LDCT和HRCT扫描)肺癌诊断中的性能。研究结果为人工智能在医学影像中整合的有效性提供了见解。

我们对深度学习(DL)算法与人类专家在胸部CT扫描肺癌检测中的诊断性能评估显示,两者在灵敏度和特异度方面存在显著差异。DL算法的灵敏度(82%;95% CI:79–86)略高于人类专家的灵敏度(80%;95% CI:76–84),尽管这2%的差异无统计学意义(p = 0.06)。然而,DL算法达到的特异度水平(75%;95% CI:70–80)显著高于人类专家(69%;95% CI:62–74),差异为6%(p < 0.01)。这一差异可能归因于DL算法减少假阳性诊断的能力,从而显著提高其在肺癌筛查中的效率。此外,我们的分析揭示DL算法的性能因成像方式和任务而异。在标准CT扫描的恶性分类方面,DL算法表现出与人类专家相当的灵敏度和更高的特异度。然而,在低剂量CT(LDCT)扫描中,DL算法表现出更高的灵敏度但特异度显著低于人类专家。这种在不同成像方式和任务间的性能差异凸显了针对性优化DL算法的必要性,以确保其在各种诊断场景中的有效性和可靠性。

将人工智能(AI)整合到临床诊断中既带来挑战也带来机遇。一个主要挑战是AI的“黑箱”特性。由于AI所采用的决策机制不透明,人们对AI所得结论的可解释性和可信度产生担忧。这种透明度的缺乏在肿瘤学等敏感领域尤为关键,因为这些领域中诊断准确性至关重要。另一个挑战在于DL模型对多样化和高质量训练数据的依赖性。具体而言,DL模型需要多样化的高质量数据集进行训练和验证,以增强其可靠性并减少偏倚。这种训练只能由理解数据复杂细节的人类来完成。此外,我们的研究揭示了专家在不同区域间的性能不一致性,突出了AI可能有助于人类判断的领域。这些结果表明,在CT扫描诊断肺癌的过程中,人类可能受益于AI的程度与AI受益于人类的程度相当。

DL模型可以极大地补充放射科医生的专业知识。通过管理常规任务和简化分析,AI可以减轻放射科医生的工作负担,使他们能够将更多精力投入到复杂病例和患者互动中。此外,AI从个体癌结节中进行预测的能力可能使个性化治疗成为可能,包括手术或观察的建议,从而改善患者护理。

本研究存在若干局限性。首先,由于本研究仅纳入非干预性研究,人工智能评估从未直接参与患者诊断,这引发了人工智能在临床实践中能否可靠检测癌症的问题。其次,我们的分析受限于汇总数据;这是因为所纳入研究的个体患者数据无法获取,限制了我们进行更详细、针对特定患者的评估的能力。第三,我们无法评估我们所审查的放射科医生的相对专业水平。最后,我们的分析中以回顾性研究为主,而非前瞻性、多中心研究,这可能影响我们的研究结果对未来临床实践的普遍性和适用性。这些局限性凸显了进一步研究的领域,强调需要更多综合性、针对特定患者的前瞻性研究来验证人工智能在临床诊断环境中的有效性。

结论

我们的荟萃分析结果显示,深度学习算法能够准确诊断CT扫描上的肺癌。所评估的深度学习算法达到了与人类专家相似的敏感度水平和更高的特异度水平。然而,仍需进一步研究以确定深度学习模型在低剂量CT(LDCT)扫描上对恶性肿瘤进行分类以及在高分辨率CT(HRCT)扫描上对侵袭性进行分类的有效性。随着人工智能的持续发展,其融入肿瘤学诊断可以显著提高准确性和患者预后,前提是须与人类专业知识相平衡。

补充信息

电子补充材料

引用

  1. Wang TW, Hong JS, Chiu HY, et al. Standalone deep learning versus experts for diagnosis lung cancer on chest computed tomography: a systematic review. Eur Radiol. 2024. PMID: 38777902. doi:10.1007/s00330-024-10804-6
  2. 全文:PMC11519296(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11519296/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。