应用卷积神经网络进行放射学癌症诊断的影像学研究设计与报告的系统综述
该系统综述检索了2016年1月1日至2020年8月1日PUBMED、EMBASE、MEDLINE和SCOPUS中应用卷积神经网络进行放射学癌症诊断的影像学研究,共纳入186/655篇筛选文献,评估其对CLAIM清单的依从性。仅27%报告数据纳入标准,31%报告人群人口学特征,49%在测试数据划分上评估模型性能,CLAIM依从性中位数为0.40(IQR 0.33-0.49)。
要点
- 仅49%(91/186,95%CI 42-57%)的研究在明确未参与训练的测试数据划分上评估模型性能。
- 仅27%(50/186,95%CI 21-34%)记录数据纳入标准,31%(58/186,95%CI 25-39%)报告研究人群人口学特征。
- CLAIM依从性中位数0.40(IQR 0.33-0.49),与发表年份(ρ=0.15,p=.04)和期刊H指数(ρ=0.27,p<.001)正相关。
核心结论
- 应用卷积神经网络进行放射学癌症诊断的影像学研究常遗漏关键临床信息(纳入标准和人群人口学特征),不足半数在明确未观察的测试数据划分上评估模型性能;设计及报告标准虽有改善,但仍有许多改进空间。
研究设计与样本
- 系统综述,检索PUBMED、EMBASE、MEDLINE和SCOPUS中2016年1月1日至2020年8月1日发表的、应用卷积神经网络模型进行放射学癌症诊断的研究,共纳入186/655篇筛选文献;由两名独立评价者评估对CLAIM清单的依从性,依从性定义为满足的适用CLAIM条目比例。
诊断标准与关键数值
- CLAIM依从性中位数为0.40(IQR 0.33-0.49);依从性与发表年份正相关(ρ=0.15,p=.04),与期刊H指数正相关(ρ=0.27,p<.001);临床期刊平均依从性高于技术期刊(0.44 vs. 0.37,p<.001)。
局限性
- 原文未报告局限性
全文中译22 节 · 点击展开
引言
近年来,人工智能(AI)在肿瘤影像领域的研究数量不断增加,促使人们呼吁建立适当严格的设计与评价标准[1–6]。对AI研究的评价需要一套不同于经典医学统计学和流行病学的技能。高维性、过拟合和模型泛化问题是AI建模中的核心挑战[7–10]。这些现象可能损害AI模型向临床实践现实的泛化能力[11]。然而,通过严格的实验设计和报告,可以估计并最大化这些模型的可靠性[1, 12]。
EQUATOR的成立旨在通过标准化报告指南来提高科学研究的质量[13, 14]。已建立的EQUATOR指南如STARD[15]、STROBE[16]和CONSORT[17]并非专门为应对AI研究的挑战而设计。近来已开发了以AI为重点的指南,包括CLAIM[18]、SPIRIT-AI[19]、MI-CLAIM[20]以及预期中的STARD-AI[21]。这些是值得欢迎的措施,因为AI在诊断任务的临床实施中仍处于早期阶段。尽管每套报告标准针对特定任务,但这些指南之间存在高度重叠,反映出许多标准的根本重要性。
CLAIM旨在促进关于AI应用于医学影像的清晰、透明和可重复的科学交流,并提供确保高质量科学报告的框架。迄今为止,尚未对这些标准的当前符合程度进行正式量化。因此,需要对肿瘤影像AI研究领域的设计和报告标准进行当代评估。
继ImageNet 2012[22]之后,卷积神经网络(CNN)模型已被适配于各种生物医学任务。该方法现已成为诊断放射学AI应用的行业标准[23, 24]。在本研究中,我们旨在量化近期将CNN应用于肿瘤影像的研究对CLAIM标准的显性满足程度。我们考察该领域数据与参考标准收集、模型评价、结果报告、模型解释、基准测试和透明度的充分性。我们识别诊断性肿瘤影像领域CNN研究设计与报告中需改进的关键领域。
材料与方法
纳入标准
文章评估用于人类放射学肿瘤诊断的CNN模型。
模型仅以放射学图像作为唯一输入。
文章于2016年1月1日至2020年8月1日期间在同行评审期刊上发表。
文章以英文发表。
排除标准
模型针对非诊断任务,如预处理、分割或基因分型。
模型接收非放射学图像,如组织病理学、皮肤镜、内镜或检眼镜图像。
文章呈现动物或合成数据的实验。
文章主要涉及模型实施的经济学方面。
文章发表在低影响力期刊上。
文章无法以全文格式获取。
检索
系统检索了PubMed、EMBASE、MEDLINE和SCOPUS数据库,检索时间为2016年1月1日至2020年8月14日,以寻找符合我们纳入和排除标准的原创文章。各数据库的检索式见补充材料。检索于2020年8月14日进行。未使用其他来源识别文章。筛选及基于全文的纳入决定由2名评审者(R.O.S.、A.S.,分别为具有3年和1年人工智能研究经验的临床研究员)独立完成,分歧通过共识解决。资深评审者(V.G.)可对未解决的分歧提供最终决定。重复文章已移除。文章未使用QUADAS工具[25]进行筛选,因为该工具与CLAIM指南有若干共同条目。排除不符合QUADAS的文章会导致后续对CLAIM依从性的评估产生偏倚。
数据提取
数据条目被定义为衡量对CLAIM建议及既往已发表建议[1, 18]的依从性。具有多个条件的复杂条目按适当方式细分。数据条目列于表1。还提取了第一作者、期刊、发表年份、模态和身体系统。用于验证现有模型的研究豁免所有与模型开发相关的条目。未采用模型集成的研究豁免条目27。
文章由R.O.S.和A.S.阅读并标注,分歧通过共识解决。文章按随机顺序阅读,使用R[26]生成的固定序列。期刊H指数从Scimago期刊排名数据库[27]提取。根据期刊名称将期刊分类为“临床”或“技术”——名称中包含任何与计算机科学、人工智能或机器学习相关术语的期刊被归为“技术”类。其余期刊被归为“临床”类。
数据分析
统计分析使用R 3.5.3版[26]和RStudio 1.1.463版[28]进行。对每个条目,计算合规研究的比例,排除具有适用豁免的研究。对于具有≥ 3个响应类别的条目,还计算每个类别的比例。二项比例周围的95%置信区间(95% CI)使用Clopper和Pearson方法[29]估计,多项比例周围的置信区间使用Sison和Glaz方法[30, 31]估计。遵循依从性评估建议[32],每篇文章的总体CLAIM依从性评分定义为所满足的适用条目的比例。条目和子条目权重相等。
采用双侧Spearman秩相关检验评估CLAIM评分与发表年份之间的相关性,以评价CLAIM依从性的时间变化。采用双侧Spearman秩相关检验评估期刊H指数与CLAIM评分之间的相关性,以评价期刊影响因子与依从性之间的关联。采用双侧t检验评估临床期刊与技术期刊之间平均CLAIM依从性的差异。支持本研究结论所需的所有代码和数据可应通讯作者要求提供。作为一项评估研究报告的方法学综述,本研究不符合PROSPERO数据库注册条件。
结果
检索
主要数据库检索共识别出655篇文章,其中267篇为重复文献。标题筛选阶段排除120篇文章,摘要筛选阶段排除82篇文章。最终纳入分析186篇文章。文献检索流程图见图1。数据集包含来自106种期刊的文章,其中纳入54种临床期刊和44种技术期刊。期刊分类分配见补充表1。文章发表年份、身体系统和成像模态的分布见图2。
标题、摘要和引言
条目1–13的依从性见图3。91%的研究将其模型确定为卷积神经网络(170/186,95% CI 86–95%),70%呈现了结构式摘要(131/186,95% CI 63–77%)。98%包含了科学和临床背景(183/186,95% CI 95–100%)。尽管92%的研究陈述了目标(171/186,95% CI 87–95%),但仅4%包含了明确假设(8/186,95% CI 2–8%)。
研究设计
33%的研究记录了回顾性或前瞻性时间范围(62/186,95% CI 27–41%)。其中,87%为回顾性(54/62,95% CI 81–95%),10%为前瞻性(6/62,95% CI 3–18%),3%同时使用了回顾性和前瞻性数据(2/62,95% CI 0–11%)。25%的研究明确了目标(47/186,95% CI 19–32%)。
数据
94%的研究记录了其数据来源(174/186,95% CI 89–97%)。其中,45%仅使用公开可用的数据集(79/174,95% CI 38–53%),49%仅使用本地数据(85/174,95% CI 41–57%),6%将公共数据集与本地收集的数据相结合(10/174,95% CI 0–14%)。72%的研究记录了数据来源的中心(134/185,95% CI 65–79%)。其中,50%使用了来自多个中心的数据(67/135,95% CI 41–58%)。51%的研究详细说明了所使用的成像设备(94/186,95% CI 43–58%)。其中,53%采用了来自多个供应商的设备(50/94,95% CI 43–64%)。37%的研究记录了图像采集参数(69/186,95% CI 30–44%)。在收集本地数据的研究中,83%记录了机构审查委员会批准(79/95,95% CI 74–90%),26%记录了参与者知情同意(25/95,95% CI 18–36%)。在公开可用数据的研究中,9%记录了机构审查委员会批准(7/79,95% CI 4–17%),8%记录了参与者知情同意(6/79,95% CI 3–16%)。27%的研究记录了其数据的纳入标准(50/186,95% CI 21–34%)。
69%的研究记录了预处理(128/186,95% CI 62–75%),但仅53%提供了可重复的方法学(98/186,95% CI 46–60%)。42%的研究应用了数据子集化(78/186,95% CI 35–49%),其中95%包含了方法(74/78,95% CI 87–99%)。按照我们的纳入标准,所有研究均采用卷积神经网络模型,该模型自主定义预测特征。我们还要求结局属于放射学癌症诊断领域。因此,100%的纳入研究定义了相关数据元素(186/186,95% CI 98–100%)。19%进行本地数据收集的研究记录了数据匿名化(18/95,95% CI 12–28%),但仅3%详细说明了方法学(3/95,95% CI 0–11%)。84%进行本地数据收集的研究记录了数据匿名化、机构审查委员会批准或两者兼有(80/95,95% CI 75–91%)。3%的公开可用数据研究记录了数据匿名化(3/91,95% CI 1–9%),且无一详细说明方法学。17%的研究记录了缺失数据处理程序(31/186,95% CI 12–23%)。病例排除是这些研究中用于管理缺失数据的唯一策略(31/31,95% CI 89–100%)。
参考标准
条目14–27的依从性见图4。25%的研究定义了参考标准或使用了通用数据元素,如美国放射学会报告与数据系统(46/186,95% CI 19–32%)。3%的研究提供了参考标准的依据(5/186,95% CI 1–6%)。然而,50%采用了明确的临床标准,如组织病理学、病例随访或明确成像方式(93/186,95% CI 43–57%)。其中,77%使用组织病理学(72/93,95% CI 70–86%),15%使用组织病理学联合随访成像(14/93,95% CI 8–23%),2%使用组织病理学联合明确成像(2/93,95% CI 0–10%)。4%仅使用随访(14/93,95% CI 8–23%),1%仅使用明确成像(1/93,95% CI 0–9%)。
40%的研究记录了由具有相关亚专科专业知识的放射科医师进行的图像标注(75/186,95% CI 33–48%)。另有32%记录了由未注明专业知识的放射科医师进行的标注(60/186,95% CI 25–40%),4%使用了其他临床医师(8/186,95% CI 0–12%)。在利用组织病理学ground truth的研究中,8%明确由具有相关亚专科经验的病理学家进行标注(7/88,95% CI 3–16%)。12%的研究记录了用于图像标注的软件工具(22/186,95% CI 8–17%)。18%的研究提供了评分者间或评分者内变异度统计(34/186,95% CI 13–25%),27%提供了其聚合策略(50/186,95% CI 21–34%),但仅16%同时提供了两者(30/186,95% CI 11–22%)。
数据划分
87%的研究报告了建模图像数量(161/186,95% CI 81–91%),但仅1%提供了效能计算(1/186,95% CI 0–3%)。72%明确了其数据集中的研究参与者数量(133/186,95% CI 64–78%)。其中,纳入参与者数量的中位数为367(IQR 172–1000)。7项研究仅用于验证现有模型,被豁免于与模型开发和数据划分相关的标准。76%的建模研究定义了数据划分及其比例(136/179,95% CI 69–82%),但32%明确了划分分离水平(58/179,95% CI 26–40%)。
模型
66%的建模研究提供了详细的模型描述(119/179,95% CI 59–73%),20%的建模研究提供了对源代码的访问(35/179,95% CI 14–26%)。68%记录了开发软件(122/179,95% CI 61–75%),但仅41%包含了软件版本(74/179,95% CI 34–49%)。68%的建模研究报告了模型初始化参数(122/179,95% CI 61–75%)。其中,52%采用了迁移学习(93/179,95% CI 44–59%),3%将迁移学习与随机初始化进行了比较(4/124,95% CI 1–8%)。
训练
65%的建模研究报告了数据增强(117/179,95% CI 58–72%),但仅54%记录了可重复的方法学(96/179,95% CI 46–61%)。61%的建模研究记录了优化算法(109/179,95% CI 53–68%),61%记录了学习率(110/179,95% CI 54–69%),44%记录了损失函数(78/179,95% CI 36–51%),52%记录了批量大小(93/179,95% CI 44–59%)。69%的建模研究记录了模型选择策略(123/179,95% CI 61–75%)。在采用模型集成学习的30项研究中,93%报告了其聚合方法学(28/30,95% CI 78–99%)。
评估
研究对CLAIM条目28-42的符合情况见图5。55%的研究定义了性能指标(103/186,95% CI 48-63%),36%的研究为这些指标提供了一定的依据(67/186,95% CI 29-43%)。61%的研究在报告结果的统计学显著性时附有方法学说明(114/186,95% CI 54-68%),97%的研究报告了统计学显著性但未附方法学说明(181/186,95% CI 94-99%)。12%的研究评估了模型的稳健性(22/186,95% CI 8-17%)。尽管25%的研究尝试对模型进行某种解释(47/186,95% CI 19-32%),但仅9%的研究为其解释程序提供了经过验证的方法学(17/186,95% CI 5-14%)。
49%的研究在明确独立于训练和验证数据的测试数据上评估了模型性能(91/186,95% CI 42-57%)。45%的研究仅提及两个数据分区(83/186,95% CI 38-53%);其报告的结果可能代表的是验证性能而非测试性能。另有6%的研究未记录任何数据分区(12/186,95% CI 0-14%);其报告的结果可能代表的是训练性能。41%的研究将模型与其他计算方法进行了基准比较(77/186,95% CI 34-49%)。17%的研究将模型与具有相关亚专科专业知识的放射科医师进行了基准比较(31/186,95% CI 11-23%)。5%的研究将模型与未注明专业知识的放射科医师进行了基准比较(9/186,95% CI 0-11%),1%的研究使用了其他临床医师(1/186,95% CI 0-7%)。
结果
8%的研究提供了病例流程图(14/186,95% CI 4-12%)。31%的研究报告了其研究人群的人口学和临床特征(58/186,95% CI 25-38%)。然而,仅10%的研究描述了每个数据分区的单独分布(18/186,95% CI 6-15%)。15%的研究报告了来自另一机构的测试数据的性能指标(28/186,95% CI 8-23%)。34%的研究使用了来自同一机构的测试数据(63/186,95% CI 27-41%)。40%的研究报告了带有置信区间的诊断准确性(75/186,95% CI 33-48%)。24%的研究讨论了误分类样本(44/186,95% CI 18-30%)。
讨论
46%的研究讨论了局限性(85/186,95% CI 38-53%),37%的研究讨论了其发现的临床意义(69/186,95% CI 30-44%)。
其他信息
7%的研究提供了研究注册号(13/186,95% CI 3.8-11.7%),1%提供了研究方案(2/186,95% CI 0.1-3.8%)。65%的研究记录了资金来源(121/186,95% CI 57.7-71.9%),但仅3%纳入了资助机构的作用(6/186,95% CI 0.0-10.9%)。另有6%的研究声明未获得资助(12/186,95% CI 0.0-14.1%)。条目1-42的符合情况见补充表3。
CLAIM总体符合情况
CLAIM符合率的中位数为0.40(IQR 0.33-0.49)。符合率与发表年份呈正相关(ρ = 0.15,p = .04),与期刊H指数呈正相关(ρ = 0.27,p < .001)。临床期刊的平均符合率高于技术期刊(0.44 vs. 0.37,p < .001)。符合率分布按发表年份、期刊H指数和期刊类别在图6中可视化呈现。
讨论
放射学人工智能正处于发展阶段,这体现在年度发表量的增长和临床研究者的认可上[33–37]。为安全利用新方法的潜力,临床医生呼吁采用现实、可重复且符合伦理的研究实践[1, 38–44]。CLAIM指南为该领域的研究设定了严格标准,将统计学习领域的技术要求[9, 45]与临床研究的实际需求[1, 2, 15, 46]相结合。我们观察到文档标准随时间有所改善,这一发现与既往人工智能研究综述一致[43, 45]。依从性在高影响力临床期刊中最高,证明了同行评审中设计和报告实践的价值。
一个关键的改进机会是模型测试,涉及条目20、21、32和35。文档应明确说明卷积神经网络(CNN)建模所需的三个不相交数据分区(可通过交叉验证或自助法进行重采样)。训练数据用于模型学习,验证数据用于模型选择,测试数据用于评估最终模型的性能[47, 48]。半数研究记录了两个或更少的分区——在这些情况下,结果可能代表的是验证甚至训练性能。当数据分区在按患者基础上不相交时,尽管进行了分区模型测试,仍可能发生数据泄漏。这些情况会乐观地偏倚泛化性指标。一些多中心研究在患者层面而非机构层面划分数据,错失了评估跨机构泛化性的机会。
显然,CLAIM还引入了偏离当前规范的要求。很少有研究满足条目12,该条目要求记录数据匿名化方法,这一问题随着图像识别能力的发展而出现[41, 49, 50]。这一要求此前可能对公共可用数据的研究或记录了机构审查委员会批准的研究有所放宽,因为任一情况都表明数据治理程序此前已获认证。CLAIM指南的精神是通过清晰的文档消除此类假设,促进研究透明度的文化。在许多此类情况下,提高依从性的负担很小,仅要求记录额外信息。
我们的研究结果与既往对临床和通用人工智能研究中设计与报告标准的综述一致。一项对将人工智能与放射科医师进行基准比对的研究的综述发现,数据可获得性、源代码、纳入资格和研究背景的文档记录存在不足[38]。对多变量诊断建模中TRIPOD依从性的综述发现模型评估和数据描述存在不足[12, 51, 52]。对人工智能研究中可重复性的综述报告称,数据可获得性、源代码、方案和研究注册的文档记录不充分[43, 45, 53]。许多评论者倡导临床人工智能研究的透明度[19, 38, 40, 42, 43, 53, 54]。
我们注意到本系统综述存在若干局限性。首先,由于范围仅限于以英文发表的研究,结果易受语言偏倚影响。其次,尽管报告标准可直接测量,但与研究设计相关的条目仅在有所报告时才可测量。因此,在报告质量较差的研究中,设计依从性可能被低估。这是该领域综述的一个普遍局限性。第三,文章按顺序阅读,因此读者可能易受锚定偏倚影响。通过随机化阅读顺序,将锚定对趋势和亚组分析的影响降至最低。
结论
在用于放射学癌症诊断的卷积神经网络(CNN)研究中,设计和报告标准已有所改善,但仍有许多进一步改进的机会。CLAIM指南为该发展中的领域设定了高标准,整合了临床和技术研究要求以提高证据质量。我们的数据支持将CLAIM指南整合到用于放射学癌症诊断的CNN研究的设计和报告中的必要性。
补充信息
ESM 1(DOCX 89 kb)
引用
- O'Shea RJ, Sharkey AR, Cook GJR, et al. Systematic review of research design and reporting of imaging studies applying convolutional neural networks for radiological cancer diagnosis. Eur Radiol. 2021. PMID: 33860829. doi:10.1007/s00330-021-07881-2
- 全文:PMC8452579(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8452579/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。