头部CT人工智能模型的可重复性:一项定量分析的系统综述
该系统综述纳入83篇2000年至2021年11月发表的头部CT人工智能研究,按PRISMA流程分析数据与代码透明度、预处理、算法类型、超参数、性能指标及数据集平衡与流行病学的关系。结果显示仅10.15%提供开源代码,84.05%使用单中心数据,训练集病灶患病率(0.49±0.30)远高于真实世界(0.21±0.28),提示多数研究不可重复且可能高估性能。
要点
- 仅10.15%研究提供开源代码,超参数报告不完整,结果难以复现。
- 84.05%数据集来自单中心,仅6.0%使用真正外部测试集,偏倚风险高。
- 训练/测试集患病率显著高于真实世界,可能高估模型性能。
核心结论
- 当前头部CT人工智能研究很少可重复,与真实世界流行病学不匹配,应提高透明度。
研究设计与样本
- 系统综述,遵循PRISMA指南,检索PubMed、Cochrane和Web of Science数据库,纳入2000年1月1日至2021年11月1日发表的83篇全文原创研究。
- 纳入标准为提出机器学习模型、涉及脑部CT、涉及人类参与者的英文原创研究,排除SCImago期刊排名低于2的出版物。
- 偏倚风险评估采用GRADE工具,数据提取由两名读者独立完成并经计算科学专家和放射科专家确认。
诊断标准与关键数值
- 仅10.15%(n=7)的作者提供开源代码。
- 84.05%(n=58)的数据集来自单中心来源;仅6.0%(n=5)使用真正外部测试集。
- 训练集平均患病率为0.49±0.30,测试集为0.45±0.29,真实世界流行病学为0.21±0.28。
- 卷积神经网络使用最多(32.61%,n=15);超参数报告频率为32.61%(n=15)。
临床应用与阅片要点
- 阅读AI研究时需关注是否提供开源代码及完整超参数,否则结果难以验证。
- 单中心数据训练的模型可能不适用于其他中心,需谨慎外推。
- 训练集患病率高于真实世界时,模型性能可能被高估,尤其对罕见病变。
局限性
- 仅分析头部CT的机器学习模型,结论推广至其他模态需谨慎。
- 文献检索可能漏检部分文章,因术语差异或未知错误。
- 分析的文章发表于CLAIM协议之前,未按该标准评估。
全文中译18 节 · 点击展开
要点
大多数关于头部CT成像机器学习的研究不可重复。
大多数情况下算法并非开源。
平衡训练数据很少能反映真实世界的流行病学。
模型架构的图示设计方式异质不一。
背景
在2017年斯坦福健康趋势报告中,医学数据的年增长率估计为48%,数据量从2013年的153拍字节增加到2020年的2314拍字节[1]。根据欧盟统计局关于影像设备使用情况的报告,欧洲每8个人中就有1人每年需要进行计算机断层扫描(CT)检查[2]。诊断影像在这些数据中占很大份额,对放射科医生的日常工作需求日益增加。人工智能(AI),尤其是机器学习算法,将成为现代放射学满足这些需求的重要工具。机器学习是计算机算法的统称,这些算法无需按照明确规则编程即可做出准确决策[3]。它们通过卷积神经网络(CNN)、随机森林(RF)、支持向量机(SVM)等算法实现[4]。然而,使用机器学习的软件对临床的影响仍然有限[5]。Kicky等[5]已经表明,放射学中大多数人工智能产品是概念验证,很少涉及临床应用。为克服这一状况,必须基于可靠的研究开发用于日常临床的应用。目前存在一场争论,即近期的发表文献缺乏标准化和可重复性[6]。程序代码很少开源,这使得使用现有算法进行临床研究变得困难,从而阻碍了AI成功应用于医疗环境。
在本研究中,我们关注使用头部CT图像作为训练信息的算法。图像数据通常经过各种预处理步骤,并被分为训练集、验证集和测试集。在定义特定输出后,这些数据集被用作相应算法的输入。2020年,Mongan等[7]指出,放射学领域许多关于CNN的发表文献在方法学上存在缺陷,随后制定了CLAIM方案:一份用于医学影像中CNN研究的检查清单。如果在准备发表文献时遵循其规则,应能确保研究的可重复性。在计算机科学中,可重复性被定义为在相似条件下从先前的实验中获得相同结果[8]。对于AI而言,这将是由独立团队使用相同的超参数和可比的数据集测试相同的算法。该术语常与可复制性互换使用,后者描述的是由不同研究团队在非常不同的条件下模拟先前的实验并获得相同结果[9]。我们认为当前研究既缺乏可复制性,也缺乏可重复性。在本研究中,我们特别关注提供可自由访问的程序代码的重要性、流行病学因素对训练数据集的重要性[10, 11],以及AI架构表示的一致性。我们着手基于这些标准批判性地审视当前的研究状况。我们分析了该领域过去二十年中关于数据来源、数据集平衡、算法可重复性和模型性能评估的研究。
方法
我们最初按照系统评价和荟萃分析优先报告条目(PRISMA)指南[12]进行了系统性文献检索。偏倚风险评估通过推荐分级的评估、制定与评价(GRADE)工具[13]完成。PRISMA清单见附加文件1。该阶段始于2021年3月1日,使用PubMed、Cochrane和Web of Science数据库。在PubMed上,我们使用以下布尔检索词,并结合医学主题词(MeSH)进行进一步分层:“(artificial intelligence [mh] OR neural network [mh] OR machine learning [mh]) & (computed tomography [mh] OR CT [mh]) & (neuroimaging [mh] OR brain imaging [mh] OR brain [mh] OR head [mh])”。我们进行了两个文献检索阶段,包括2000年1月1日至2020年12月31日的文章,以及第二次更新检索,包括2021年1月1日至2021年11月1日之间的文章。选择该时间段是因为在初步检索中我们认识到,与本综述相关的首批头部CT文章发表于2000年之后,更重要的是,仅在最近7年才逐渐增多。PRISMA流程图见图1。
我们仅选择符合以下纳入标准的全文文章进行综述:原创研究文章;英文语言;提出任何类型的机器学习模型;脑部计算机断层扫描;涉及人类参与者。当初筛阶段由两名独立读者(G.R.、F.G.)阅读摘要后发现不包含机器学习模型研究,或论文的SCImago期刊排名[14]低于2(我们将其视为质量截断值)时,我们初步排除这些出版物。我们发现,大量发表在该排名以下期刊上的出版物并不始终遵循良好科学实践的建议。我们进一步排除了不涉及脑部计算机断层扫描的文章、未经同行评审的文章或其他出版类型(如致编辑的信、会议摘要、评论、病例报告或其他系统评价)。数据收集和排除由两名读者(F.G.、G.R.)确定,并由另外两名独立读者确认,其中一位是计算科学与人工智能专家(M.J.),另一位是认证的经验丰富的放射科医师(E.M.H)。机器学习被定义为使用任何类型的计算机算法通过数据集训练以自动解决特定问题的方法,在本研究中为放射学相关问题。
文章选择
最终入选的所有全文文章(n = 83)均由一名读者(F.G.)逐篇阅读,信息手动录入Excel(Office 365)中的数据框。所检索数据的所有变量和结局列表见附加文件1:表S3。我们的流行病学数据信息来源见附加文件1:表S2。我们分析了以分类、检测、分割或预测任务为主要功能的算法研究文章,其中列出了人口学特征,并且二分类结局(病理“A”或无病理“A”)可与真实世界患病率进行比较。
统计分析
我们将数据提取到Microsoft Excel中,随后使用R脚本(RStudio 4.1.1)进行统计分析。我们使用描述性统计和Welch学生t检验来评估数据集的平衡性(见表1)。我们的数据集和代码可在存储库[15]或附加文件1中找到。为测量性能统计指标,我们按主要功能对所有文章进行了分类(分类、检测、分割、预测、分诊、重建、生成、融合)。当作者将机器学习模型的特征定义为可满足可重复性时,即各个参数和特征可在开源代码中获取或在出版物本身(或补充材料或先前研究)中明确列出时,这些特征被视为完整。仅提及参数不被视为充分(例如,“数据集被分为训练集和验证集”与“数据集按80/20分为训练集和验证集”)。
研究领域的发展
文献检索获得253条符合我们检索标准的条目。我们在初步筛选阶段排除了93条记录,保留160篇全文文章进行评估。在资格评估后,83项研究被保留进行综述。整个筛选过程如图1所示。
自2013年以来,发表数量以20%的年增长率增长。从2000年起每年的发表数量如图2所示。在大多数研究中,AI模型的主要目的是预测(n = 19)特定事件,主要是颅内病变的发生、干预后的结局研究或其他与脑相关的病理。其他任务包括脑分割(n = 15)、合成CT图像生成(n = 13)、病变检测(n = 10)、图像重建(n = 9)、分类任务(n = 8)、MRI扫描与CT图像的融合(n = 5)、分诊模型(n = 4)以及自动图像配准到标准化空间(n = 2)。
数据与代码的透明性和来源
仅有少数作者提供了开源代码(10.15%,n = 7)。数据集大多来自单中心来源(81.9%,n = 68)。作者对训练前的以下步骤描述如下:增强步骤(36.2%,n = 30)、输入扫描的分辨率(72.3%,n = 60)、亨氏单位窗宽中心或色彩空间的定义(32.5%,n = 27)以及预处理步骤(63.9%,n = 53)。
数据集平衡性与流行病学的比较
我们分析了所有可对数据集应用患病率的文章(n = 30)。我们发现训练集中使用的平均患病率为50%(SD ± 31%),测试集中的平均患病率为47%(SD ± 30%)。这与真实世界流行病学数据不同,后者的患病率平均为22%(SD ± 28%)。训练集和测试集与实际流行病学的平衡性比较见表1。用于计算的流行病学数据的参考文献列于附加文件1:表S3中。
算法类型
用于CT脑图像的机器学习算法类型(按降序排列)为卷积神经网络(CNN)(n = 60)、随机森林(RF)(n = 8)、字典学习(DL)(n = 6)、支持向量机(SVM)(n = 6)及其他(n = 9)(见表2)。
超参数
根据J.Mongan在CLAIM方案[7]中的定义,关于CNN的研究论文至少应包含学习率、优化方法以及用于算法训练的小批量大小。此外,还应报告丢弃率以及训练轮数(如有使用)。如果提供了开源代码,超参数也被认为是可复现的。我们仅在18个案例中发现使用CNN的出版物定义了最低数量的超参数(31.0%,n = 18)。作者描述了17个模型的丢弃率(29.3%,n = 17),并在34篇出版物中定义了训练轮数(58.6%,n = 34)。
损失函数仅在34个案例中被定义(41.0%,n = 34)。在已定义的函数中,9个使用了交叉熵损失(10.84%,n = 9),5个使用Dice损失(6.0%,n = 5),3个使用平均绝对误差损失(3.62%,n = 3),2个使用欧几里得损失(2.4%,n = 2)。其他研究人员使用了不同的损失函数(见表3)。
网络类型
在22个实例中未使用或未定义预训练网络或基础框架(31.3%,n = 26)。在作者定义或使用已有网络的案例中,以下为最常见的:U-Net(20.5%,n = 17)、ResNet(10.8%,n = 9)、VGGNet(4.8%,n = 4)、PItchHPERFeCT(3.6%,n = 3)和GoogLeNet(3.6%,n = 3)。真实标签最常为放射科医师的报告或决策(47.0%,n = 39),其次为无任何人工干预的原始图像(12.1%,n = 10)。然而,相当一部分作者完全未定义其模型的真实标签,或未达到令人满意的程度(37.4%,n = 31)。
模型架构图示
在60篇文章中,提供了所提出模型架构的图示(72.3%,n = 60)。这些图示的目的主要是为读者提供机器学习模型的概览。根据CLAIM的要求,这些图示应提供的最低限度细节为输入数据的数据大小和向量,以及输出层的精确定义。中间层可能包含池化、归一化、正则化和激活函数(同样附带向量),并应展示其相互关系。我们在附加文件1中提出了这些组件的模板。
训练与验证
作者在超过三分之二的实例中定义了数据集训练与验证之间的比例(71.1%,n = 59)。此外,超过50%(56.6%,n = 47)的作者使用从训练或验证数据中排除的独立测试集来验证其预测。仅有五位设有独立测试集的作者使用了来自不同数据源的真正外部测试集(6.0%,n = 5)。
模型评估指标
研究人员主要针对检测模型测量了模型的敏感性(分别对应召回率)和特异性(33.3%,n = 9;29.6%,n = 8)。受试者工作特征曲线下面积(AUROC)主要用于预测模型(26.3%,n = 10),Dice评分(分别对应F1评分)主要用于分割应用(28.95%,n = 11)。对于虚拟扫描生成模型,平均绝对误差(MAE)(22.9%,n = 5)和结构相似性指数(SSIM)(19.4%,n = 6)主要被用作评价指标。对于成像模态融合模型,则基于其峰值信噪比(PSNR)(42.9%,n = 3)进行检验。附加文件1:表S4详细显示了所有结果。
算法性能比较
有28位作者仅将其机器学习解决方案作为概念验证发表(33.7%,n = 28)。一些论文让其模型的性能与放射科医师(16.7%,n = 12)或其他算法(18.1%,n = 18)进行比较。在所有其他文章中,模型与当前的非机器学习方法进行了比较。
讨论
随着机器学习算法数量的不断增加,对研究标准化的需求很大,本综述满足了这一需求。我们对人工智能研究的可重复性进行了详细分析。本综述侧重于算法的可比性及其在真实性背景下的可行性。考虑到已发表论文的数量(见图2),人工智能在这一特定放射学领域是发展最快的主题之一。
只有一小部分提供了开源代码,这极大地降低了该领域研究的可重复性,而可重复性对临床研究不可或缺。此外,只有少数出版物在最低程度上描述了必要的模型超参数。了解超参数对于验证已发表结果至关重要。这一缺陷可以通过提供开源代码来克服,如果希望成功地在临床实践中实施人工智能应用,那么每篇关于机器学习算法的出版物都应提供开源代码。
我们发现的另一个主要问题是源数据的来源。头部CT扫描主要在单一站点获取。Park等[10]指出,单中心数据缺乏机器学习模型输入数据的异质性,因此更容易出现所谓的单源偏倚[16]。多中心研究更难开展,但能提供更广泛的医学数据。尽管大多数研究描述了训练集、验证集和测试集的平衡,但只有少数使用了训练数据之外的外部测试集。因此,所有采用内部验证的模型都应被视为可能不适用于其他数据。[17]。尽管建立起来更具挑战性,但所有机器学习模型都应通过来源于与输入数据不同来源的数据集进行外部验证[17]。
我们还想提到流行病学因素对人工智能模型性能的重要影响很少被考虑。McKnight等人[11]已经表明,当患病率降至10%以下时,机器学习算法表现不佳。我们发现,我们综述中的研究论文与现实世界的结果率存在显著差异。这些文章主要阐述患病率高于10%阈值的情况。然而,在临床实践中,低于该阈值的检验前概率很常见。对于测试集,平衡应模拟各自疾病在现实世界中的发生情况,否则,模型的性能评估可能被高估,尤其是对于罕见疾病。
大多数出版物提出了用于预测、分割或检测任务的算法。主要框架是卷积神经网络,这是预期之中的,因为CNN在物体识别任务上提供了惊人的结果[18]。只有一小部分作者涉及放射学扫描的自主筛查和优先级排序,即分诊,尽管这些模型可能在未来对放射科医生的临床常规产生最大影响[19, 20]。脑部病变的二元诊断是一个重要的概念验证,鉴于放射科医生的影像检查量持续增加[21]。特别是放射学数据的资源高效处理应成为人工智能研究的基石。良好的分诊解决方案可能是首批使人工智能成功实现临床实施的方案。
模型架构的图形化插图是大多数使用CNN的出版物中所使用的工具。所综述的出版物展示了异质性的特征集,并不总是为读者提供足够的信息。遵循CLAIM[7],我们建议这些插图至少应呈现输入和输出的数据大小和向量,并包括所有中间层的向量和功能(见图3)。为支持人工智能研究的标准化,我们创建了可自由用作模板的图形内容[15]。由于CLAIM协议[7]于去年发布,我们综述中分析的文章当然不符合其标准。我们希望鼓励每位作者熟悉CLAIM并将其作为未来人工智能出版物的指南。我们研究的结果必须谨慎解读,因为我们的综述有几个局限性。首先,尽管我们力求完整性,但由于我们犯的未知错误或研究中使用的未知术语可能未被我们的检索所覆盖,在文献选择过程中可能有一些文章我们未能找到。其次,我们仅分析了处理头部CT成像的机器学习模型,因此我们的发现应谨慎推广至其他模态。然而,我们预计将人工智能应用于其他身体区域或使用其他成像模态的科学研究将具有与本手稿中呈现的类似问题,但我们不能肯定地断言这一点。
结论
总之,当前关于人工智能用于头部CT的研究很少具有可重复性,与现实世界的流行病学情况不匹配,并且应当更加透明。这一点至关重要,因为放射学中的人工智能是一个快速发展的领域,因此必须符合科学标准。我们鼓励科学家考虑可重复性和可复现性的需求,标准化网络架构的表示方式,并使用CLAIM方案[7]。免费可用的程序代码和公开可复现的算法是否显著支持人工智能解决方案的开发,仍然是一个开放的研究问题,因为在医疗机构中实施软件时经济因素并非无关紧要。放射影像中的人工智能应用应被视为与其他诊断措施一样,其性能同样受流行病学因素影响,因此平衡数据集时应包括疾病患病率。流行病学对人工智能模型性能的影响程度需要在未来研究中加以调查。
补充信息
附加文件1。补充表格、PRISMA检查表以及用于分析的数据集。
引用
- Gunzer, Jantscher, Hassler, et al. Reproducibility of artificial intelligence models in computed tomography of the head: a quantitative analysis. Insights Imaging. 2022. PMID: 36303079. doi:10.1186/s13244-022-01311-7
- 全文:PMC9613832(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9613832/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。