基于CLAIM标准评估胶质瘤MRI人工智能研究的报告方法学
该研究依据CLAIM清单系统评价了2018至2021年间138篇胶质瘤MRI人工智能研究,涵盖分级、分子状态预测、生存预测及真假进展鉴别四类任务。各任务报告的AUC范围较广,但平均CLAIM依从性仅20/42(48%),数据来源、参考标准与验证等报告不足,且CLAIM发布前后依从性未见改善,提示需推广报告规范以促进临床转化。
要点
- 胶质瘤MRI人工智能研究在分级、分子状态、生存及真假进展等任务中报告了较高AUC,但报告质量总体偏低。
- 平均CLAIM依从性仅20/42(48%),主要缺陷在数据管理、参考标准与验证的报告。
- CLAIM发布前后依从性无显著差异,仅约半数研究进行外部验证。
全文中译9 节 · 点击展开
引言
胶质瘤是最常见的原发性恶性颅内肿瘤,预后较差。影像学在胶质瘤患者的诊断和管理中起着关键作用。人工智能(AI)方法已被用作从影像学模态中提取定量数据的工具,尤其是磁共振成像(MRI)。既往已研究的胶质瘤诊断和管理方面包括假性进展的预测[1]、分级[2]、分子状态[3]和生存期[4]。研究已证明这些任务具有高性能、高灵敏度和特异度,因此,AI的临床整合可能有用。通过这些算法获得的信息可能有助于临床医生进行预后咨询、指导术前管理、克服组织学的局限性并指导治疗后随访[5]。
为实现最佳临床可转化性,AI算法方法的开发和报告仍存在问题[6]。结果的可重复性一直是一个挑战;因此,实验设计和报告的严谨性对于确保临床实践的普适性至关重要[7]。已制定指南以提高文献中AI算法报告的质量。此类指南包括CONSORT-AI(涉及人工智能干预的临床试验方案报告指南)[8]、SPIRIT-AI(涉及人工智能干预的临床试验报告报告指南)[9]以及最近宣布的QUADAS-AI(诊断准确性研究质量评估人工智能)[10]。特别是,医学影像人工智能清单(CLAIM)[11]是一个包含42个条目的清单,由评估最佳可重复性、严谨性、质量和普适性的要素组成。这被视为文献中报告AI算法的“最佳实践”指南。将该清单应用于当前文献可能有助于深入了解胶质瘤影像学中AI算法的进展和报告质量,进而有助于临床整合。本研究旨在以使用CLAIM标准[11]为例,对近期发表的涉及胶质瘤MRI的AI任务文献进行全面的方法学审查。
方法
检索策略
文献检索遵循系统评价和荟萃分析首选报告项目(PRISMA)指南,并于2022年4月1日执行。为了聚焦于最新文献,我们仅审查了2018年初至2021年底的研究。选择这一时间段也是因为我们希望审查2020年CLAIM引入前2年及其引入后2年的研究。检索词由第一作者(A.P.B.)通过文献预检索、PICO(人群、干预、比较、结局)框架以及医学主题词(MeSH)副主题词检索得出。检索在三个数据库中进行:PubMed、Scopus和Web of Science。第三作者(M.W.)还与医院图书馆员协商,于2022年2月1日独立执行了另一项遵循PRISMA指南的文献检索。检索词详述如下,并针对每个数据库进行了调整:(“机器学习”或“人工智能”或“支持向量机”或“卷积神经网络”或“深度学习”)且(脑或大脑)且(MRI或“磁共振”)且(肿瘤或瘤或癌症或癌或新生物或胶质瘤)。
研究选择
纳入报告基于成人患者胶质瘤MRI得出AI结局的原创研究。结局包括分级、治疗反应、生存和分子状态。排除非英语语言、病例报告、文献综述、会议摘要、初步研究、讲义或儿科研究。此外,排除基于技术的研究(如分割或聚焦于预处理方法学的研究)、比较研究和基于MRI识别胶质瘤的研究。
结局和数据提取
第一、第二和第三作者(A.P.B.、L.S.和M.W.)根据42项CLAIM清单[11]拆分并独立评估纳入文章。随后,第一、第二和第三作者相互交叉核对彼此的文章,冲突通过小组讨论解决。记录的额外数据包括期刊类型(计算机科学、医学或非医学科学)、研究的衍生目的、AI算法和表现最佳流程的结果。优先报告验证集;如果验证集不可用,则报告测试集。
数据分析
描述性统计使用MedCalc 19.4.1统计软件生成。
结果
共获得4308篇文章,包括来自PubMed的789篇文章、来自Scopus的2141篇文章(会议摘要被排除)和来自Web of Science的1378篇文章。去除重复后,剩余2178篇文章。然后通过摘要和标题筛选文章,此后剩余384篇文章。审查全文后,119篇文章被认为符合纳入/排除标准。第三作者(M.W.)的额外文献检索又确定了19篇文章。这导致总共138篇文章。其中,25篇文章发表于2018年,36篇发表于2019年,38篇发表于2020年,39篇发表于2021年。
大多数文章研究了四项人工智能任务中的一项:50篇文章评估了预测分子状态的算法(如异柠檬酸脱氢酶(IDH)或1p/19q状态),44篇文章考察了分级,25篇文章评估了生存期,10篇文章考察了真性肿瘤进展(TTP)与治疗相关效应(TRE)。9篇文章评估了未纳入上述分类的其他任务。31篇文章使用了癌症影像档案(TCIA),30篇文章使用了脑肿瘤分割(BraTS)挑战赛数据。
对于预测肿瘤分级,报告的AUC(曲线下面积)范围为0.72至1。分级方面的最高性能由De Looze等人获得,他们区分了WHO中枢神经系统2级和4级胶质瘤(AUC=1,灵敏度=100%,特异度=100%)[12]。然而,区分2级和3级胶质瘤的AUC为0.88,灵敏度82%,特异度94%;而区分3级和4级胶质瘤的AUC、灵敏度和特异度分别为0.97、100%和97%。对于分子状态,报告的AUC范围为0.70至0.99。Yogananda等人获得了IDH预测的最高AUC=0.99(灵敏度=98%,特异度=97%)[13]。生存预测的AUC范围为0.58至0.98。Su等人取得了最佳性能,预测胶质母细胞瘤(GBM)超过6个月的生存期,AUC=0.98(灵敏度=93.3%,特异度=96.7%)[14]。对于TRE与TTP,报告的AUC范围为0.8至0.94,最高结果由Elshafeey等人获得(AUC=0.94)[15]。
大多数文章发表在医学期刊上(71篇),其次是非医学科学期刊(37篇)和计算机科学期刊(30篇)。最常用的3种人工智能算法是卷积神经网络(CNN;34篇文章使用)、随机森林(RF;26篇文章使用)和支持向量机(SVM;37篇文章使用),见图1。
CLAIM平均得分为42分中的20分(48%,范围:10–31)。按年份考察CLAIM依从性,2018年平均得分为19/42(45%,范围:12–30),2019年为21/42(50%,范围:10–31),2020年为21/42(50%,范围:12–30),2021年为18/42(43%,范围:10–29)。CLAIM依从性按年份比较无显著差异(方差分析p值=0.2)。对于人工智能任务,CLAIM依从性最高见于TTP与TRE——平均:24/42(57%,范围:19–30),其次是分子状态——平均:21/42(50%,范围:14–31)、生存期——平均:19/42(45%,范围:11–30)、分级——平均:18/42(43%,范围:10–30)以及不属于上述任一类别者(平均:18/42:43%,范围:14–27)。医学期刊的CLAIM依从性最高(平均21/42:50%,范围:11–31),其次是非医学科学期刊(平均:20/42,48%,范围:13–30)和计算机科学期刊(平均:16/42,38%,范围:10–23)。对于最常用的3种算法,CNN的平均CLAIM依从性为18/42(范围10–29),RF为20/42(48%,范围:12–31),SVM为20/42(48%,范围10–31)。图2以箱线图形式直观展示了这些发现。
图3展示了符合每项CLAIM标准的研究百分比。最高的CLAIM依从百分比出现在初始标准中,如标题/摘要、引言和研究设计的报告。依从性最高的条目是第3项,该条目评估科学和临床背景的报告以及AI方法的临床作用。已识别的常见改进领域包括数据来源、参考标准和验证的报告。表现最差的子部分是参考标准的报告。例如,很少有研究明确说明神经病理学家参与了组织学诊断,或使用了神经病理学家间观察者变异性的评分系统。在138篇文章中,只有50%的文章经过了外部验证。最低的CLAIM依从性出现在第13项,该条目评估缺失数据的报告。与计算机科学期刊相比,医学期刊更可能讨论对实践的临床意义。医学期刊也比非医学科学期刊更可能拥有结构更规范的摘要。
我们发现CLAIM评分与引用次数之间没有关联(Pearson相关系数=0.01)。CLAIM评分与算法性能之间没有关联(Pearson相关系数=0)。不同AI任务之间的CLAIM评分无显著差异(ANOVA p值=0.029,其中Bonferroni校正后p>0.01表示无显著性)。
讨论
当前文献中的AI算法在AUC(受试者工作特征曲线或精确率-召回率曲线下)、敏感性、特异性和准确性方面均达到较高性能水平。然而,平均CLAIM评分为20/42(48%;范围10–31),已识别出影响可重复性和泛化性的改进领域。按年份、AI任务、期刊类型和前三大AI算法(按数量)划分,CLAIM评分差异极小。尤其值得注意的是,质量并未随时间改善。CLAIM前(2018年和2019年)与CLAIM后(2020年和2021年)显示CLAIM依从性无变化。CLAIM评分的主要改进领域在于金标准和数据使用的报告(例如报告缺失数据的处理方式以及数据去标识化的方式)。在上述领域中,CLAIM引入前后发表的文章之间评分无显著差异。这可能是因为CLAIM标准较新,出版商可能尚不知晓其存在。值得注意的是,纳入的研究均未使用CLAIM报告质量。进一步研究应考虑使用该标准报告质量,以实现标准化和可重复的方法,从而进行比较。此外,纳入文章的结构存在显著差异,且根据研究发表在计算机科学期刊还是医学期刊,侧重点有所不同。例如,这两类期刊之间最大的差异是医学期刊更强调临床意义。
使用CLAIM标准对这些研究进行评估后发现,许多进入临床实践所需的信息未被报告。然而,检查表中的某些条目并不适用于特定论文。数据部分的主要缺陷领域是去标识化过程(条目12)和缺失数据处理(条目13),分别仅有约8%和1%的论文报告了这些内容。其主要意义在于,若发生任何数据泄露从而释放患者信息,将产生伦理后果[16, 17]。两者还可能影响AI算法的统计分析,从而导致对模型性能的误读[17]。然而,由于许多研究使用了TCIA等开放获取数据库,去标识化过程(甚至在一定程度上包括缺失数据处理)并不适用。
为准确预测模型性能,需要定义良好的金标准,包括放射科医生的精确定义、这些测量作为监督模型学习标准的理由,以及争议解决方法以确保稳健的黄金标准[18]。然而,金标准部分几乎所有条目的依从性均低于50%。约17%包含了金标准选择的理由(条目15),11%包含了测量评定者间和评定者内变异性的方法以及减少或缓解这些变异的步骤。这最终影响模型的可解释性和整体准确性,作者应将其作为局限性进行讨论。
模型部分大体上达到了足够的报告标准。尽管28%的作者说明了有关其模型如何初始化的信息(条目24),但这仅适用于深度学习人工智能程序[17]。该条目对许多文章并不适用,因为大多数使用的是传统机器学习模型。对此进行调整后,依从性会很高。
所评估的研究中几乎一半(53%)未包含复现其模型所需的必要信息(条目25)。缺少这些信息,许多文章无法经过严格的测试,而这些测试是将其应用于临床实践所必需的[19]。然而,在训练模型时,许多情况下只使用了一个模型,因此未采用集成方法。虽然约24%的研究包含了对集成方法的描述,但这对于许多其他研究并不适用。
为使利益相关者对所研究算法的性能有信心,模型的评估需要达到高标准。这包括针对外部来源对模型进行验证,或者如果未进行验证,则将这一点作为局限性加以说明(条目32),而只有约53%的作者这样做了。只有约17%的作者对其模型进行了稳健性/敏感性分析(条目30),这意味着其性能的有效性往往不明确[19]。
人工智能模型和算法的一个局限性是,它需要足够的数据样本,并且只能解读其所被教授的内容。这还包括患者的人口学信息。如果这些信息未知,程序就无法自信地预测胶质瘤的分子状态或生存期等结局。只有约31%的作者包含了此信息(条目34),这可能使得难以复现模型性能并与不同人群进行比较[17]。然而,提供此信息的局限性在于,患者信息在TCIA等开放获取数据库中并不 readily available。
对于人工智能的临床整合,作者和利益相关者必须了解模型在何处以及为何失败,从而产生假阴性和假阳性。只有约3%的作者通过混淆矩阵说明了失败情况,因此只有很小一部分论文有助于更好地理解算法的优势,更重要的是,理解算法的局限性和改进领域[19]。另一个需要改进的方面是模型完整方案的可获取性(条目41),只有25%的作者包含了链接。该条目可能有助于研究人员通过添加其他人口学信息来获取并进一步改进算法,这些信息可能拓宽算法对多个中心或地区的适用性。GitHub等网站也已知有助于促进代码的采用和共享。
另外三项研究评估了使用CLAIM评估其他领域AI报告质量的情况,并观察到了与本文非常相似的结果。O’Shea等使用卷积神经网络(CNN)评估了186篇一般癌症相关文章[7],而Le VNT等评估了6篇使用CNN检测牙源性囊肿的文章[20]。最后,Belue等评估了53篇利用AI磁共振成像(MRI)应用检测和分类前列腺癌的文章[21]。Belue等识别出了不适用于某些研究的报告条目,并在其分析中对此进行了考虑,但仍发现了与本文及上述另外两篇文章相似的问题和改进领域。已识别的主要改进机会[7, 20, 21]包括数据处理以及所有领域中参考标准的报告,包括模型的明确定义和评估。我们通过评估CNN以外的模型、评估文献中进展最大的任务以及评估大量专门针对胶质瘤的文章,对当前文献进行了扩展。对现有文献质量和改进领域进行持续评估是将AI研究转化为临床实践过程中的必要步骤。事实上,这反映在澳大利亚和新西兰放射科医师皇家学院(RANZCR)的《医学AI监管立场声明》中[22]。三项建议中的第二项指出,AI系统必须被证明达到适当的证据标准,并在其预期应用的临床环境中被认定为安全。使用CLAIM等指南将有助于确保满足此类建议。此外,美国食品药品监督管理局(FDA)设备与放射健康中心还发布了一个监管框架,允许在真实世界环境中使用,同时确保有效性和安全性[23]。
我们的研究有一些局限性。首先,CLAIM标准仅在2020年制定,因此,许多纳入研究的作者在开始研究时没有机会将该标准纳入其工作。然而重要的是,我们的研究表明,作者在CLAIM标准引入之前并未采用报告条目,而且至今仍未采用该指南。随着该标准日益普及并成为作者的参考点,我们希望看到更高的依从性和更好的研究质量。值得注意的是,我们的研究仅纳入评估胶质瘤的论文,因此,我们无法确认更广泛的神经肿瘤学AI文献中是否存在相似的改进领域。尽管如此,本文的发现与其他使用CLAIM评估肿瘤学AI领域的研究[7, 20, 21]相似。然而,该标准可能需要根据报告条目的重要性进行加权,而且一些稿件可能无法涉及每一条CLAIM标准[11]。最后,尽管我们已采取措施尽量减少主观性,例如由审阅作者相互交叉核对评估结果,但依据CLAIM标准评估研究仍具有固有的主观性程度。
结论
人工智能领域继续快速发展。诸如CLAIM之类的指南的可用性,使得在文献中对AI算法的报告质量采取更标准化的方法成为可能。从本研究中回顾的文章来看,在四项主要AI任务中均观察到高性能,但平均而言,被评估的文章仅达到不到一半的CLAIM标准。主要改进领域包括数据处理、真实基准、AI算法训练和验证。CLAIM标准的引入并未提高报告标准,因为在CLAIM前和CLAIM后组之间依从性仍然很低。应用诸如CLAIM之类的报告标准将成为解决计算机科学研究与临床实施之间转化差距的重要手段。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 35 KB)
引用
- Bhandari, Scott, Weilbach, et al. Assessment of artificial intelligence (AI) reporting methodology in glioma MRI studies using the Checklist for AI in Medical Imaging (CLAIM). Neuroradiology. 2023. PMID: 36746792. doi:10.1007/s00234-023-03126-9
- 全文:PMC10105653(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10105653/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。