MAIC-10:医学影像人工智能研究发表简明质量清单
该文基于对现有6种AI影像检查表的综述,提出统一简化的MAIC-10质量清单(10项),并在Insights into Imaging 2021年10篇AI原创论文中试评,平均质量分5.6±1.6;MAIC-10与其他清单评分相关(R²=0.71、0.52、0.48),观察者内重复性系数最低(0.12)。
要点
- MAIC-10含10项核心标准,每项符合计1分,满分10分,可计算百分比质量分。
- 试评10篇AI影像论文中,临床需求、数据标注、鲁棒性和透明度出现率均≥80%。
- 研究设计项(含样本量估算)在试评文章中均未定义,为最欠缺方面。
核心结论
- MAIC-10是一种简短、简单、客观、稳健且广泛适用于医学影像AI研究的质量评估工具。
研究设计与样本
- 通过PubMed检索2017–2021年Q1高影响期刊中关于AI方法学和质量控制的文献,识别6份AI检查表,由7名作者投票筛选条目(至少4人同意),最终形成MAIC-10。
- 在Insights into Imaging 2021年卷中检索AI相关关键词,排除综述和意见信后纳入10篇原创研究进行试评,由3名作者间隔4个月两次评分。
- 将MAIC-10与CLAIM、MI-CLAIM、CAIR进行评分相关性比较,并计算观察者内重复性系数。
诊断标准与关键数值
- MAIC-10包含10项:临床需求、研究设计、安全与隐私、数据管理、数据标注、数据划分、AI模型、鲁棒性、可解释性、透明度;每项符合计1分,满分10分。
- 试评10篇论文的平均质量分为5.6±1.6。
- 各条目出现率:临床需求90%、数据标注80%、鲁棒性80%、透明度80%;研究设计项在0篇中定义。
- MAIC-10与CLAIM、MI-CLAIM、CAIR的评分相关性R²分别为0.71、0.52、0.48。
- 观察者内重复性系数:CLAIM 0.22、MI-CLAIM 0.34、CAIR 0.28、MAIC-10 0.12(越小重复性越好)。
临床应用与阅片要点
- 可用MAIC-10快速评估AI影像研究的方法学质量,重点关注研究设计中的样本量估算、安全隐私中的数据去标识化流程、数据划分依据、AI模型硬件描述及可解释性。
- 日常阅片或审稿时可对照10项清单逐项打分,以百分比质量分横向比较不同研究。
局限性
- 清单的发表本身不能保证科学界实际采用,需配合期刊推广和审稿人培训。
- 严格遵守清单不能替代研究的科学质量本身。
- 子条目增加了清单复杂性,但子条目较少且全部满足才计分,整体仍较CLAIM、MI-CLAIM和CAIR简单。
全文中译5 节 · 点击展开
引言
人工智能(AI)为医学带来革命性解决方案,推动医学向数据驱动决策所代表的范式转变迈进。在医学影像领域,越来越多的研究显示AI工具在提高诊断准确性或预后评估可靠性方面作出重要贡献[1, 2]。尽管期望很高,但由于其设计所采用的方法学受到批评,许多此类发表研究的有效性值得质疑[1]。在基于AI的解决方案被临床实践接受之前,必须就适当的方法学质量控制机制达成一致。如果该方法在保证稳健性和临床有效性的前提下得以实施,基于AI的解决方案可作为医疗器械(作为医疗器械的软件——SaMD)获得认证,并建立适当的定期监测机制。
数十年来,本团队专注于影像生物标志物的标准化与验证。近年来,在欧洲委员会“地平线2020”计划资助的大型研究项目框架内,开发了使用卷积神经网络(CNN)的基于AI的实现[3, 4]。然而,可解释性差(黑箱效应)、训练数据集规模小且异质性大,以及结果独立验证有限,已引发日益增长的担忧,并呼吁提高透明度和严谨性以确保更可靠的AI模型。因此,越来越多的人关注制定核查表,用于验证AI模型在医学影像中的恰当实施,以确保在其使用前提供足够的可重复性和临床影响力。由于已提出不同的标准集,宜简明界定这些研究和发表中必须遵循的最低核心标准。
我们的目标是制定一份指南,统一、整合并总结现有指南,聚焦于医学影像和AI。随后,这些质量标准将在已发表的AI研究中接受检验,评估与既往现有核查表相比的异同。基于此分析,提出一份基础科学质量控制核查表,以保证开展和评价AI研究发表时达到最低可接受标准。
方法学
在PubMed中检索2017—2021年Q1高影响期刊上关于AI方法学和质量控制的文献,检索词为“Checklist”、“AI”和“imaging”,识别出六篇提出在临床路径中使用AI核查表的手稿:医学影像人工智能核查表(CLAIM),由《Radiology: Artificial Intelligence》期刊(北美放射学会)赞助[5, 6]。
临床人工智能建模最低信息(MI-CLAIM),收录于EQUATOR Network报告指南数据库[7]。
影像组学质量评分(RQS),由马斯特里赫特大学医学中心开发并广泛使用[8]。
试验报告统一标准-AI(CONSORT-AI),由CONSORT-AI和SPIRIT-AI工作组开发,收录于EQUATOR Network数据库[9]。
干预性试验标准方案条目推荐(SPIRIT-AI),由CONSORT-AI和SPIRIT-AI工作组开发,收录于EQUATOR Network数据库[10]。
临床人工智能研究(CAIR)检查清单,由瑞典卡罗林斯卡学院领导的一组研究人员近期发表[11]。
对这些文稿进行了评估,以比较、定义并建立医学影像环境中使用人工智能的简化参考标准。这些倡议的构思目标略有不同,因此,在设计研究时应考虑的人工智能方法的最相关方面也因各自视角而异。主要检查清单条目的逐步选择过程如下。首先,创建了一个短名单,纳入至少出现在两份检查清单中的条目。短名单中的每个条目均由全部七位作者审议,他们根据以下原则投票赞成或反对纳入:(a) 与以人工智能为重点的应用相关性低(即与一般科学方法学方面相关的条目),(b) 范围限于临床试验方法(包括方案注册、不良事件处理等方面),(c) 在以医学影像为重点的研究中的相关性,(d) 与研究可重复性的关系(侧重于统计和方法学方面),(e) 预期的最终临床影响,以及 (f) 跨研究类型的广泛适用性(回顾性 vs 前瞻性、手工放射组学 vs 深度学习、回归 vs 分割、仅图像 vs 多模态数据等)。至少四位作者同意被用作选择阈值,不考虑从业年限(平均11年,范围3–30年),也不考虑专业背景(两位放射科医生、三位数据科学家、两位计算科学家)。最终,所得的标准集被作者多学科团队一致接受。对最终标准进行了审查,通过合并重叠条目消除重复,并简化定义。最终检查清单被命名为MAIC-10(Must AI Criteria-10),因为它代表了任何涉及医学图像的人工智能发表中被认为必要的10项基本标准。为优化检查清单对作者和审稿人的可用性,并以实现不同检查清单之间可靠比较为目标,MAIC-10还进行了格式设计,以便于将质量评分以百分比形式轻松计算。
在撰写本文时,至少还有四份检查清单正在制定中。TRIPOD-AI和PROBAST-AI是现行TRIPOD标准和PROBAST工具的两个“-AI”扩展,前者侧重于诊断或预后多变量预测模型的报告,后者作为预测模型偏倚风险评估的工具[12]。STARD-AI和DECIDE-AI也是现行标准的-AI扩展,分别侧重于研究设计以及临床人工智能研究中人为因素的评估和报告[13]。它们是更通用的人工智能检查清单,需要在发表后进行评估。
为确保在评估已发表的有关人工智能(AI)与医学影像的论文时具有适用性,选取了来自《Insights into Imaging》期刊的一组代表性文章作为试点验证与评估。使用该期刊的“关键词搜索”工具,在《Insights into Imaging》这一Q1期刊中检索近期采用AI方法和医学图像的原创文章。检索于2021年卷进行,关键词包括“AI”“Artificial Intelligence”“Deep Learning”“DL”“Machine Learning”“ML”“CNN”“Neural Network”和“Predictive models”。在排除综述和观点来信后,共识别出33篇原创文章。该列表进一步筛选并缩小至10篇涉及AI与医学图像发展的相关原创文章[14–23]。对所选论文按照MAIC-10清单中每一项目进行符合性严格评估。最后,基于适用性、可用性和客观性,将MAIC-10与最初的6个清单进行比较,并通过将每项评分归一化为百分比获得总体评分。这10篇稿件由3位作者(J.S.、P.M.、G.R.)达成一致后评分两次,每次评估之间间隔4个月。随后以重复性系数( )计算观察者内可重复性,其中σintra为观察者内标准差。在仅有两次测量的情况下,该表达式可近似为多组重复测量的平均(均值)样本标准差( ),其中m1和m2为同一观察者对每篇出版物获得的两次评分,n为总出版物数(n = 10)。进行这一简化的原因在于两次观测的方差等于其差值平方的一半。一般而言,重复性系数越小越好,因为它对应于在相同条件下进行两次相同测量时,95%情况下预期获得的差异。应用线性回归分别估计使用MAIC-10与CLAIM、MI-CLAIM和CAIR清单获得的质量评分之间的相关性,并报告相应的R2评分。所有分析均使用Microsoft Excel进行[24]。
结果
总体而言,在审查所选指南[5, 7–11]后,最终提出了10项标准,并总结为一份简明的MAIC-10清单(表1),该清单可直接计算质量评分。这些稿件质量标准的详细描述如下。临床需求。清晰界定所要解决的目标临床问题,并从技术角度以及对患者的附加价值方面,论证使用AI方法解决该问题的用途和效用。同时界定该问题既往的统计学和AI应用情况。
研究设计。说明所开展研究的类型及参与中心的数目。在人工智能(AI)背景下,大多数研究为基于无任何干预所收集数据的观察性研究。描述如何确定目标研究人群以及纳入研究患者的主要特征。明确招募期、纳入和排除标准,以及预期影像学检查的类型和数量及公平性问题。此外,提供样本量估计并描述其计算方法。确定操作所依据的置信水平以及预期用于解释临床数据的预测变量的大致数量,并提出可能使结果外推至一般人群的模型。
安全与隐私。界定研究的伦理、法律和社会影响(ELSI)。明确说明研究是否获得伦理委员会批准以及是否取得知情同意。还描述用于数据去标识化(假名化或匿名化)的流程,以及适用的任何网络安全方面和隐私问题。
数据管理。界定研究中使用的数据来源及其从病历、PACS(图像归档和通信系统)或存储库中提取的程序,以及任何已建立的数据质量控制。界定标准化结构模型的使用(如电子病例报告表通用数据模型,CDM-eCRF)。描述为组织、描述、整合、清理、增强、转换和保存数据而实施的所有程序。关于图像,描述为统一图像和提高图像质量所应用的预处理。应明确所使用的软件及所应用的每一项变换的超参数。
数据标注。界定所使用的所有基准,包括预测变量以及AI旨在识别的变量。界定将这些参考模式视为“真实”的标准。参考标准在定义临床结局(如病理结果或生存时间)时必须被科学界所接受。描述数据标注过程,说明用于评估观察者间和观察者内变异性的方法和指标。此外,提及如何解决所发现的差异。
数据划分。明确数据如何划分为训练集、调优集、测试集和验证集,分配到各划分的病例比例,以及建立这些划分的依据。描述组特征和真实世界数据的代表性。最好提供总结病例数和数据集的流程图。描述最终AI模型使用验证数据集(即模型训练和调优后未见过的数据)的性能。理想情况下应使用外部独立验证数据集,其定义为来自用于训练和测试模型的中心、扫描仪和方案以外的数据。
AI模型。描述AI模型架构和所选超参数,以及所使用的技术、软件和硬件。还应定义需要预测的变量(输出),这些变量可能是中间变量,如器官分割,也可能是与临床问题相关的最终临床事件。说明用于评估训练模型在测试数据集上拟合优度的指标,如精确率、准确率或特异度[25]。足够详细地描述AI解决方案的所有训练、超参数调优和测试程序,以便其他研究人员在其他环境中能够复现。明确用于选择最终模型的性能标准。
稳健性。确保AI解决方案具有尽可能高的强度,定义为无论在何种数据来源下均能在临床环境中获得一致且可重复结果的质量。如果所开发的解决方案不够稳健,则将其作为局限性进行讨论。讨论模型的主要缺陷,即在其使用的最广泛可能评估中显现出来的缺陷。描述AI在研究领域中可能的作用,以及可能限制其在临床实践和真实世界条件下应用的情况。
可解释性。提供用于分析或补充AI模型的方法,使算法的内部逻辑和输出具有可解释性,使这些过程可理解且有意义的。黑箱效应被指出作为局限性。AI解决方案附带某种形式的不确定性或置信度指标。提供信息以理解异常值或错误结果。可解释AI是AI模型临床部署的先决条件[26]。
透明度。定义是否开放获取用于构建和验证AI模型的代码和数据,从而允许验证结果和性能声明。开放获取也可能对迁移学习有用。提及资金来源以及作者持有的任何利益冲突。包括赞助者的角色以及作者的自主性。
使用MAIC-10清单评估研究质量时,每符合一项即得1分。最高可能得分为10分。从2021年发表在Insights into Imaging上的所选文章集中,计算了相应的质量评分。本综述的摘要可见于附加文件1。平均质量评分为5.6 ± 1.6,大多数清单条目至少在半数文章中被讨论,而仅有一项(“研究设计”)在任何研究中均未被定义。
以下清单条目几乎出现在所有论文中:“临床需求”(90%的出版物)、“数据标注”(80%)、“稳健性”(80%)和“透明度”(80%)。关于临床需求和透明度的条目对应于科学出版物中传统讨论的方面,在同行评审过程中一直被考虑。因此,高分是预期之中的。数据标注和稳健性条目的高合规率表明这些AI研究具有良好质量的方法学。数据标注工作流程始终得到良好报告,而且尽管文献中创建的并非所有模型都具有高稳健性,但这一局限性被明确承认并讨论。
根据MAIC-10,所审查研究中缺失最少的方面是样本量估计的报告(包含在“研究设计”中)、数据去标识化方案的描述(“安全与隐私”),以及与人工智能技术方法学相关的多个问题,即建立训练-测试-验证数据集划分的依据、模型训练所用硬件的提及,以及关于人工智能模型可解释性的任何讨论(分别由“数据划分”、“人工智能模型”和“可解释性”涵盖)。在这方面,必须强调的是,样本量估计的计算、数据集划分依据的选择,以及将不确定性指标作为模型输出添加,代表了应加以解决以确保高质量人工智能研究的关键点。这些与统计学方面相关的项目对于证明模型设计良好且可靠至关重要。关于“安全与隐私”,部分文章提到用于人工智能模型训练的医学图像已去标识化,但未提供关于匿名化过程或标准的太多细节,而数据隐私问题通常未得到讨论。
在最后一步,10篇选定文章还根据所选检查表(CLAIM、MI-CLAIM、RQS、CONSORT-AI、SPIRIT-AI和CAIR)进行了审查。在此过程中,发现一些检查表的范围有限,导致许多项目不适用于所选研究。CONSORT-AI和SPIRIT-AI严格针对以临床试验形式进行的研究评估,因此被认为与MAIC-10不可比。另一方面,RQS旨在评估采用影像组学方法学(即影像组学特征提取和建模)的研究,因此某些项目不适用于深度学习工作流程。鉴于这些考虑,我们通过基于文章质量评分解释依从率,对检查表CLAIM、MI-CLAIM和CAIR与MAIC-10进行了定量比较,为便于比较以百分比表示。该比较的结果详见图1和附加文件1。总体而言,MAIC-10质量评分与使用CLAIM、MI-CLAIM和CAIR计算的质量评分显示出良好相关性(R2分别为0.71、0.52和0.48)。这些评分是在检查表复杂性(项目数)分别减少76%、47%和33%的情况下获得的。
观察者内重复性研究的结果针对四个检查表分别以重复性系数的形式获得,CLAIM、MI-CLAIM、CAIR和MAIC-10的RC值分别为0.22、0.34、0.28和0.12。由于该系数值越小对应结果重复性越高,这一发现支持了我们主张使用MAIC-10检查表的论点,因为其简单性、稳健性和观察者内重复性。
讨论
近年来,医学和医学影像学均取得了重大进展,主要归因于计算机系统的技术演进,以及越来越适用于模式识别和临床管理改进的软件解决方案的开发。例如,深度学习工具可应用于工作流程的不同阶段,以提高数据质量、诊断不同疾病、检测和分割病灶,甚至预测临床终点[2]。所有这些方面均表明其是一种多功能且实用的工具。这一进展代表了临床工具分类的范式转变。事实上,这些新的计算解决方案对患者诊断、管理和预后的影响,与介入导管、打印假体或监测设备等其他日常应用设备的影响相当。多学科沟通和团队合作对于开发和将软件作为医疗器械(SaMD)应用变得至关重要,因为需要临床、影像和技术知识来将AI解决方案应用于临床问题[25]。
如今AI工具在医学中的无处不在催生了SaMD的概念,其定义为任何对患者临床方面产生影响的IT解决方案。在医学影像中,SaMD解决方案的主要关注领域与诊断和预后估计相关。然而,与物理设备一样,数字工具在获批用于常规临床实践之前需要严格的质量控制。随着AI软件变得越来越普遍,必须建立指南以促进和确保这些设备在临床实践中的正确使用和有效性。
欧洲议会、FDA(美国食品药品监督管理局)和IMDRF(国际医疗器械监管机构论坛)等机构负责定义、分类和监管SaMD的使用[27]。与此同时,在这些解决方案的开发和适当发表方面,不同实体已制定了他们认为保证最低质量标准所必需的标准。在SaMD开发框架中,必须优先考虑输出变量的临床实用性,并且所获得的结果在一般人群中应具有一致性和可重复性[27]。在AI工具的出版物中系统地反映这些参数,将有助于客观分析算法的实用性及其在预期真实世界临床场景中的适用性。
我们开发的质量检查表MAIC-10旨在促进这一过程,同时克服AI和医学影像领域其他已发表检查表的一些局限性。与这些检查表相比,MAIC-10更简短、更不复杂,优化了可用性,并具有广泛采用的潜力。它还明确设计为提供定量、客观和可重复的质量评分,在AI医学影像研究中具有广泛的应用范围,不同于SPIRIT-AI、CONSORT-AI或RQS。值得注意的是,在用于验证的10篇选定的《Insights into Imaging》文章中,MAIC-10与CLAIM(一个广泛使用的42项检查表)达到了高相关评分。在观察者内可重复性方面,MAIC-10也是评分最高的,CLAIM是第二高可重复性的检查表。
在审查所选论文后,报告基于人工智能的图像工具时,一些质量方面似乎未被全面涉及。例如,由于任务的复杂性,在开发人工智能算法时样本量估计通常被忽视,这在医学影像出版物中的稀缺性得到了证明[28]。目的不是丢弃小数据集上的研究,而是理解所获得模型的局限性和偏差,例如缺乏泛化性和可信度。最近的一篇出版物为人工智能模型和医学影像背景下的样本量估计提供了一种实用解决方案[29]。
另一方面,匿名化通常未被报告为数据预处理的相关部分,未考虑数据保护监管方面。使用临床数据的人工智能研究应朝着透明报告数据保护协议的方向发展,与这些进展保持一致,重点在于定义去标识化流程和可追溯性文档。
作为我们工作的局限性,必须指出,仅仅发表质量检查清单不能被视为在科学界产生切实影响的保证。相反,它必须伴随着促进作者和审稿人使用它的努力,通过提高采用率和期刊认可度的举措[30]。此外,质量评估工具的范围不应被夸大,因为严格遵守检查清单不能替代研究中的科学质量[29]。我们也认识到,使用子项目引入了MAIC-10检查清单的复杂性。然而,由于子项目较少且所有子项目必须在项目获批前满足,与其他检查清单相比,最终检查清单被观察到更简单。与CLAIM、MI-CLAIM和CAIR相比。我们还展示了MAIC-10与其他检查清单相比具有更高的观察者内再现性,因此,在评估图像和临床影响是重要方面的人工智能发展出版物时,应因其简单性和稳健性而优先使用。
总之,人工智能在医学影像管理中的发展和纳入已成为当前出版物和临床实践中的现实。使用这些新技术需要实施质量标准,使我们能够在这些方法发表时评估其有用性。我们提出的MAIC-10统一并简化了迄今为止提出的标准中最相关和反复出现的标准,建立了一个基本方案,作者和读者都可以使用它来帮助解读医学影像中人工智能的出版物。
补充信息
附加文件1。根据检查清单MAIC-10、CLAIM、MI-CLAIM和CAIR对10篇所选文章各自的评分。提供了两组评分,对应于观察者内再现性研究中使用的的结果。
引用
- Cerdá-Alberich, Solana, Mallol, et al. MAIC-10 brief quality checklist for publications using artificial intelligence and medical images. Insights Imaging. 2023. PMID: 36645542. doi:10.1186/s13244-022-01355-9
- 全文:PMC9842808(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9842808/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。