文献速递胸部骨肌技术与安全CTDR

深度学习在肋骨骨折影像中的应用:使用医学影像人工智能必备标准-10(MAIC-10)清单进行的研究质量评估

Deep learning in rib fracture imaging: study quality assessment using the Must AI Criteria-10 (MAIC-10) checklist for artificial intelligence in medical imaging.
PubMed 文献 · Insights Imaging · 2025-08-09

该研究基于PubMed检索截至2024年8月31日的文献,纳入25篇关于深度学习在肋骨骨折影像中应用的研究,由3名放射科医师独立按MAIC-10清单评分。25篇研究的平均MAIC-10得分为5.63(SD 1.84,范围1-8),评分者间平均一致性为0.771;「临床需求」条目报告最一致(100%),「研究设计」条目报告最不完整(仅5.2%的研究全面报告)。作者认为MAIC-10清单是评估医学影像AI研究质量的有效工具,但「研究设计」「可解释性」「透明度」等条目常未被全面阐述。

要点

  • 25篇深度学习肋骨骨折影像研究的平均MAIC-10得分为5.63分(满分10分,SD 1.84,范围1-8)。
  • 「临床需求」在所有研究中均有报告(100%),而「研究设计」仅5.2%的研究全面报告。
  • 仅6篇(24%)研究进行了外部验证,16篇(64%)进行了内部交叉验证。

核心结论

  • MAIC-10清单是评估医学影像AI研究质量的有效工具,评分者间一致性良好(平均0.771)。
  • 在肋骨骨折影像研究中,「研究设计」「可解释性」「透明度」等条目常未被全面阐述。
  • 作者认为,随着AI在医学影像中日益普及,需要MAIC-10这类已发表文献的质量控制系统来确保高质量研究产出。

研究设计与样本

  • 研究类型为对已发表文献的方法学质量分析,无需伦理审查,不涉及患者。
  • 由两名独立评价者(J.M.G.和K.N.)在PubMed数据库检索截至2024年8月31日发表的文献。
  • 检索词为「rib fracture」与「artificial intelligence」或「deep learning」或「neural networks」或「predictive models」及其扩展词。
  • 最终纳入25篇原始研究文章,由3名放射科医师(K.N.、C.M.、U.V.)独立按MAIC-10清单评分,评分前使用一篇未纳入最终评估的研究文章进行培训。
  • 统计分析使用SPSS(版本29.0.1.0;IBM),P值<0.05认为有统计学意义,各条目得分差异用Fleiss kappa系数评估。

诊断标准与关键数值

  • MAIC-10清单包含10个条目:临床需求、研究设计、安全与隐私、数据管理、数据标注、数据划分、AI模型、稳健性、可解释性、透明度。
  • 25篇研究的平均MAIC-10得分为5.63(SD 1.84;范围1-8),为理想分10分的56.3%。
  • 各条目全面报告比例:「临床需求」100%(n=25)、「研究设计」5.2%、「安全与隐私」37.3%、「数据管理」69.3%、「数据标注」74.6%、「数据划分」68.0%、「AI模型」61.3%、「稳健性」74.6%、「可解释性」36.0%、「透明度」34.6%。
  • 评分者间一致性:平均Fleiss kappa为0.771;「临床需求」K=1.000、「研究类型」K=0.930、「数据管理」K=0.875、「数据标注」K=0.930、「透明度」K=0.823;「可解释性」K=0.190(差)。
  • Fleiss kappa强度分级:≤0.20差,0.21-0.40一般,0.41-0.60中等,0.61-0.80好,0.80-1.00很好。

临床应用与阅片要点

  • 对肋骨骨折AI影像研究进行质量评估时,可参照MAIC-10清单的10个条目逐项核查报告完整性。
  • 评估中应重点关注「研究设计」(样本量估算与计算仅1篇研究提供)、「可解释性」和「透明度」等常被遗漏的条目。
  • 「可解释性」条目评分者间一致性差(K=0.190),作者认为该条目被读者视为主观,建议在清单中增加配套示例以标准化解读。

局限性

  • 作者仅纳入肋骨骨折影像的AI文章,未涉及其他医学亚专科,可能限制普适性,但这是在有明确定义的医学影像应用中评估MAIC-10的有意设计选择。
  • 电子文献检索仅在PubMed数据库进行。
  • 纳入研究的评估仅由放射科医师完成,可能引入一定偏倚;AI研究通常由多学科团队开展,单一读者可能难以理解研究的所有方面,导致评分不足或过高。
  • 纳入文章数量相对较少(n=25),且研究目的和评估参数存在很大异质性。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Aug 9;16:173. doi: 10.1186/s13244-025-02046-x

引言

基于人工智能(AI)的技术主导着医学头条新闻,并承诺在全球范围内彻底改变医学 [1]。医疗差错发生率高、临床工作流程效率低下以及资源利用不可持续等问题,或许可以通过正确使用AI加以克服。此外,越来越多的研究表明,基于AI的技术正在为更快、更准确的诊断以及由此带来的可靠预后做出重要贡献 [2]。与此同时,旨在确保作为医疗器械的AI软件安全性和有效性的拟议框架数量也在不断增加 [3]。为确保适当的方法学质量控制机制,已提出多套标准,其中最新发布的用于评估医学影像中AI的指南之一是Must AI Criteria-10(MAIC-10)清单 [4]。MAIC-10清单的目标是简明扼要地界定每篇关于医学影像中基于AI技术的论文都应遵循的基本核心标准。它包括若干条目,如表1所述。这些条目包括:(1)临床需求——临床相关性的论证;(2)研究设计——适当且透明的设计策略;(3)安全与隐私——患者数据的保护;(4)数据管理——数据集的规范处理与质量保证;(5)数据标注——标注数据的准确性和可重复性;(6)数据划分——训练集、验证集和测试集划分的透明度;(7)AI模型——模型架构和实现的全面描述;(8)稳健性——模型性能稳定性的评估;(9)可解释性——模型决策路径的清晰性;(10)透明度——方法学的公开性,包括代码和数据的可获取性。

在本研究中,我们探讨了MAIC-10清单在AI用于肋骨骨折影像学研究中的适用性。肋骨骨折是最常见的胸部损伤类型 [5]。根据骨折肋骨的数量、骨折块移位或周围结构损伤情况,肋骨骨折与并发症相关,并可影响治疗方案的选择和损伤后的结局 [6]。近期已有若干影像学研究聚焦于AI,尤其是深度学习(DL)与肋骨骨折,旨在确保准确诊断并由此改善预后。

因此,本研究的目标是使用MAIC-10分析DL用于肋骨骨折影像学研究的方法学质量,并报告关于MAIC-10清单适用性的见解和经验。

表1 用于评估基于AI的医学影像研究质量的质量评估清单MAIC-10(引自 [4]) 查看原表 ↗

方法

文献检索与研究选择

本研究为对已发表文献的分析,不涉及患者,因此无需机构审查委员会批准。由两名独立评审者(J.M.G.和K.N.)在PubMed数据库对截至2024年8月31日发表的文献进行了电子文献检索。检索查询使用以下关键词及其扩展词进行:(“肋骨骨折”)AND(“人工智能”OR“深度学习”OR“神经网络”OR“预测模型”)。评审者通过筛选标题和摘要评估潜在研究。研究论著符合以下标准者纳入:(i)使用人工智能用于肋骨骨折的诊断或预后目的;(ii)英语;(iii)声明获得了当地伦理委员会批准以及每位患者的知情同意或豁免(若摘要中未提供此信息,则审查全文以确认合格性)。

排除标准为(i)报告结局数据不足的研究(数据报告不足定义为缺少关键的方法学或结果相关信息,导致无法使用MAIC-10进行充分的质量评估);(ii)综述、指南、共识声明、社论、通讯、评论或会议摘要。

符合纳入标准的文章获取全文,包括任何补充材料。评审者基于全文文章进一步确定合格性。扫描纳入文章的参考文献列表以寻找进一步可能合格的研究。

数据提取和质量评估

三名放射科医师(K.N.、C.M.和U.V.)根据MAIC-10检查表独立对文章进行评分。引入培训阶段以使三名阅读者为评估这25篇文章做好准备。培训使用一篇未纳入本研究最终评估论文列表的研究论著进行。使用MAIC-10检查表对培训研究的审查进行讨论,直至三名阅读者理解每个参数。若无法达成一致,则邀请第四名具有五年人工智能研究经验的放射科医师(S.G.)参与讨论以得出结论。

数据分析

所有统计分析使用SPSS(版本29.0.1.0;IBM)进行。p值<0.05被认为具有统计学显著性。每个检查表条目的MAIC-10评分差异使用Fleiss' kappa系数评估。Fleiss' kappa的强度基于Cohen's kappa系数的值[7]。Fleiss' kappa系数≤0.20被认为差,0.21–0.40一般,0.41–0.60中等,0.61–0.80好,0.80–1.00很好[7, 8]。

结果

文献检索

文献检索过程的流程图见图1。电子文献检索从PubMed获得35篇文章。两项研究非英语版本不可获取,被排除。共筛选33篇摘要。其中,一项研究为文献综述,三项研究未包括肋骨影像,三项研究未包括人工智能。一项研究仅可获取摘要。应用所有合格性标准后,纳入25项研究。

图1 从检索研究中系统识别、筛选、合格性评估和纳入信息的流程图。AI,人工智能 查看原图 ↗

基线研究特征

表2描述了纳入研究的基线研究特征。大多数文章发表于2020年至2023年间(n = 24,96%)。仅有1篇论文发表于此前的1995年[9]。平均样本量为1130(标准差(SD),4188;范围,39–20,260)。

纳入文章涵盖了若干研究主题。其中,大多数研究聚焦于肋骨骨折检测(n = 21,84%)。仅有2项研究(8%)聚焦于损伤结局预测[9, 10],而1项研究(4%)聚焦于肺挫伤检测[11],另1项(4%)聚焦于胸部X线的特定表现[12]。深度学习(DL)方法最常被用作诊断工具(n = 23,92%),在2篇文章(8%)中用作预后工具[9, 10]。在模态方面,21项研究(84%)使用CT,4项研究(16%)使用X线。在大多数研究论文中,进行了数据集的内部交叉验证(n = 16,64%),而仅有6项研究(24%)进行了外部验证。3篇文章(12%)未报告验证策略[13–15]。

表2 涉及人工智能在肋骨骨折影像学中应用的论文基线研究特征 查看原表 ↗

MAIC-10依从性

MAIC-10清单条目见表1。25项研究的平均MAIC-10评分为5.63(SD,1.84;范围1–8),为理想评分10分的56.3%。对各个MAIC-10条目的依从性基于所有评价者的平均评分进行描述。

清单条目“临床需求”在所有研究中均得到体现(n = 25,100%)。仅有5.2%的研究报告了“研究设计”的所有方面。MAIC-10清单条目“安全与隐私”在37.3%的研究中得到了恰当体现。“数据管理”、“数据标注”和“数据划分”分别在69.3%、74.6%和68.0%的文章中得到了恰当且完整的描述。61.3%的研究提供了关于“AI模型”的完整信息。74.6%的文章涉及研究的“稳健性”。“可解释性”和“透明性”分别在36.0%和34.6%中得到了正确体现。

计算了MAIC-10的评价者间一致性(表3)。MAIC-10评分的平均评价者间一致性为0.771。具体而言,在评价条目“临床需求”(K = 1.000)、“研究类型”(K = 0.930)、“数据管理”(K = 0.875)、“数据标注”(K = 0.930)和“透明性”(K = 0.823)时达到很好的一致性。仅在评价条目“可解释性”时获得较差的一致性(K = 0.190)。

表3 对MAIC-10清单各条目的依从性及评价者间一致性 查看原表 ↗

讨论

基于人工智能的技术在肋骨骨折影像学中的作用已显示出显著增长,主要归因于计算机和软件解决方案的进步。然而,基于人工智能的解决方案在引入常规临床实践之前需要严格的质量控制。此外,人工智能的发展已到如此程度,以至于模型表现良好还不够,我们必须理解模型为何做出某一特定决策,这一点至关重要[16]。为保证这种透明性和可解释性,众多作者提出了他们认为对保证最低质量标准必不可少的准则。

在回顾了一系列关于人工智能在肋骨骨折成像中应用的文章后,我们测试了MAIC-10清单的适用性。MAIC-10似乎是所选文章质量评估的有效工具,评分者间一致性良好。然而,清单中的某些条目往往未被全面涉及。

所有被回顾出版物的平均MAIC-10评分为5.63分(满分10分)。这一相对较低的平均评分可能与清单中使用了子条目有关,这增加了清单的复杂性。如果一项研究仅遗漏了其中一个子条目,就无法获得相应清单条目的分数。另一种方法可以是根据子条目对研究可靠性的影响对其进行加权,或引入分层评分而非二元评估。

关于清单的不同条目,所有研究都涉及了临床背景并描述了文献中既往的方法,以及人工智能应用的预期用途和作用(“临床需求”)。然而,清单的第二项条目(“研究设计”)在大多数研究中未被全面涉及。尽管大多数论文以清晰的方式描述了方法学,但只有Liu等人的研究[17]还提供了样本量估计及相关计算。报告不充分或未声明的样本量变化可能引入偏倚并导致对结果的误读[18]。

我们分析中纳入的大多数文章都提到数据已匿名化。然而,关于数据预处理方面匿名化的详细描述以及去标识化方案的描述往往缺失。这不符合MAIC-10清单的要求,该清单积极强调透明报告、数据保护方案和易于复现的去标识化(“安全与隐私”)的重要性。

“数据管理”、“数据标注”和“数据划分”在所选肋骨成像文章中描述相对较好(分别占文章的69.3%、74.6%和68.0%)。经常缺失的子条目是“数据划分”中数据集拆分及训练-测试-验证数据集划分的依据。61.3%的文章提供了关于“人工智能模型”的完整信息,包括软件和硬件、训练-调优-测试方法以及性能指标。最常描述不完整的子条目是硬件。即使提到了硬件,所提供信息的范围和细节也差异很大。

74.6%的文章涉及了“稳健性”,但细节深度和所提供的分析也各不相同。MAIC-10清单中所涵盖的“稳健性”概念并未明确要求评估模型在不同人口学群体或成像设备上的性能。这引发了以下担忧:外部效度和泛化性的重要方面可能在当前评估中未被充分体现。鉴于人工智能模型在不同临床环境中的部署日益增加,可能有必要扩展MAIC-10清单,纳入一个专门关注数据集多样性和外部适用性的条目。

“可解释性”和“透明性”是所选肋骨成像文章中描述最频繁不一致的两个清单项目(即分别仅在36.0%和34.6%的论文中被正确处理)。透明性的常见障碍包括专有AI模型和缺乏开放获取数据集。此外,“可解释性”项目的评分者间一致性较低。原因之一可能是该清单项目被读者视为主观项,因而表现出更大的解释差异性。标准化解释的一种可能解决方案是在清单中附加示例。另一方面,通常重要的是AI模型的解释应尽可能清晰,以避免“黑箱效应”(即可解释性差),并确保研究方法描述得足够清晰,使他人能够重现实验。未来研究应尽可能纳入标准化方法,并通过详细分享模型架构和训练方案来提供透明性。

本研究存在若干局限性。第一,作者仅纳入了肋骨骨折成像中基于AI的文章,未涉及其他医学亚专业。虽然这可能限制普适性,但在明确界定的医学影像应用范围内评估MAIC-10是有意为之的设计选择。第二,电子文献检索仅在PubMed数据库中进行。第三,纳入研究的评估仅由放射科医师完成,这可能引入一定偏倚。利用基于AI技术的研究通常由多学科团队开展[19–21]。因此,单一读者可能难以理解研究的所有方面,这可能因对清单项目的解释不同而导致可能的评分不足或评分过高。第四,本研究纳入的文章数量相对较少(n = 25),并且在目标和评估参数方面存在很大异质性。

总之,在根据MAIC-10审查所选肋骨骨折成像文章后,一些质量方面尚未得到全面处理。然而,在评估过程中,出现了关于清单项目本身清晰性的问题。显而易见,不仅为了透彻理解研究,也为了理解清单本身及其背后的推理,具备统计学和基于AI解决方案的深厚知识是必要的。尽管如此,AI在医学影像中不可避免的兴起趋势以及日益在统计学和技术研究中的出现,要求实施质量标准。MAIC-10清单似乎是评估此类研究质量的有效工具。

引用

  1. Getzmann JM, Nulle K, Mennini C, et al. Deep learning in rib fracture imaging: study quality assessment using the Must AI Criteria-10 (MAIC-10) checklist for artificial intelligence in medical imaging. Insights Imaging. 2025. PMID: 40783476. doi:10.1186/s13244-025-02046-x
  2. 全文:PMC12335413(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12335413/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。