人工智能应用于磁共振成像可可靠检出半月板撕裂的存在、但不能定位撕裂位置:系统综述与Meta分析
该系统综述与Meta分析纳入11项研究、共13,467例患者和57,551幅图像,评估卷积神经网络在膝关节MRI上诊断半月板撕裂的准确性,并按撕裂存在与撕裂定位分别汇总。撕裂识别汇总敏感度0.87、特异度0.89、AUC 0.939,撕裂定位汇总敏感度0.88、特异度0.84、AUC 0.905。作者认为AI模型在确认半月板撕裂方面表现良好,但定位准确性仍有提升空间。
要点
- AI识别半月板撕裂存在的AUC为0.939,高于定位撕裂的AUC 0.905。
- 撕裂识别汇总敏感度0.87(95%CI 0.80-0.91)、特异度0.89(95%CI 0.83-0.93)。
- 撕裂定位汇总敏感度0.88(95%CI 0.82-0.91)、特异度0.84(95%CI 0.81-0.85)。
核心结论
- AI预测模型在半月板撕裂诊断中表现良好,但在定位撕裂方面表现较差。
- 作者认为未来深度学习临床效用研究应纳入标准化报告、外部验证和完整预测性能报告,以更准确定位撕裂。
研究设计与样本
- 系统综述与Meta分析,检索PubMed、MEDLINE、EMBASE和Cochrane数据库至2022年12月,遵循PRISMA声明,并在PROSPERO注册(CRD42021291219)。
- 最终纳入11项研究,共13,467例患者和57,551幅图像,研究发表于2016年至2022年。
- 所有研究均纳入矢状位膝关节MRI图像,质子密度脂肪抑制序列是最常用的扫描序列。
- 撕裂识别分析纳入6项研究、2034幅图像,其中933幅证实有半月板撕裂;撕裂定位分析纳入2项研究、1747个半月板角,其中201个角撕裂。
- 参考标准包括放射科医师诊断、关节镜、数据库标注及MRI报告自然语言处理提取结论。
关键影像表现/征象
- 所有研究均使用矢状位膝关节MRI图像,4项研究纳入冠状位图像,2项研究纳入横断位图像,1项研究纳入轴位图像。
- 输入数据集中无撕裂与撕裂的类别比例范围为1:0.13至1:3.00。
- 3项研究使用三维卷积神经网络,3项研究使用基于区域的卷积神经网络,1项研究使用感知神经网络,1项研究使用Deep-CNN。
- 5项研究纳入模型预训练;8项研究进行内部验证,4项研究进行外部验证。
诊断标准与关键数值
- 撕裂识别分析:汇总敏感度0.87(95%CI 0.80-0.91),汇总特异度0.89(95%CI 0.83-0.93),AUC 0.939;敏感度异质性I²=79%,Cochrane Q检验p<0.01。
- 撕裂定位分析:汇总敏感度0.88(95%CI 0.82-0.91),汇总特异度0.84(95%CI 0.81-0.85),AUC 0.905;敏感度异质性I²=16%,特异度异质性I²=60%。
- 撕裂定位分析将每个半月板分为4个角(内侧、外侧、前角、后角),分别报告AI模型的诊断性能。
- 多分类结局被转换为二分类结局进行Meta分析。
临床应用与阅片要点
- 作者认为AI预测模型可能对提高临床医师和放射科医师的诊断准确性发挥重要作用。
- 作者指出AI擅长确认半月板撕裂的诊断,但未来需要进一步工作来指导疾病管理。
- 作者建议未来研究可探索深度学习改善放射科医师表现,并可在报告放射科医师意见不一致或回顾性诊断漏诊撕裂时发挥作用。
- 作者认为通过CNN方法区分半月板撕裂位置可能更好地指导半月板撕裂管理。
局限性
- Meta分析中的异质性应结合纳入研究的方法解读,图像序列存在显著异质性;仅2项研究使用「典型」三平面采集开发模型,1篇文章未记录所用序列。
- 尽管本研究尝试区分半月板撕裂的不同诊断结局,但各单独分析中纳入的研究数量仍然较少,可能无法充分探索AI模型在这些亚组中的整体表现。
- 纳入研究均未遵循AI专用标准化报告指南,可能限制结果在临床实践中的适用性。
全文中译21 节 · 点击展开
引言
准确及时地诊断半月板撕裂对于有效的患者管理和优化治疗结局至关重要。磁共振成像(MRI)已成为一种有价值的诊断工具,可提供高分辨率图像以评估半月板病变。然而,解读MRI扫描需要专业知识,且存在观察者间变异性[1]。近年来,人工智能(AI)作为提高骨科诊断准确性和效率的有前景的解决方案,已受到显著关注[2]。
尽管现有文献强调了MRI诊断具有良好的敏感性(78–92%)和特异性(88–95%),但对放射科医师的经验、扫描序列和图像质量的报告不足,从而引发了对这些结果在MRI解读经验较少的中心适用性的担忧[3, 4]。White等人表明,十名放射科医师之间的观察者间一致性较低(0.49–0.77)。鉴于膝关节损伤中MRI扫描需求的不断增加、报告膝关节MRI扫描所需的专业知识,以及许多国家缺乏训练有素的肌骨放射科医师,各中心生成报告的等待时间往往很长[5–7]。因此,需要制定策略以提高MRI报告的质量和时效性。
卷积神经网络(CNN)是一种AI方法,通过从输入大量复杂数据(如MRI图像)中进行模式识别来开发预测结果[8, 9]。其决策过程的结构基于输入数据中不同变量“层”之间的连接,其灵感来源于人脑的神经网络(图1)[9]。每个CNN“层”从输入的MRI图像中提取特征,以学习图像内的复杂关系,最终提供该图像的报告。一旦经过充分训练,AI可以高准确度和快速处理未见过的影像学研究[2, 8, 10]。
对于半月板撕裂诊断,多项研究已探索使用CNN检测半月板撕裂[11, 12]。
然而,目前尚无荟萃分析对所有这些研究进行比较和总结。虽然CNN已显示出高准确度以及与专家临床医师的一致性,但这些模型的可解释性和泛化性受到“黑箱”问题的限制——即鉴于其计算步骤的复杂性,决策过程无法得到充分解释[13, 14]。鉴于患者诊疗中相关的伦理考量,在临床环境中使用CNN模型时这一点尤为关键[15, 16]。
目的
本研究旨在进行系统综述和荟萃分析,以评估CNN诊断半月板撕裂的可行性和准确性。我们还旨在分析这些研究中报告的决策算法。
方法
本系统综述和荟萃分析所发布的方案依据系统综述和荟萃分析方案首选报告项目(PRISMA-P)声明构建[17]。该综述已在PROSPERO(https://www.crd.york.ac.uk/prospero/)注册,注册号为CRD42021291219。
纳入标准
本综述纳入探讨使用CNN通过膝关节MRI扫描诊断半月板撕裂的研究。所报告的模型性能需包括准确性、敏感性、特异性和ROC值。若纳入研究的性能矩阵缺失,则联系这些研究的作者以获取相关数据。
检索策略和研究选择
使用MEDLINE、PubMed、EMBASE和Cochrane数据库进行系统检索。检索包括医学主题词(MESH)和自由文本,并使用适当的布尔运算符。检索中纳入以下术语:“knee”“meniscus tear”和“diagnosis”,以及“artificial intelligence”和“MRI”的多个同义词,以考虑术语差异。1977年7月至2022年12月发表的所有符合条件的研究均上传至Covidence [18]。对所有纳入文章的参考文献进行进一步手动检索,以识别任何遗漏的研究或补充数据。完整检索策略见补充文件。
数据收集和结局指标
两名评价者通过评估标题和摘要独立筛选合格研究。若一篇文章被认为符合条件,则获取全文以供进一步审查。评价者之间的分歧通过讨论以达成共识或咨询第三名评价者。被排除的文章被记录以供进一步分析,并详细记录排除原因以生成PRISMA流程图(图2)。未研究MRI成像诊断半月板撕裂的研究,例如研究韧带损伤的研究,被排除。未聚焦于膝关节或未使用MRI成像的研究也被排除。通讯文章、专家意见、会议摘要、综述文章和病例报告被排除。入选研究需要以英文撰写。
主要终点是定量测量(敏感性、特异性和ROC)的统计学显著差异,以确定不同AI模型的诊断准确性。此外,我们关注文献中的关键主题,如MRI评分系统和用于定义半月板撕裂的标准。
质量和偏倚评估
使用QUADAS-2工具评估每项纳入研究的偏倚[19]。评分系统分为四个主要部分:参与者、预测因子、结局和分析。在每个部分内,信号问题在研究层面评估研究方法和结果的质量。两名评价者独立参与此过程,分歧通过共识解决。偏倚评估的结果通过评估所产生数据的适用性和可靠性来影响数据合成。由于本综述旨在评估ML模型在膝关节MRI中的诊断准确性,评分系统中任何不适用的部分均被修改以反映证据基础的性质并减少报告错误。
统计分析/荟萃分析
在荟萃分析中比较了AI模型的合并定量诊断准确性值。首先,检索或计算敏感性和特异性值。如果研究未提供这些值,则从临床表格中计算或向作者索取。当相当比例的文章使用其他指标时,这些值被单独检索和计算。
参考Cochrane指南处理研究间变异,异质性通过I2量化[20]。由于所有研究的真实效应量不太可能完全相同(由于方法学差异、机构差异和判读差异),拟合随机效应模型以部分池化进行估计。进行亚组分析以探索异质性的来源。一旦异质性最小化并去除离群值,给出AI模型预测准确性的汇总估计。所有数据分析和可视化均通过R统计环境(版本4.2.2,2022-10-31)使用“mada”和“mvmeta”包、Revman v5.0以及MetaDTA(一种用于诊断准确性荟萃分析的在线工具)进行[21]。
结果
文献检索
数据库检索共获得168条结果(图2)。在去除重复文献并评估标题和摘要后,共有15篇文章纳入全文分析。5项研究因非诊断性卷积神经网络(CNN)应用而被排除。在剩余的11项研究中,1项研究在联系作者获取相关数据后被纳入荟萃分析[22]。3项研究因无法获得完整数据而被排除于荟萃分析之外,但纳入系统评价[12, 23, 24]。
研究特征
表1和表2展示了研究特征。纳入研究的完整提取数据见补充表S1(补充材料)。共11项研究纳入系统评价和荟萃分析。纳入研究发表于2016年至2022年。共纳入13,467例患者和57,551张图像。两项研究未明确纳入患者数量[23, 24]。
CNN方法学
所有研究均纳入膝关节矢状位MRI图像,4项研究纳入冠状位图像[11, 25–27],2项研究纳入横断位图像[26, 28],1项研究纳入轴位图像[11]。质子密度脂肪抑制序列是最常用的扫描序列。输入数据集中无撕裂与撕裂的结局类别比例范围为1:0.13至1:3.00 [25, 29]。
所有研究均使用了不同变体的CNN(表S1)。3项研究使用了三维CNN,其输入图像为二维或更多维度[25, 27, 30]。3项研究使用了基于区域的CNN,其输入数据以边界框标注[22–24]。1项研究探讨了感知神经网络(Perception Neural Network),这是CNN的一种替代形式[29]。Fritz等使用了深度CNN(Deep-CNN),该模型具有更多处理层用于诊断结局预测[26]。
5项研究采用了模型预训练[12, 22, 24, 25, 30]。关于MRI扫描中识别半月板撕裂的参考标准,8项研究由具备资质的放射科医师在MRI上诊断半月板撕裂[11, 12, 22, 23, 25, 28–30]。1项研究使用MRI报告的自然语言处理算法提取诊断结论,但未直接咨询临床医师[27];1项研究以膝关节镜检查作为参考标准[26];1项研究的图像已由数据库标注[24]。
模型验证
4项研究报告了数据标注的观察者间一致性[25–27, 30]。8项研究进行了内部验证,4项研究进行了外部验证[11, 12, 22, 24–27, 29, 30]。用于展示病变的图像增强分别涉及边界框和热图,分别在8篇[12, 22–25, 27, 29, 30]和2篇论文[11, 26]中使用。1篇文章未明确图像增强的方法[28]。
荟萃分析
每个AI模型的验证结果用于荟萃分析。三项研究进行了外部验证[11, 22, 27],六项研究进行了内部验证[22, 25, 26, 28–30]。诊断半月板撕裂的受试者工作特征曲线下面积(AUC)、灵敏度和特异度在荟萃分析中按撕裂识别和撕裂定位两个层面分别报告。多分类结局被转换为二分类结局。三项研究因数据不完整被排除在荟萃分析之外[12, 23, 24]。
撕裂识别分析中的文章在膝关节整体MRI中识别半月板病变的存在。相比之下,撕裂定位分析中的文章将每个半月板分为四个角(内侧、外侧、前角和后角),并报告AI模型在各个角中的诊断性能。
撕裂识别分析
六项研究被纳入半月板撕裂的撕裂识别分析[11, 22, 26–29]。共纳入2034张图像,其中933张图像被证实存在半月板撕裂。使用AI模型的合并灵敏度为0.87(95% CI 0.80–0.91),合并特异度为0.89(95% CI 0.83–0.93,图3),AUC值为0.939(图4)。灵敏度分析的异质性较大(I2 = 79%),Cochrane Q统计量具有统计学显著性(p < 0.01),而特异度分析的异质性不显著(p = 0.12)。
撕裂定位分析
两项研究被纳入撕裂定位分析[25, 30]。共纳入1747个半月板角,其中201个角撕裂。使用AI模型的合并灵敏度为0.88(95% CI 0.82–0.91),合并特异度为0.84(95% CI 0.81–0.85,图3),AUC值为0.905(图4)。灵敏度分析的异质性较低(I2 = 16%),而特异度分析的异质性为中等(I2 = 60%),Cochrane Q统计量无统计学显著性(p = 0.28和p = 0.11)。一项研究因无法获得完整数据未被纳入该亚组分析[12]。
偏倚风险和研究质量
采用QUADAS-2工具进行质量评价[19]。图5展示了纳入研究的偏倚风险汇总。文章在患者选择方面存在高偏倚风险(ROB)。仅有两项研究报告了明确的排除标准[25, 27]。Roblot等人研究了来自数据集挑战的外部数据,但未能描述被排除的患者[23]。索引测试的报告质量良好,算法开发描述清晰,90%的研究因此获得低ROB评分。Qiu等人在该领域评分较差,因为他们未能展示清晰的方法学,且测试中同时需要MRI和CT图像,降低了临床适用性[28]。各研究使用的参考标准不尽相同,从使用多名专科放射科医师和关节镜确诊的损伤,到未报告诊断标准。
采用CLAIM-AI清单评估纳入研究对报告指南的具体依从性[31]。图6展示了纳入研究对清单中各条目的依从程度。条目12“描述数据去标识化的方法以及受保护健康信息是如何移除的”;条目13“明确说明缺失数据的处理方式,例如用近似值或预测值替代”;以及条目19“描述样本量及其确定方法”,均未被任何纳入文章遵循。
讨论
我们进行了一项系统综述和荟萃分析,以评估卷积神经网络(CNN)诊断半月板撕裂的准确性。CNN算法能够准确识别撕裂的存在(AUC = 0.939),但在识别撕裂位置方面准确性较低(AUC = 0.905)。
纳入研究中无一在方法学中采用报告标准(如CLAIM-AI),这可能导致两项荟萃分析中观察到的异质性[31]。这在评估人工智能研究时至关重要,因为这些标准鼓励完整报告研究数据和算法方法,并表明算法输出具有稳健的临床适用范围[15, 32]。现有研究缺乏对匿名化方法、选择构建模型所需参与者数量背后的理由以及缺失数据处理方法的解释。
当前的性能报告矩阵,例如仅使用AUC,可能不足以全面报告算法的性能。Halligan等强调了使用AUC的不足,包括无法区分假阴性和假阳性的患病率,从而无法描绘人工智能研究中两种错误预测相关的成本[33]。此外,在数据不平衡的情况下,AUC可能被虚假升高,这意味着每个类别的比例并不相等;因此,它可能无法完全报告真实的检测性能[34]。在本研究中,有八项研究纳入的负类(无撕裂)比例高于正类(撕裂)[11, 12, 22–25, 27, 28, 30]。数据不平衡仍然是人工智能研究方法学中的一个挑战,因为半月板撕裂在真实世界中的患病率通常较低[35–38]。因此,研究可以考虑减少训练数据量以确保结局类别的比例相等,并纳入其他人工智能特定的性能矩阵,如精确率、召回率、F1分数和F1-精确率曲线,以更好地说明预测结局的不足[15, 34]。此外,Namdar及其同事提出了一种用于神经网络的改良AUC,未来研究可以考虑使用,因为它考虑了算法预测的置信度[39]。
MRI仍然是半月板撕裂诊断的金标准,但观察者间和观察者内变异性可能影响MRI图像的诊断准确性[40, 41]。在本综述中,四项研究纳入了影像评分以辅助半月板撕裂的分类[12, 25, 28, 30],而六项研究未明确说明识别半月板撕裂的决策过程[11, 23, 24, 26, 27, 29]。Astuto等证明,经验可能影响阅读MRI图像时对半月板撕裂的诊断,主治放射科医师与受训者之间的读者间一致性值在0.46至0.57之间[25]。然而,人工智能算法将一致性评分提高至0.67–0.70[25]。这证明了将预测模型纳入诊断过程的可行性。此外,Bien等报告了检测半月板撕裂的中等观察者间评分(0.745),但未研究人工智能算法的影响[11]。
未来意义
为确认预测模型的临床实用性,未来研究可探讨深度学习对放射科医师性能的改善。Astuto及其同事证明了CNN辅助诊断可改善评分者间Cohen ĸ一致性[25]。当报告放射科医师之间存在分歧或回顾性诊断发现漏诊撕裂时,人工智能辅助诊断半月板撕裂也可能发挥作用[42]。然而,我们的结果提示,撕裂的存在比撕裂的位置诊断更为准确。
此外,卷积神经网络(CNN)整合影像数据之外临床数据的能力,可能有助于研究半月板撕裂对患者结局的影响。预测结局可能不仅限于半月板撕裂的存在,还可延伸至个体患者的功能、进展和治疗需求[43, 44]。自然语言处理(NLP)模型在未来研究中可能会被广泛采用,以生成用于模型训练的大型数据集,正如Rizk及其同事所做的那样[27, 45]。这可以通过在未来研究中纳入NLP来识别特定研究重点所需的图像来实现[46]。
鉴于半月板撕裂的疾病过程各异[47, 48],通过CNN方法区分半月板撕裂的位置可能更好地指导半月板撕裂的管理。尽管当前研究尚未探讨,但根据半月板的解剖血管区带对半月板撕裂模式进行分类,可能有助于制定管理方案,因为其愈合特性各不相同[48–50]。未来研究可聚焦于撕裂的病理特征,以增强预测结果的临床实用性,例如评估手术干预的可能结局。
局限性
本研究存在若干局限性。首先,荟萃分析中的异质性应结合纳入研究的方法来解读。用于训练和评估各模型的图像序列存在显著异质性。虽然MRI膝关节评估尚无明确标准,但仅有两项研究使用了“典型”的三平面采集方案来开发其模型,另有一篇文章未记录使用了哪些序列。这显著限制了任何算法在真实世界环境中的应用。其次,尽管本研究试图区分半月板撕裂的不同诊断结局,但各单项分析中纳入的研究数量仍然较少。因此,这可能无法充分探索AI模型在这些亚组中的整体性能。第三,纳入的研究均未遵循AI-specific标准化报告指南,这可能限制结果在临床实践中的适用性。
结论
我们的研究表明,CNN在确认半月板撕裂方面具有准确性,但在评估撕裂位置方面仍有改进空间。预测结局的临床实用性应通过标准化报告、外部验证及其性能的完整报告来持续评估。报告CNN辅助诊断性能可评估其在临床实践中的作用。未来需要进一步研究不同半月板撕裂模式的临床意义,以确定个体患者的管理方案。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 146 KB)
引用
- Zhao Y, Coppola A, Karamchandani U, et al. Artificial intelligence applied to magnetic resonance imaging reliably detects the presence, but not the location, of meniscus tears: a systematic review and meta-analysis. Eur Radiol. 2024. PMID: 38386028. doi:10.1007/s00330-024-10625-7
- 全文:PMC11364796(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11364796/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。