指南与共识骨肌技术与安全CT

人工智能在CT骨折识别中的应用:文献综述与建议

Artificial intelligence fracture recognition on computed tomography: review of literature and recommendations.
指南 / 共识 · Eur J Trauma Emerg Surg · 2022-10-26

该综述基于PRISMA系统检索17项研究,评估卷积神经网络(CNN)在CT骨折检测和分类中的性能。CNN准确率69.4%-99.1%,F1分数0.35-0.94,AUC 0.770-0.947;10项研究显示CNN辅助临床评估可达到相似或更优的诊断准确率。结论认为CNN可用于CT骨折检测和分类,但需进一步外部验证和前瞻性研究。

要点

  • CNN在CT骨折检测中准确率69.4%-99.1%,F1分数0.35-0.94,AUC 0.770-0.947。
  • 10项研究显示CNN辅助临床评估可达到相似或更优诊断准确率,4项研究显示诊断时间显著缩短。
  • 多数研究缺乏外部验证,数据集偏小,推荐逐步增加数据量直至性能达标或平台期。

核心结论

  • CNN适用于CT骨折的检测和分类,可改善自动化及临床辅助诊断,但日常临床应用价值需进一步研究。

研究设计与样本

  • 系统综述遵循PRISMA声明,检索Embase、Medline ALL、Web of Science Core Collection、Cochrane Central Register of Controlled Trials和Google Scholar,最终纳入17项研究。
  • 质量评估采用改良MINORS量表(7项检查表),低分(≥3项低分)研究被排除。
  • 性能指标定义为准确率、F1分数和AUC;10项研究比较了CNN与临床医生的诊断性能。

诊断标准与关键数值

  • 准确率范围69.4%-99.1%,F1分数范围0.35-0.94,AUC范围0.770-0.947;一项研究报告敏感度92.9%。
  • 在612例患者中,InceptionV3模型对CT切片分三类(急性、陈旧愈合、正常)时平均准确率最高达96%。
  • 在85例患者中,二分类(无骨折 vs 骨折)准确率最高97%,按AO/OTA分类分为十类时准确率降至90%。
  • Zhou等报告CT联合患者信息相比仅用CT,三个模型准确率分别从78.8%、81.3%、73.9%提升至85.2%、90.4%、88.5%。
  • Dreizin等报告移行性不稳定骨折准确率85%,旋转性不稳定74%。

临床应用与阅片要点

  • CNN可作为辅助工具提高骨折检测和分类的准确性,尤其对初级放射科医生有帮助,并可能缩短诊断时间。
  • 联合临床报告可使漏诊率降低88%,建议将CNN作为第二阅片工具以辅助放射科医生。
  • 使用CNN模型时需注意其性能受骨折类型、解剖部位和输出分类数量影响,复杂分类(如AO/OTA十类)准确率下降。

局限性

  • 研究间可比性有限,因骨折类型、解剖部位和特征不同,且ground truth定义各异(专家数量及经验不同)。
  • 多数研究样本量小,仅少数研究进行外部验证,可能高估AI的潜在获益。
  • CNN模型需更大训练和测试集、外部验证及前瞻性验证才能用于日常实践。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur J Trauma Emerg Surg. 2022 Oct 26;49(2):681–91. doi: 10.1007/s00068-022-02128-1

引言

计算机断层扫描(CT)在创伤救治中的应用正大幅增加。在荷兰,2019年进行了超过200万次CT扫描,且这一数字逐年增长[1]。全身CT在急性创伤环境中应用日益增多,且可能比标准放射学成像更具成本效益[2]。影像使用的增加给放射科医生带来压力,甚至导致医院放射科医生短缺[3]。检查CT扫描和X线片以检测和分类骨折可能耗时、具有挑战性,且放射科医生与(有经验的)临床医生之间的观察者间变异性可能相当大[3]。人工智能(AI)可在优化急性环境工作流程方面发挥重要作用,并使临床医生能够更有效地利用时间。

AI可以执行不同的任务,从网页搜索到自动驾驶汽车——这些任务直到几年前还只能由人类完成。深度学习(DL)是机器学习(ML)的一个子集,主要使用卷积神经网络(CNN)[4]。CNN是具有不同单元的人工神经元层的组合。这些单元的作用类似于我们大脑的神经元[3]。CNN可以学习从数据中识别判别性特征,并为图像中的各个方面分配重要性,并区分彼此。用于训练踝部骨折CT CNN的数据示例见补充视频1。虽然大多数早期AI方法导致的应用表现低于人类,但近期的CNN能够匹配甚至超越人类在X线片上检测某些骨折的能力,每个模型聚焦于孤立的骨折类型[5–9]。计算机的优势在于其能够快速、一致且不知疲倦地评估大量检查。

当临床医生得到基于DL的自动骨折检测算法的辅助时,临床诊断的准确性可能提高,诊断时间可能缩短,这在急诊环境等中可能有用。多项研究已成功应用CNN在X线片上检测身体各部位的骨折[5–9]。CNN在X线片上检测和分类骨折的结果令人鼓舞。然而,仅有少数研究开发了用于CT扫描骨折检测的CNN。因此,我们进行了本系统综述,以概述使用AI结合CT扫描检测或分类骨折的研究。本研究的目的是回答以下问题:1)CNN在CT扫描上检测骨折的准确性如何?2)使用CNN结合CT扫描是否改善临床医生的诊断性能?

材料与方法

文章筛选、质量评估和数据提取

根据PRISMA声明[10](图1)进行了系统文献检索,并在以下数据库中实施:Embase、Medline ALL、Web of Science核心合集、Cochrane对照试验中心注册库和Google Scholar。检索策略与一名图书馆员共同制定(见附录1)。

检索所有已发表文章。去除重复后,由两名评价者(LD、SS)独立筛选潜在合格文章的标题和摘要。随后,使用预设标准进行全文筛选以检查合格性。若结论不一致,则咨询第三名评价者(JP)。若在骨科创伤环境中使用人工智能在CT扫描上检测骨折,则文章符合纳入标准。定义的排除标准为:综述文章或通讯、会议摘要、技术论文、使用机器人的研究、动物和尸体研究、非骨科骨折以及未以英文或荷兰文发表的研究。使用Covidence(Veritas Health Innovation,墨尔本,澳大利亚)进行筛选过程和全文审查。

所有纳入文章的质量由两名独立评价者(LD、SS)评估。若存在分歧,则咨询第三名评价者(JP)。质量评估使用非随机研究方法学指数(MINORS)工具的修改版,包括以下条目:披露、研究目的、输入特征、参考标准、数据集分布、性能指标和人工智能模型(表1)。在三个或更多条目上得分低的研究被排除。使用标准化表格提取和记录数据(Microsoft Excel Version 16.21;Microsoft Inc,Redmond,WA,USA)。

图1 PRISMA流程图 查看原图 ↗
表1 根据MINORS标准进行质量评估 查看原表 ↗

结局指标

在本研究中,主要结局是所用卷积神经网络(CNN)的性能,通过其准确率、F1分数和曲线下面积(AUC)衡量。十七项研究符合纳入标准并用于回答该研究问题。为回答本研究的次要问题,使用了十项比较CNN性能与临床医生性能的研究。

从每项研究中收集的数据点为:作者、发表年份、骨折解剖位置、所用人工智能模型(类型)、CT切片的成像方向、输出类别、参考标准标签分配、患者数量和性能指标(例如准确率、AUC曲线)(表2)。

输出类别包括骨折检测(即骨折是/否)和/或分类(即OA/OTA分类)。所有研究都描述了CNN对骨折的检测,七项研究还进行了骨折分类。

研究使用准确率、F1分数和AUC来衡量模型性能。F1分数(2*((精确率*召回率)/(精确率 + 召回率)))是测试精确率(阳性预测值)和召回率(灵敏度)的调和平均数,其中需要两者都高才能获得良好的F1分数。最高可能值为1.0,表示完美的精确率和召回率,最低可能值为0。若未评估,则在给出精确率和召回率时计算F1分数。曲线下面积(AUC)是衡量分类器区分类别能力的评分。该评分介于0.5(分类器等同于随机机会)和1(优秀分类器)之间。在可能的情况下,计算准确率和/或F1分数以促进研究之间的比较。

表2 研究描述 查看原表 ↗

质量评价

改良MINORS工具包括以下条目:披露、研究目的、输入特征、金标准、数据集分布和性能指标(表1)。除两项研究外[11, 12],所有研究均报告了披露情况。所有研究均明确陈述了研究目的、所用模型以及性能测量方式。三项研究未明确说明输入特征[11, 13, 14]。这些研究未提及纳入和排除标准是什么。三项研究未明确金标准(人工智能中使用的参考标准)[11, 15, 16]。一项研究在质量评估后被排除,因为其在三个条目上得分过低:披露、输入特征和金标准[11]。

结果

纳入研究

检索共获得1140篇文章。去除重复后,筛选了720篇摘要。选择69项研究进行全文筛选,其中18项被保留。通过筛选参考文献列表未发现新的合格研究。一项研究在质量评估后被排除,因为由于披露、输入特征和金标准报告不明确,其偏倚风险被认为过高[11]。最终17项研究用于分析。

研究描述

所有17项研究均使用卷积神经网络(CNN)在CT扫描上检测和/或分类骨折[12–28]。八项研究涉及肋骨骨折的检测[13, 17, 19, 20, 22, 25–27],三项研究涉及骨盆骨折的检测性能[12, 21]和分类[18],四项涉及脊柱骨折的检测[14, 16, 23, 28],一项涉及股骨骨折的检测和分类[24],一项涉及跟骨骨折[15]。十四项研究使用两个输出类别(骨折是/否)。一项关于脊柱骨折的研究使用三个输出类别:完全移位、不完全移位和压缩性骨折[14]。此外,两项研究使用新鲜骨折、愈合骨折和陈旧性骨折作为输出类别[25, 26]。在12项研究中,骨折诊断和分类的金标准是两名或以上专家独立解读CT扫描的结论[12–14, 17–20, 23, 25–28]。一项研究使用常规诊疗中的放射学报告作为金标准[22]。两项研究未说明有多少专家提供金标准[21, 24]。此外,两项研究未报告金标准[15, 16]。研究中纳入的患者数量从39例[19]到8529处骨折[20]不等。

主要结局:CNN的性能

各项研究对性能的定义方式不一。十一项研究测量了检测和/或分类的准确率[12–18, 20, 22, 24, 25],范围为69.4%[12]至99.1%[16]。八项研究改用F1分数评估性能:其中两项评估愈合状态分类的F1分数[25, 26],一项评估移位[21],五项评估骨折检测[13, 18–20, 22]。此外,我们在三项研究中计算了F1分数以便于比较[12, 23, 28]。F1分数范围从Yacoub等[23]的0.35到Meng等[20]的0.94。四项研究报告了AUC作为性能指标[17, 21, 23, 25],范围为0.770[25]至0.947[17]。Zhou等[25]报告的是与其他三项较简单骨折检测研究相比, challenging骨折分类的AUC。一项研究仅报告了92.9%的敏感度[27]。

在Castro-Zunti等人[17]的研究中,对612例患者的四种不同AI模型的准确率和AUC评分进行了比较。他们发现,当CT切片分为三类(急性、陈旧(愈合)和正常(未骨折))时,CNN模型InceptionV3达到了最高的平均准确率96%。在Yoon等人[24]的研究中,数据被分为十类(基于AO/OTA分类[29]),并报告了85例患者在不同输出类别数量下的准确率。二分类(无骨折 vs 骨折)达到了最高的准确率97%。当数据分为更多类别时(AO/OTA分类[29]),与骨科医生作为参考标准相比,十类分类的准确率降至最低值90%。Dreizin等人[18]报告了在373例患者中,其模型[18]对平移性不稳定(85%)的准确率和F1评分优于旋转性不稳定(74%)。Zhou等人[25]报告了在1020例患者中,使用CT结合患者信息(三种不同模型的准确率:85.2%、90.4%和88.5%)相比仅使用CT(三种不同模型的准确率:78.8%、81.3%和73.9%)的性能改善[25]。在另一项较早的研究中,Zhou等人[26]报告愈合中肋骨骨折的平均F1评分最高,陈旧性骨折最低(0.856 vs. 0.770)。

在图2中,用于训练、验证和测试的CT数量与准确率的关系被绘制出来,准确率从左到右递增。CT数量最多的研究报告了92%的平均准确率[14]。最高的准确率97%是在一项仅有612个CT的研究中报告的[17]。

总之,所报告的结果包括准确率(范围从69.4%到99.1%)、F1评分(从0.35到0.94)、AUC(从0.770到0.947)和灵敏度(92.9%),这些结果是在纳入的各研究中基于不同分类、CNN模型以及训练、验证和测试集评估的。

图2 准确率与CT总数之间的相关性 查看原图 ↗

次要结局:CNN与临床医生

在17项研究中,有10项将CNN模型的诊断性能与放射科医生[14, 17, 22, 23, 25–27]或放射学报告[13, 22, 23]进行了比较。这10项研究中有7项[14, 17, 22, 23, 25–27]比较了CNN模型与放射科医生的灵敏度。在3项研究中[17, 26, 27],CNN模型单独使用或作为附加CNN模型使用时,其灵敏度高于单独使用放射科医生。3项研究显示CNN与放射科医生的灵敏度相似[22, 23, 25],1项研究[14]显示使用CNN后灵敏度下降。4项研究报告当放射科医生借助CNN辅助时,诊断时间显著缩短[20, 25–27]。

在10项研究中有2项比较了CNN与临床医生的准确率[18, 20]。在Meng等人[20]的研究中,初级放射科医生在CNN辅助下进行骨折检测和分类时,其准确率显著提高。经验丰富的放射科医生也表现出类似的改善[20]。在Dreizin等人[18]的研究中,该模型的准确率与放射科医生相当。一项研究表明,当CNN与临床报告结合使用时,漏诊数量减少了88%[13]。

总之,报告卷积神经网络(CNN)作为放射科医生辅助工具性能的四项研究[13, 20, 26, 27]表明,CNN提高了骨折检测和分类的性能。十七项研究中有十二项[13, 15–20, 22, 24–27]得出结论,使用CNN改善或可以改善临床诊疗。在其余五项研究中,三项研究[14, 21, 28]推荐将CNN作为第二阶段判读以辅助放射科医生,一项研究中其性能劣于临床放射学报告[23],最后,一项研究未报告改善情况[12]。

讨论

在本系统综述中,分析了几项使用人工智能进行骨折检测和分类的研究结果——特别是卷积神经网络(CNN)。纳入的研究表明,CNN在CT扫描上检测和分类各种骨折方面表现出良好的性能。使用CNN可能为创伤救治中骨骼影像工作流程的若干环节增加价值和效率。大多数研究的总体结论是,CNN适用于辅助临床医生,通过减少诊断时间和漏诊数量,同时提高诊断性能。此外,与放射科医生和外科医生在判读CT扫描时存在的高度观察者间变异性相比,CNN已被证明具有非常高的一致性[3]。由于综述CNN在创伤CT成像中地位的研究匮乏,检索策略非常宽泛,并查询了多个数据库。此外,本研究关注CNN与临床医生的比较或CNN作为临床医生助手的作用。

本研究应结合优势和局限性来解读。首先,各项研究的可比性有限,因为某些骨折可能比其他骨折更容易检测、具有不同的特征,且处于不同的周围解剖结构中。然而,各研究的结果显示总体性能相当,这种异质性并未影响回答我们的研究问题。其次,各项研究使用了不同的金标准定义。例如,金标准标签可能由不同数量、不同专业水平的放射科医生确定。一个重要提示是,所有这些参考标准都受制于人为偏倚。最后,迄今为止,仅有少量研究在有限的患者群体规模中探讨了人工智能在CT扫描骨折检测中的应用。这可能高估了人工智能的潜在获益,因此,未来研究应克服这一不足。此外,为在日常实践中使用CNN模型,这些模型需要进一步发展,需要更大的训练集和测试集、外部验证和前膽性验证。然而,如果人工智能在骨折诊断和治疗中的有益效果能带来改善,这可能不会对日常临床工作造成广泛变革。优势包括检索了多个数据库、使用了改良的MINORS(纳入CNN特异性因素如输入特征、金标准、数据分布和性能指标)。未来探讨人工智能在CT上用于骨折检测和分类的研究应纳入广泛的训练集、验证集和测试集数据库,报告人口学和诊断性能指标,对CNN模型进行外部验证[30],以及对更常见骨折(例如腕部和踝部)的研究。

一般而言,对于卷积神经网络(CNN),通常假设数据集越大,性能越高。使用小数据集进行训练是过拟合的主要原因,且无法获得适当的性能泛化。由于研究之间存在异质性,无法就推荐的数据集规模得出直接结论。然而,对于所有骨折部位,准确性与数据量之间似乎缺乏明确的相关性,一些研究使用少于1200张CT扫描的小数据集即达到了完美的准确率。考虑到这一点,结合专家提供高质量标注的时间有限,我们推荐采用小数据集逐步增加的方法,直至达到足够的性能或出现平台期。

大多数研究使用了相同的基础CNN架构。五项研究使用了ResNet [14, 15, 18, 22, 25]。它们在研究不同解剖部位时显示了相似的准确率。两项研究使用了YOLOv3,均显示了相似的F1分数 [21, 26]。两项研究使用了CNN模型VVG-16 [12, 15]。这些研究中测得的准确率存在差异。Pranata等 [15] 提出了一种用于检测跟骨骨折的非常准确的CNN模型,而在盆腔骨折检测中发现的准确率 [12] 显著较低。造成这一差异的原因可能是两项研究的样本量;1931例跟骨骨折 vs. 103例盆腔骨折。此外,骨盆的稳定性基于骨性和/或韧带损伤,与发现皮质骨折相比,这是一项更具挑战性的任务。

RestNet(或其修改版本)是最常用的CNN网络,报告的准确率在73%至98%之间。Raghavendra等 [16] 报告了表现最佳的模型,平均准确率为96.51%。然而,该模型由作者自行开发,未经外部验证,因此在解释结果时需谨慎 [30]。不到半数(6/17)的研究报告使用了外部验证。要应用于临床实践,CNN模型的外部验证对于探索可迁移性和偏倚至关重要 [30],这将是未来研究的主题。

在其他领域,CNN作为计算机辅助检测的应用领先于骨科。CNN在肿瘤学中已有报道,用于:乳腺X线摄影上经活检证实的肿块与正常组织的分类 [31]、皮肤癌的分类 [32] 以及肺癌中病理性纵隔淋巴结的自动检测 [33]。CNN已被证明可提高肺癌筛查中CT上肺结节和冠状动脉钙化检测的诊断性能 [34]。CNN在骨折检测和分类中的应用只是在追随其他专科更深入发展的脚步。

总之,CNN可以在CT扫描上检测骨折及重要的骨折特征,可用于指导治疗和优化骨折诊断。此外,计算机可以快速、一致且不知疲倦地评估大量检查。如果CNN训练良好,至少使用多位专家提供金标准,这可能减少困扰日常实践的观察者间变异,并通过缩短诊断时间在创伤环境中成为有价值的应用。需要进一步研究以探索CNN在急性创伤环境中的优势和劣势。

电子补充材料

以下是电子补充材料的链接。补充文件1(MP4 36577 KB)

引用

  1. Dankelman, Schilstra, IJpma, et al. Artificial intelligence fracture recognition on computed tomography: review of literature and recommendations. Eur J Trauma Emerg Surg. 2022. PMID: 36284017. doi:10.1007/s00068-022-02128-1
  2. 全文:PMC10175338(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10175338/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。