文献速递胸部技术与安全CTDR

人工智能用于基于影像的COVID-19检测:比较AI与人类读者附加价值的系统综述

Artificial intelligence for imaging-based COVID-19 detection: Systematic review comparing added value of AI versus human readers.
PubMed 文献 · Eur J Radiol · 2021-11-16

该系统综述遵循PRISMA-DTA指南,检索EMBASE、PubMed和Scopus数据库,最终纳入12项比较人类读者与AI模型或AI辅助人类读片诊断性能的研究。测试数据集中,人类读者敏感度为42-100%、AI系统为60-95%、AI辅助读片为81-98%;特异度人类读者为26-100%、AI系统为61-96%、AI辅助读片为78-99%。作者认为AI系统或AI辅助读片总体性能变异性较小,可能有助于在高流行率和有症状人群中鉴别COVID-19肺炎与其他肺炎,但研究设计、数据报告和偏倚风险的不一致性使明确结论复杂化。

要点

  • 测试数据集中AI辅助读片的敏感度中位数最高(91.3%),AI模型为85%,人类读者为71.1%。
  • 测试数据集中AI辅助读片的特异度中位数最高(91.1%),AI模型为86.5%,人类读者为85%。
  • AI系统或AI辅助读片在测试数据集中的性能变异性(IQR)总体低于人类读者。

核心结论

  • AI系统或AI辅助人类读片总体性能变异性较小,可能有助于在高流行率和有症状人群中鉴别COVID-19肺炎与其他肺炎。
  • 研究设计、数据报告、偏倚风险领域及统计分析局限性方面的不一致使明确结论复杂化。
  • 作者支持在发展研究设计的关键要素方面做出努力,以评估AI在诊断影像中的价值。

研究设计与样本

  • 系统综述遵循PRISMA-DTA指南,检索EMBASE、PubMed和Scopus数据库,检索日期为2020年11月30日,并通过数据库通知补充至2021年1月31日。
  • 初检1270项研究,最终纳入12项研究,其中7项以CT为主要成像方式,5项以胸部X线(CXR)为成像方式。
  • 所有纳入研究均应用深度学习模型,人类读者数量从2名到10名组成的小组不等,经验从不足5年到超过30年胸部影像经验。
  • 参考标准包括RT-PCR、读者间共识或两者兼有,部分研究参考标准使用细节不够详细。
  • 使用QUADAS-2工具评估偏倚风险,排除至少两个领域高偏倚风险的8项研究。

诊断标准与关键数值

  • 测试数据集:人类读者敏感度42-100%(n=9项研究),AI系统60-95%(n=10项),AI辅助读片81-98%(n=3项)。
  • 测试数据集:人类读者特异度26-100%(n=8项研究),AI系统61-96%(n=10项),AI辅助读片78-99%(n=2项)。
  • 测试数据集:人类读者AUC范围0.73-0.963(n=5项研究),AI模型0.80-0.97(n=10项),AI辅助读片AUC为0.966(n=1项)。
  • 验证数据集:人类读者敏感度49-100%(n=3项研究),AI模型71.2-96.3%(n=4项);人类读者特异度72-97.9%,AI模型57.9-89.2%(n=3项)。
  • 验证数据集:人类读者AUC范围0.61-0.802(n=2项研究),AI模型0.71-0.98(n=3项)。

临床应用与阅片要点

  • 测试数据集中AI辅助读片的敏感度中位数(91.3%)和特异度中位数(91.1%)均最高,AI模型分别为85%和86.5%,人类读者分别为71.1%和85%。
  • 测试数据集中AI辅助读片的敏感度IQR最低(8.8%),AI模型为11.3%,人类读者为22.3%;特异度IQR AI辅助读片为6.1%,AI模型为10.9%,人类读者为21.8%。
  • 一项研究报告AI辅助读片在评估肺部病灶负荷变化方面具有潜力,两项研究提示AI检测可能节省时间。
  • Wang等研究中AI辅助分诊在每所医院均改善扫描至发热门诊分诊效率,不同医院分诊时间中位减少18.77至198.28分钟。
  • Wehbe等报告AI分析数据子集约需18分钟,而每位放射科医生约需2.5-3.5小时。

局限性

  • 研究设计、数据收集和患者选择标准存在较大异质性,包括COVID-19阳性患者纳入标准和影像相关特征不同。
  • 大多数研究未完整报告按数据集分层并区分人类读者、AI模型和AI辅助读片所有场景的全部性能指标。
  • 方法和选择标准存在较大异质性,包括患者特征、样本量及患者细节分层水平。
  • COVID-19组与非COVID-19肺炎组基线特征存在重大差异,可能引入选择偏倚,性别和年龄不平衡,年轻男性比例过高。
  • 部分以CT为重点的研究某些数据集样本量较小,主要为验证集和早期COVID-19患者;图像质量、采集和后处理参数变异使患者人群相关局限性进一步复杂化。
全文中译19 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur J Radiol. 2021 Dec;145:110028. doi: 10.1016/j.ejrad.2021.110028

引言

近年来,医学影像领域在人工智能(AI)方法的应用方面取得了快速进展,尤其是机器学习(ML)和深度学习(DL)[1]。AI系统在与疾病诊断和检测相关的图像识别任务中取得了进步,从而模拟了专家的数据解读能力[2]。近期研究表明,针对特定疾病的AI支持影像技术的诊断性能与医学专家相当[3]。

根据世界卫生组织(WHO)的数据,截至2021年11月3日,全球新冠肺炎确诊病例超过2.47亿例,该大流行已在全球造成超过500万人死亡[4]。新冠肺炎的诊断主要基于逆转录聚合酶链反应(RT-PCR)检测,但检测试剂盒的可及性、检测可靠性和检测周转时间等问题在许多国家持续存在。用于分诊和检测新冠肺炎疑似患者的额外快速、低成本且易于扩展的工具至关重要[5]。新冠肺炎大流行推动了该研究领域的显著发展,临床界对此寄予厚望,因此有必要对当前关于AI方法支持新冠肺炎肺炎准确、快速检测潜力的证据进行综述评估。然而,由于影像学差异细微,尤其是在无症状患者和症状早期患者中,准确区分新冠肺炎与其他病因的肺炎仍然具有挑战性[5]。

我们对使用AI评估肺部影像以支持新冠肺炎检测的同行评审文献进行了系统综述,并比较了所选AI系统与人类阅片者之间的结果,或AI辅助阅片与仅人类阅片之间的结果,以全面了解已发表证据的现状。据我们所知,这是迄今为止关于该聚焦主题的首篇已发表系统综述。由于相关结果报告存在较大异质性,信息不适合进行定量数据分组或荟萃分析。因此,我们将研究聚焦于以下目的:(a)首先,比较已发表研究中的证据,这些研究使用AI方法支持肺部影像中的新冠肺炎检测,并包含人类阅片者与AI模型性能值之间或人类阅片者与AI辅助阅片之间的比较要素;(b)其次,考察不同研究之间结果报告的一致性;(c)最后,根据标准评估工具评估已发表研究的偏倚风险。

材料与方法

检索策略与选择标准

我们的系统综述按照诊断试验准确性系统综述与荟萃分析优先报告条目(PRISMA-DTA)进行,包括相关清单[6],[7]。我们采用了约克大学综述与传播中心医疗保健综述指南中概述的系统综述方法,特别关注临床检验系统综述指南[8]。

相关人群包括COVID-19肺炎阳性患者与那些有其它肺炎症状但COVID-19检测为阴性的患者。干预或指数测试为影像学检查,由人工智能(AI)和人类阅片者共同评估。作为对照或参考标准,当前实践中最常用的是阳性PCR检测,但在某些情况下,这些检测得到放射科医生发现和临床共识的支持。我们关注与支持COVID-19检测相关的结局指标,比较AI与人类阅片者,即每位患者的敏感性、特异性及相关值,如AUC(受试者工作特征曲线下面积)。我们还探索了其他结局,如诊断所需时间。

我们的综述仅纳入经过同行评审的研究。纳入的研究必须聚焦于利用肺部影像学模态支持COVID-19检测,并应用AI方法分析影像学结果,包括机器学习和深度学习。此外,研究必须包含人类阅片者与AI模型的比较,或人类阅片者与AI辅助阅片的比较,并至少报告与敏感性和特异性相关的结局,但理想情况下还应报告进一步的结局指标。我们排除了不聚焦于COVID-19肺部影像学的研究,例如使用离体成像和病理学研究,以及聚焦于分割、特征提取、治疗、生存和疾病风险预测方面的研究(见附录表1的完整选择标准列表)。

我们对文献进行了系统检索,包括EMBASE、PubMed和Scopus数据库,检索2019年1月1日起发表的英文论文(见附录表2的检索式)。检索于2020年11月30日执行。通过数据库自动通知,根据我们的检索词识别出截至2021年1月31日的新发表论文作为补充。检查了所有纳入论文的参考文献列表,以识别和纳入任何其他潜在研究。

两位评审者独立按标题和摘要对引文进行筛选,分歧通过共识解决。系统检索中识别的引文上传至EndNote文献管理软件,重复项被自动删除。

质量评估

两名评价者获取了纳入论文的全文版本,并使用QUADAS-2工具独立评估其方法学质量,该工具已根据系统评价目标进行了调整(见附录表3中信号问题的概述)。任何分歧均通过评价者之间的讨论解决。QUADAS-2是推荐用于系统评价中以评估诊断准确性研究偏倚风险的评价工具[9]。QUADAS-2由以下四个领域组成:患者选择、索引试验、参考标准和流程与时机。我们使用了一个额外的数据管理领域,并使用相关信号问题评估了所有五个领域的偏倚风险。虽然QUADAS-2不旨在生成总体评分,但该工具根据所评估的领域突出显示高、中或不确定的偏倚风险。我们在系统评价的最终分析中排除了在至少两个领域中具有高偏倚风险的研究。此外,一名评价者评估了所有可用数据集中应用的统计分析方法,纳入论文中在适当情况下报告了性能指标。

数据分析

两名评价者提取了每篇论文的以下研究特征信息,包括:研究类别、成像模态、成像所在国家、人类读者的经验、原始研究中的选择标准、所使用的参考标准和关于盲法的信息,以及不同数据集的样本量和验证类型(表1a)。此外,还提取了关于AI方法和数据来源的信息,以及数据采集时间段(表1b)。连同原始研究作者的原始结论,在适用情况下提取了以下按患者计算的结果数据:灵敏度、特异度、准确度、阳性预测值、阴性预测值和AUC的值。在标明的情况下,还提取了阅读速度和潜在时间节省的其他数值(表2)。

表1a 研究特征。 查看原表 ↗
表1b AI方法和数据来源概述。 查看原表 ↗
表2 结果。 查看原表 ↗

结果

检索策略于2020年11月30日共识别出1261篇文章,截至2021年1月31日通过同一检索的数据库通知又识别出另外六项研究。总体而言,筛选了771篇文章以确定是否符合选择标准。共有20项符合这些标准的研究使用QUADAS-2工具进行了偏倚风险评估[5], [10], [11], [12], [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28]。八项在至少两个领域中具有高偏倚风险评级的研究被排除(图1,附录表3)。共有12项研究纳入我们的系统评价[5], [16], [17], [18], [20], [21], [22], [23], [24], [26], [27], [28]。(研究选择见附图2,PRISMA-DTA清单见附录表4,统计分析信息见附录表5)。

图1 (a) 纳入研究的QUADAS-2评估结果。图例:纳入研究的QUADAS 2评估结果,表示相关领域的偏倚风险为低(绿色)、高(橙色)或不明确(蓝色)。(b) 排除研究的QUADAS-2评估结果。图例:排除研究的QUADAS 2评估结果,表示相关领域的偏倚风险为低(绿色)、高(橙色)或不明确(蓝色)。(关于本图例中颜色引用的解释,读者请参阅本文网络版。) 查看原图 ↗
图2 研究选择。 查看原图 ↗
图3 总体结果可视化。图例:红色表示“人工智能表现更优”,蓝色表示“人类阅片者表现更优”,橙色表示“人类阅片者在人工智能支持下表现提升”,灰色表示“人工智能与人类阅片者在鉴别COVID-19方面表现相当”,绿色表示“人工智能与人类阅片者在病灶变化方面表现相当”,无色及“n.a.”表示“比较中的数值未标明”(关于本图例中颜色引用的解释,读者请参阅本文网络版。) 查看原图 ↗

研究特征

我们发现七项研究使用计算机断层扫描(CT)作为主要成像方式[16], [22], [23], [24], [26], [27], [28],其余五项研究聚焦于胸部X线(CXR)成像[5], [17], [18], [20], [21]。(研究特征详见Table 1a)。所有研究的人工智能方法均应用了深度学习(DL)模型,包括神经网络(Table 1b)。在大多数四项研究中,中国被标注为成像采集所在国家[23], [24], [27], [28],两项研究使用了来自中国和美国的成像数据[16], [23]。就数据来源而言,成像数据被认为来自不同地理区域,其中两项研究聚焦于美国患者[17], [18],两项研究来自荷兰[20], [26],一项研究来自意大利[21],一项研究来自香港[5]。

各研究在研究设计、数据收集和患者选择标准方面存在相当大的异质性,即在选择COVID-19阳性患者的纳入标准及所需成像的相关特征方面不同,以及自动评估评分和亚组分析的使用方面也不同。

对于纳入论文中所标明的参考标准,三项研究使用RT-PCR [20], [21], [28],三项研究应用阅片者之间的共识结果[13], [16], [18],两项研究提供了上述两种方案的结果值[17], [19],四项研究中参考标准的使用未充分详细说明,但包括了上述内容(见Table 1a)[5], [23], [26], [27]。所有研究均基于经RT-PCR或核酸扩增检测(NAAT)确诊的患者选择。人类阅片者总数从两名阅片者到十人小组不等,从业水平从少于五年[26]到超过30年胸部成像经验[20]不等。

在十项研究中,各种医院、学术中心和诊所被指明为数据来源[16]、[17]、[18]、[21]、[22]、[23]、[24]、[26]、[27]、[28]。两项研究使用了来自公开可用数据库以及医院的数据混合[5]、[20]。总体数据集中使用的总患者数量差异很大,从216例到25,146例患者不等。以CXR作为成像方式的研究通常样本量较大。所有研究均使用了区分化的数据集进行训练、测试和验证(表3)。十项研究提供了测试数据集的性能测量值,报告了15种不同的样本量,介于18至2,193例患者之间[16]、[17]、[18]、[20]、[21]、[22]、[23]、[24]、[26]、[27]。四项研究报告了验证的值,样本量介于18至910例患者之间[5]、[22]、[23]、[27]。三项研究提供了外部验证的性能测量值[22]、[23]、[27],一项研究提供了独立内部验证的性能测量值[5]。

在12项研究中的8项中,患者特征中男性比例较高[16]、[20]、[21]、[23]、[24]、[26]、[27]、[28],男性占总患者数的54%至59%[28]、[23],用于训练的特定数据集高达65.8%[24]。三项研究报告男性和女性数量相等[5]、[18]、[22];一项研究显示患者特征中女性比例较高,为53%[17]。

各研究报告的年龄值方式不一。三项研究报告了总患者人群的平均年龄[17]、[20]、[28],范围从40.7岁[28]至58岁[17]。三项研究报告了COVID组和非COVID组的平均年龄[14]、[16]、[19],其中一项研究显示COVID组平均年龄较年轻,为48岁,而非COVID组为62岁[16],两项研究报告两组年龄较为均衡[18]、[21]。

表3 用于统计分析的数据集概述。 查看原表 ↗

性能结果

我们聚焦于126个场景的性能数据,在12项研究中报告了敏感性(118项报告了特异性),在11项研究中报告了65个场景的AUC值,应用我们将类别分为人类阅片者、AI模型和AI辅助人类阅片的分组,如图4所示。(不同数据集的比较见图5,定量结果概述见表4)。

图4 性能概述森林图。 查看原图 ↗
图5 性能概述比较箱线图。 查看原图 ↗
表4 统计分析结果概述(最小值/最大值、中位数、IQR)。 查看原表 ↗

总体发现

关于总体结论,如12项原始研究的作者所声称,六项报告了AI模型的诊断性能与人类阅片者相当,其中三项聚焦于CT[26]、[27]、[28],三项以CXR作为成像方式(图3和表2)[17]、[20]、[21]。另外两项使用CXR的研究表明其AI模型优于人类阅片者[5]、[18]。与仅使用阅片者的方法相比,三项研究报告AI增强使用CT作为成像方式改善了人类阅片者的性能[16]、[23]、[24]。一项研究报告了AI系统辅助放射科医师评估成对CT扫描中肺部病变负荷变化的阳性结果,AI模型的性能与人类阅片者相当[22]。

敏感性

测试数据集

其中十项研究报告了人工阅片者的灵敏度为42–100%,人工智能(AI)模型为60–95% [16], [17], [18], [20], [21], [23], [24], [26], [27], [28]。三项研究考察了AI辅助人工阅片,灵敏度值为81%至98% [16], [23], [24]。灵敏度中位数以AI辅助人工阅片最高(91.3%),AI模型(85%)和人工阅片者(71.1%)观察到的值较低。上述研究的四分位距(IQR)以AI辅助人工阅片(8.8%)和AI模型(11.3%)最低,人工阅片者较高(22.3%)。

验证数据集

其中三项研究报告了人工阅片者的灵敏度为49–100% [5], [22], [27],四项研究指出AI模型的范围为71.2–96.3% [5], [22], [27]。未提供AI辅助人工阅片的值。灵敏度中位数AI模型(79.4%)高于人工阅片者(64.2%)。上述研究的IQR AI模型(14.8%)低于人工阅片者(46.4%)。

特异度

测试数据集

八项研究报告了人工阅片者的特异度为26–100% [16], [17], [18], [20], [21], [23], [26], [28],而十项报告了AI模型的值为61–96% [16], [17], [18], [20], [21], [23], [24], [26], [28]。两项研究考察了AI辅助人工阅片,特异度值为78%至99% [16], [23]。特异度中位数以AI辅助人工阅片最高(91.1%),AI模型(86.5%)和人工阅片者(85%)观察到的值较低。上述研究的IQR以AI辅助人工阅片(6.1%)和AI模型(10.9%)最低,人工阅片者较高,为21.8%。

验证数据集

其中三项研究报告了人工阅片者的特异度为72–97.9%,AI模型为57.9–89.2% [5], [22], [27]。未提供AI辅助人工阅片的值。特异度中位数AI模型为81%,人工阅片者为82.2%。上述研究的IQR AI模型(9.6%)低于人工阅片者(18.7%)。

AUC值

测试数据集

其中五项研究报告了人工阅片者的AUC范围为0.73–0.963 [17], [18], [20], [24], [28],十项研究指出AI模型的范围为0.80–0.97 [16], [17], [18], [20], [21], [22], [23], [26], [28]。一项研究考察了AI辅助人工阅片,报告AUC为0.966 [24]。AI模型的中位值为0.92,人工阅片者为0.85。上述研究的IQR人工阅片者为0.07,AI模型为0.09。

验证数据集

两项研究报告了人工阅片者的AUC范围为0.61–0.802 [5], [27],三项研究指出AI模型的值为0.71–0.98 [5], [23], [27]。未提供AI辅助人工阅片的值。AUC中位值AI模型(0.87)高于人工阅片者(0.64)。上述研究的IQR AI模型(0.05)低于人工阅片者(0.121)。

测试数据集与验证数据集之间的性能比较

在测试数据集和验证数据集之间,只有AI模型和人工阅片者的场景具有可比性。AI辅助阅片显示出最高的中位数,总体而言,敏感度、特异度和AUC值的中位数在测试数据集中更高。敏感度的四分位距(IQR)在测试数据集中总体较低,而特异度的四分位距则具有可比性。仅在两项研究中具有可比的数据集(涉及测试和外部验证)中,测试数据集的中位数更高,显示外部验证中整体性能下降(图5 j)。

时间节省

在Wang及其同事的研究中,AI辅助分诊改善了每所医院的从扫描到发热门诊医生分诊的效率,不同医院的分诊时间中位数减少幅度在18.77至198.28分钟之间[22]。Wehbe及其同事报告,使用AI分析一个数据子集所需时间约为18分钟,而每位放射科医生约需2.5–3.5小时[17]。

讨论

我们的研究显示了AI辅助检测COVID-19影像的可喜性能结果,特别是比较了AI和人工阅片者的性能,然而这些结果需要在偏倚风险的背景下进行解读。如表4所示,测试数据集中所有性能值的中位数总体上以AI辅助人工阅片最高,其次是AI模型,然后是单独的人工阅片者。然而,单独的人工阅片者在测试数据集中达到了最高最大值,但也达到了最低最小值,后者在特异度方面尤为显著。以四分位距(IQR)为核心的诊断性能变异性在AI系统或AI辅助阅片中总体较低。此外,一些研究报告了AI模型节省时间的优势,详见表2。关于AI加快分析速度的报告还包括AI辅助分诊,与不同诊所的标准临床工作流程相比,分诊时间更快。值得注意的是,这暗示了一种理想场景,即临床医生会即时响应AI通知,从而可能缩短诊断时间,对受影响患者的隔离和治疗带来多重益处[22]。

在验证数据集中,与测试数据集相比,中位数相关性能总体下降,如图5所示。然而,对所有研究中相同性能指标进行详细分析较为困难,因为大多数研究并未完整报告所有性能指标,且未按数据集进行分层,也未区分人工阅片者、AI模型和AI辅助阅片的所有情景。与性能指标相关的零散报告详见补充附录表5。值得注意的是,所应用的方法学和选择标准存在较大异质性,包括患者特征和样本量,以及患者细节分层水平(见表1a和1b)。本综述中的大多数研究侧重于将COVID-19肺炎与其他类型肺炎进行区分,显示影像学作为补充诊断手段的潜在附加价值,尤其是在快速准确报告和早期识别潜在感染的COVID-19患者方面。然而,各研究在评估这些优势的方式上存在差异,即通过比较AI与人工阅片者以及AI辅助阅片[16], [23], [24]与仅人工阅片[5], [17], [18], [20], [21], [22], [26], [27], [28]的对比。各研究在亚组分析策略以及训练集、(外部)测试集和(外部)验证集的划分方面也采用了不同策略。为确保最终结果的稳健性,未来研究应清晰描述所有数据集在训练、测试和验证中的划分,而不仅是其中部分子集(即仅训练集和验证集)。此外,相关患者特征的记录应在所有数据集中一致应用。人工阅片者情景采用了多种不同方法,包括不同经验水平以及不同阈值和截断点(见图4)。情景的异质性同样适用于AI模型,各研究报告了不同的模型类型、设计特征、分类器和参考标准。由于不同研究在研究方法和分析中所采用的这种异质性以及由此导致的可比性缺乏,难以就AI改善性能指标作出可靠结论。COVID-19患者组与非COVID-19肺炎患者组之间的基线特征也存在重大差异,引入了可能的选择偏倚,表现为性别和年龄的不平衡,年轻男性过度代表,还包括同一研究内不同数据集之间的差异,如表1a所示。此外,不同队列患者特征详细信息的报告方式各异,例如关于可能处于免疫抑制状态的患者信息有限。

值得注意的是,一些以CT为重点的研究在某些数据集上样本量较小——主要是验证集[23]、[27]以及早期COVID-19患者。正如我们的QUADAS-2评估所示,图像质量的变化以及图像采集和后处理参数的异质性使与患者人群相关的局限性进一步复杂化。未来的研究应侧重于用来自更多人群和地理区域的数据来测试AI模型。影像数据还应包括更多与所有种族相关的数据和信息,而不限于白种人和亚洲人种[21],以及老年患者,并具有更平等的性别代表性,以便进一步推广。为了评估和验证AI模型的稳健性,需要使用更大的多中心数据集进行训练并进行一致的外部验证,还需要更多的前瞻性研究数据和评估[26]、[29]。

对于归因于AI模型或AI辅助判读的令人鼓舞的性能结果,应谨慎对待过于积极的解读,因为由于若干潜在混杂因素,存在高估结果的风险。因此,Chiu及其同事讨论了使用RT-PCR作为训练模型的金标准可能无法反映AI系统的真实性能,因为据报道RT-PCR的假阴性率高达30%[5]。此外,AI系统可能容易“学习”数据集特征而非疾病分类,例如通过引入一种被称为“捷径学习”的偏倚[30]。在这些情况下,模型可能依赖于与疾病病理的正确对象分类无关的特征,而是依赖于背景中的差异,例如所获得图像中的文本标记,例如与患者体位相关的标记[31]。另一个值得关注的方面与AI的内在特征有关,特别是其“黑箱”特性:很难排除算法在鉴别COVID-19时使用了肺部以外的发现[5]。黑箱问题强调了人类判读者的另一个价值,即结果难以解释[27]。此外,需要人工分析来排除可能导致检测COVID-19时出现错误的运动伪影[26]。

我们的QUADAS-2分析强调,未来研究需要解决可能的偏倚风险,特别是明确需要充分且一致地描述患者选择和研究人群描述。其他需要关注的方面包括:关于指数试验使用、参考标准以及两者之间的流程和时间的明确信息。在影像学背景下,需要详细描述影像采集和处理方法。此外,明确描述数据来源也很重要。对研究中应用的统计方法进行分析后,发现了进一步的方法学问题,例如对所有性能值不一致地使用95%置信区间,或使用p值来解释缺乏显著性,如补充附录表5所示。我们发现,在比较AI系统与人类读者性能所应用的方法方面存在相当大的局限性。例如,样本量的选择会强烈影响性能测量,而只有一项研究分析了无法获得性能增益的阈值[18]。几项研究未一致应用一致性指数,而是使用读者性能的平均值。为实现适当的评分者间一致性,研究应关注一致性而非相关性指数[32],[33]。此外,未来的统计分析应一致地分析疾病患病率,例如通过使用阴性预测值和阳性预测值参数,以及阳性和阴性似然比来减少关于诊断试验有效性的不确定性[34],而后者仅在12项研究中的一项中有报告[21]。通过这种方式,可以确保对AI支持的基于影像的COVID-19检测在高流行人群之外的整体价值进行有意义的分析。

未来研究需要解决AI方法学在透明度、可重复性、伦理和有效性方面的关切,以及AI研究的具体报告标准[35]。这包括关注方法学连贯使用所需的关键要素,包括研究设计、对数据集和患者特征的清晰描述,以及一致应用评估方法来分析潜在的偏倚风险。

我们承认本研究中存在某些局限性。我们仅纳入了已发表文献中以英文发表的同行评审研究,这可能增加发表偏倚影响我们研究结果的可能性。我们未评估所报告研究中应用的AI和DL方法的方法学,这可能进一步影响偏倚风险。重要的是,由于研究的方法学和结果存在较大异质性,我们无法对本综述纳入的研究进行荟萃分析,从而无法就AI与人类读者的合并诊断准确性得出结论。

结论

虽然我们的系统综述纳入的研究报告了人工智能(AI)令人鼓舞的结果,但需要在COVID-19严重程度、人群中总体疾病患病率以及所应用研究方法学的若干偏倚风险的背景下看待这些结果。对于早发型患者以及无症状或轻症患者,影像学的表现可能并不令人满意。因此,AI支持的影像学在高患病率地区最有前景,并可作为一种支持工具用于快速诊断,以便在分诊环境中优先识别疑似患者[17],[21],[28]。与此同时,人类阅片者的参与仍然至关重要。

我们的研究识别并强调了几项数据报告和呈现方面的不一致、所应用研究方法和评估方法的异质性、某些偏倚风险领域(例如选择偏倚、“捷径学习”偏倚)以及统计分析方面的局限性。

虽然我们的研究显示了AI模型在COVID-19影像学诊断决策方面总体上具有令人鼓舞的潜力,但这只能由未来研究加以证实,这些研究需要采用改进且协调统一的总体方法学,以使结果具有可靠的普遍适用性。在此背景下,我们支持努力开发和未来实施一套关于研究设计和评估方法学的方法学“关键要素”,以促进数据汇总、可比性以及关于基于AI的影像系统对诊断决策可能附加价值的结论。

利益冲突声明

作者声明不存在利益冲突。

引用

  1. Kriza C, Amenta V, Zenié A, et al. Artificial intelligence for imaging-based COVID-19 detection: Systematic review comparing added value of AI versus human readers. Eur J Radiol. 2021. PMID: 34839214. doi:10.1016/j.ejrad.2021.110028
  2. 全文:PMC8594127(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8594127/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。