用于COVID-19胸部CT的人工智能算法的泛化能力是否足以临床使用?国际COVID-19影像人工智能联盟(ICOVAI)的结果
ICOVAI模型基于多中心1286例CT开发,用于量化病变范围和预测CO-RADS,并在400例多中心外部数据上由独立研究者验证。内部测试与外部验证相比,肺部感染性磨玻璃影分割DSC从0.76降至0.59(p<0.0001),CO-RADS线性加权kappa从0.78降至0.62(p<0.0001),肺轮廓分割DSC均为0.97。模型泛化能力有限,限制了其临床使用潜力,凸显独立外部验证的重要性。
要点
- 肺轮廓分割在内部与外部测试均优秀(DSC均为0.97),不受外部验证影响。
- 感染性磨玻璃影分割外部验证DSC 0.59,显著低于内部0.76(p<0.0001),对离散磨玻璃影敏感性较低。
- CO-RADS预测外部验证线性加权kappa 0.62,显著低于内部0.78(p<0.0001),模型泛化受限。
核心结论
- 多中心开发的ICOVAI模型在独立外部验证中,感染性肺磨玻璃影分割和CO-RADS预测性能较内部测试显著下降,泛化能力有限,限制了其临床使用潜力。
- 研究强调了对AI模型进行独立外部验证的重要性,内部测试结果可能无法很好泛化到外部数据。
研究设计与样本
- 研究为多中心开发与独立外部验证研究,开发数据集共1286例CT扫描(来自1266名唯一患者),其中1092例有RT-PCR结果(580阳性、512阴性),另加入194例国家肺癌筛查试验CT作为阴性对照。
- 外部验证数据集为回顾性收集自欧洲5家不同医院的400例成人胸部CT,排除25例后余375例,最终分析374例(AI流程排除1例)。
- 模型由ResUNet-a架构分割肺轮廓和感染性磨玻璃影,随后用随机森林分类器预测CO-RADS评分;参考标准为RT-PCR(影像7天内)及放射科医生CO-RADS共识判读。
- 外部验证由独立研究者执行,CO-RADS由两名读者判读,不一致时由第三名放射科医生共识判读;分割由技术医师和放射科医生完成并复核。
关键影像表现/征象
- 外部验证中,ICOVAI模型对离散磨玻璃影敏感性较低,仅标记明显的磨玻璃影,而真实标注包含更大范围的离散磨玻璃影。
- 模型在若干病例中产生假阳性分割,将肺底后部正常密度增高、肺不张或纤维化等非感染性病变标记为感染性磨玻璃影。
- 肺轮廓分割在广泛磨玻璃影病例中表现良好至优秀,但在大片实变时外周部分可出现假阴性分割。
- 一例55岁患者双肺小胸膜下磨玻璃影(典型COVID-19,CO-RADS 5,RT-PCR确诊)被模型误分类为阴性(CO-RADS 1)。
- 一例70岁ICU患者右上叶感染性实变,其他肺叶因通气不足密度增高,非典型COVID-19表现(CO-RADS 2),被模型误分类为CO-RADS 5。
诊断标准与关键数值
- 内部测试:感染性磨玻璃影分割DSC 0.76、敏感度0.79;肺轮廓分割DSC 0.97、敏感度0.97;CO-RADS分类线性加权kappa 0.78(未加权0.58,二次加权0.89)。
- 外部验证:感染性磨玻璃影分割mDSC 0.59、敏感度0.63,中位DSC 0.48;肺轮廓分割mDSC 0.97、敏感度0.98,中位DSC 0.97;CO-RADS分类线性加权kappa 0.62(未加权0.41,二次加权0.75)。
- 内部测试与外部验证比较:感染性磨玻璃影分割性能外部显著低于内部(p<0.0001);CO-RADS分类一致性外部显著低于内部(p<0.0001);肺轮廓分割DSC内部0.97 vs 外部0.97(p=0.97)。
- 内部测试读者间一致性:所有读者对(n=4895组合)Cohen's kappa未加权0.48、线性加权0.72、二次加权0.85。
临床应用与阅片要点
- AI模型在内部测试中与放射科医生CO-RADS一致性达线性加权kappa 0.78,但外部验证降至0.62,阅片时不应假定内部性能可外推至本院数据。
- 模型对离散磨玻璃影敏感性较低,且可将肺底后部正常密度增高、肺不张或纤维化误判为感染,阅片时需结合原始图像复核AI分割结果。
- 模型在广泛磨玻璃影时肺轮廓分割良好,但大片实变时外周部分可出现假阴性分割,报告时应关注实变边缘。
局限性
- 患者采用便利抽样选择,可能引入选择偏倚;内部数据集包含来自国家肺癌筛查试验的对照,与目标人群不符,后通过平衡的外部数据集独立验证来减轻。
- CO-RADS易受观察者间变异影响,因此是不完美的参考标准;内部数据集中所有读者CO-RADS分类不一致的病例被排除,可能引入偏向较简单病例的偏倚;外部数据集的不一致通过共识解决。
- 未评估COVID-19分割的观察者间变异,因此无法确定ICOVAI模型是否与放射科医生之间的一致性足够接近。
全文中译16 节 · 点击展开
引言
基于人工智能(AI)对用于2019冠状病毒病(COVID-19)评估的影像学检查进行分析已被广泛研究[1]。在疫情期间,已开发了多种深度学习模型,旨在协助放射科医师解读和报告COVID-19患者的胸部CT扫描。
胸部CT扫描上受累肺组织的体积定量已被证明与COVID-19的疾病严重程度相关[2–6]。由放射科医师手动勾画肺部异常耗时且费力,因此在临床实践中并非常规进行。受累肺组织的自动分割可以方便地实现,从而使定量分析的临床采用成为可能。
为规范胸部CT扫描的报告,引入了COVID-19报告和数据系统(CO-RADS)[7]。该分级系统包括五个疾病概率递增的类别,从阴性(CO-RADS 1)到COVID-19的典型影像学表现(CO-RADS 5)。CO-RADS已显示出合理至非常好的诊断性能和观察者间一致性[7–10]。应用机器学习技术来自动化CO-RADS分类可能有望改善观察者间一致性,尤其是对于经验较少的阅片者。此外,这种自动化分析可以在临床医生有机会阅读CT扫描之前进行,确保在解读时CO-RADS分类和体积定量已经存在。如果自动评估足够准确,这可能有望带来更高效的临床工作流程。
在考虑将任何AI应用用于广泛临床使用之前,应进行模型的外部验证[11]。在Roberts等人的系统综述中,通过其质量检查的37篇关于COVID-19影像分析的深度学习论文中,只有8篇(22%)完成了外部验证[12]。这对于COVID-19影像中的AI应用可能尤其令人担忧,因为这些研究中报告了若干方法学缺陷和偏倚[12]。作者强调了在规模适当、精心整理的数据集上进行外部验证以评估AI模型泛化能力的重要性,确保其能很好地推广到未见过的独立数据。
本研究旨在使用多中心数据开发并独立验证一个由胸部CT上的COVID-19分割和可能性估计(CO-RADS)组成的AI模型。
材料与方法
国际COVID-19影像AI联盟(ICOVAI)
在COVID-19疫情的初期阶段,存在对胸部CT扫描进行准确高效分析的需求。ICOVAI的成立正是为了满足这一需求。该合作由欧洲多家医院和行业合作伙伴组成。该联盟旨在遵循良好实践指南,开发一种用于临床的基于AI的定量和CO-RADS分类工具。这些原则包括高质量多样化数据和多名专家阅片者进行数据标注。
数据收集
ICOVAI联盟纳入了一个疑似COVID-19肺炎并接受胸部CT检查的国际多中心患者队列。用于模型创建的数据集由n = 1092例具有COVID-19逆转录聚合酶链反应(RT-PCR)检测结果的患者CT扫描组成(n = 580阳性,n = 512阴性),见图1。数据于2019年12月至2020年5月期间通过十家参与机构收集(表1)。男性(n = 545)与女性(n = 547)比例为1:1。为平衡数据集,从国家肺癌筛查试验中增加了n = 194例CT扫描作为阴性对照样本。合并后,总数据集产生来自n = 1266名唯一患者的n = 1286例CT扫描。
用于外部验证的独立测试数据集从欧洲五家不同医院回顾性收集(表2)。该队列包括n = 400例在2020年2月至2020年5月期间因疑似COVID-19肺炎或分诊而接受胸部CT检查的成年患者。排除25例患者,原因包括严重呼吸或运动伪影(n = 9)、吸气不足(n = 9)、低分辨率(n = 2)或DICOM数据或临床信息缺失(n = 5)。排除后,剩余n = 375例唯一患者的CT扫描,平均年龄61.1岁(SD 16.8),男女比例为1.1:1。大多数患者在成像时表现出呼吸道感染症状(n = 332,88.5%)。以成像后7天内进行的RT-PCR检测作为参考标准,n = 363例患者(96.8%)可获得该检测结果。可获得的RT-PCR检测结果中,n = 181例患者为阳性,n = 182例患者为阴性。
数据标注
ICOVAI模型:多名放射科医师使用CO-RADS方案独立分类所有CT扫描(n = 1286)(n = 1058由三名读者分类,n = 228由两名读者分类)。共排除409例因不一致的病例,即所有读者给出不同的CO-RADS评分,最终得到877例CT扫描。训练集(n = 805)和内部测试集(n = 72)的分类标签分布见表3。
总肺体积和肺部磨玻璃影由医学生在n = 1060例CT扫描中手动分割,并由n = 15名放射科医师(2–23年经验)组成的团队审核。对于n = 905例,每例CT扫描由两名以上读者分割,之后对两个分割掩膜取平均值并取整。分割使用Veye Annotator(Aidence BV)完成。
外部验证:外部测试数据集(n = 400)由两名读者使用CO-RADS进行分类。每个病例读取两次:首先由放射科住院医师(F.G.,培训第四年)或放射科医师(L.T.,5年经验)读取,然后由认证胸部放射科医师(A.B.,8年经验或R.W.,6年经验)读取。在不一致或不确定的情况下,由第三名放射科医师(A.B.、R.W.或L.T.)进行共识判读。外部测试数据集的CO-RADS评分分布见表3。
总肺体积的分割由一名技术医师(K.G.L.)完成,并由一名放射科医师(L.T.)审核。此外,感染性肺部阴影的手工分割由一名放射科住院医师或放射科医师(F.G.、L.T.)完成,并由一名认证胸部放射科医师(A.B.、R.W.)审核。分割使用RVAI(Robovision BV)完成。
数据预处理
为将DICOM序列中的像素数据准备为AI模型的输入,对所有层面进行了五次插值,得到1.25 mm × 0.5 mm × 0.5 mm的体素间距。随后,对体素值进行缩放,使“肺窗”,即−1000至300 HU,对应于−1.0至1.0的范围,以保证数值稳定性。从生成的体积中提取轴位层面,并缩放至256 × 256像素的固定大小。
人工智能系统的设计
AI系统设计为通过两个同步运行的独立AI模型来勾画COVID-19感染区域并给出CO-RADS评分。首先,采用ResUNet-a架构[13]的卷积神经网络(CNN)以CT作为输入,返回两个分割掩膜,将CT扫描中的每个体素标记为感染性/非感染性和肺/非肺。用于分割的ResUNet-a架构包含若干调整(见补充信息)。
随后,使用基于树的集成模型预测CO-RADS评分。输入特征基于CNN的分割掩膜和相应的CT图像体素值构建。基于树的集成模型通过随机森林分类器(RandomForestClassifier,scikit-learn v.0.24.1)构建,设置如下:n_estimators = 300、max_depth = 48、min_samples_split = 12、max_features = 32,并采用“no majority”策略的随机过采样(RandomOverSampler,imblearn v0.8.1)。所有其他参数均为默认值。
统计分析
AI模型CO-RADS预测的性能通过加权Cohen's kappa评分(式1)进行评估,因为它考虑了预测偏差的程度。
其中w为混淆矩阵权重(线性情况见补充表S2),x为观测到的混淆矩阵值,m为基于机会一致的期望混淆矩阵值,n为类别数。
我们采用戴斯相似系数(Dice Similarity Coefficient,DSC)以两种方式量化真实标签与AI分割之间的重叠程度。首先,我们在每份个体CT扫描上基于真阳性(TP)、假阳性(FP)和假阴性(FN)计算DSC(公式1)。在此,我们报告DSC的中位数及其95%置信区间(CI)。然而,由于测试集中的RT-PCR阴性病例没有分割体积,DSC无法定义(除以0)。因此,DSC仅在RT-PCR阳性患者的CT扫描上计算。其次,为了将AI模型对RT-PCR阴性CT扫描返回的假阳性分割纳入分析,我们还纳入了“微戴斯相似系数”(micro Dice Similarity Coefficient,mDSC)。在此,TP、FP和FN分别乘以相应CT扫描的体素大小(mm³)。将各CT扫描的结果值求和,并通过公式2计算mDSC。该方法得出一个值,其中较大的分割体积对总分的影晌更大。为了分析分割体积之间的相关性,我们采用了Spearman相关性分析。对于统计检验,p < 0.05被视为显著。p值的计算见补充材料。
模型训练与部署
所得数据集基于随机分层拆分分为训练集(n = 971)和内部测试集(n = 89)。因此,两个集合中不同CO-RADS分类的比例大致相等。
分割模型使用训练集CT扫描中随机采样的切片进行训练。对切片应用了缩放、旋转、平移、镜像和添加噪声等操作以增强训练数据。采用随机梯度下降作为优化器,学习率为0.1,Nesterov动量为0.9。以DSC作为损失函数。AI模型使用Tensorflow(v2.3.2)进行开发和训练。
分类模型在805份CT扫描上训练,采用10折交叉验证。为应对类别不平衡,对少数CO-RADS分类评分进行了随机过采样。
为进行外部验证,AI模型部署在医院环境中,并在两块NVIDIA Quadro RTX 8000上执行推理。
结果
影像数据
对于ICOVAI数据集,CT制造商为GE(n = 424,33.0%)、Siemens(n = 499,38.9%)、Philips(n = 323,25.1%)、Toshiba(n = 37,2.9%)和未知(n = 3,0.2%)。更详细的采集参数见补充表S3。对于外部验证数据集,74.1%的患者(n = 278)在无静脉造影剂的情况下接受胸部CT扫描,25.9%的患者(n = 97)在有静脉造影剂的情况下接受扫描。CT制造商分布为GE占55.7%(n = 209),Siemens占44.3%(n = 166)。层厚范围为1.0至3.0 mm(平均1.5 mm)。
内部测试:读者间一致性
为报告使用CO-RADS进行分类的读者间一致性,分析了所有至少有两位读者评分的扫描。该分析还包括未能达成多数共识的扫描,共计1058份CT扫描。在所有读者对之间(n = 4895种组合),Cohen kappa评分分别为0.48(未加权)、0.72(线性加权)和0.85(二次加权)。
内部测试:AI性能
AI模型实现COVID-19分割的DSC为0.76,灵敏度为0.79。COVID的平均真阳性、假阳性和假阴性体积分别为228.9 mL、88.3 mL和59.1 mL。平均绝对误差为117.1 mL。
对于全肺分割,AI模型实现的DSC为0.97,灵敏度为0.97。COVID的平均真阳性、假阳性和假阴性体积分别为4433.9 mL、97.0 mL和137.1 mL。平均绝对误差为147.9 mL。
对于CO-RADS分类,AI模型实现的Cohen kappa评分分别为0.58(未加权)、0.78(线性加权)和0.89(二次加权)。混淆矩阵见表4。
外部测试:AI性能
ICOVAI模型流程排除了n = 1例,最终分析纳入n = 374例。对于COVID-19分割,AI模型在外部测试数据集上实现的性能为0.59 mDSC和0.63灵敏度,显著低于内部测试集上的性能(p < 0.0001)。COVID的平均真阳性、假阳性和假阴性体积分别为237 mL、197 mL和138 mL。平均绝对误差为142 mL(CI:81–246 mL)。所有COVID-19阳性CT扫描的DSC中位数为0.48。DSC评分的分布见图2A。AI模型分割体积与专家读者分割之间的相关性很强(spearman r = 0.83,p < 0.001);见图2B。
全肺分割在外部测试数据集上实现了0.97 mDSC和0.98灵敏度。COVID的平均真阳性、假阳性和假阴性体积分别为4.1 L、178 mL和80 mL。平均绝对误差为148 mL(CI:135–156 mL)。所有COVID-19阳性CT扫描的DSC中位数为0.97。图3显示了两例广泛磨玻璃影患者的全肺分割。
CO-RADS分类实现的Cohen kappa评分分别为0.41(未加权)、0.62(线性加权)和0.75(二次加权)。混淆矩阵见表5。图4显示了两例误分类示例。
外部测试:视觉判读
一名放射科医师(L.T.,5年经验)对外部测试集的分割结果进行了定性视觉检查。对于大多数病例,AI对感染性肺部磨玻璃影的勾画被判定为充分至优秀。与放射科医师生成的真实标签相比,ICOVAI模型对离散的磨玻璃影敏感性较低。在若干病例中,ICOVAI模型对非感染性肺部磨玻璃影(如肺不张或纤维化)产生了假阳性分割。
讨论
在这项多中心研究中,我们描述了ICOVAI模型的开发,并使用来自五个机构的数据进行了独立的外部验证。我们观察到,与内部测试相比,外部测试在肺部磨玻璃影分割和CO-RADS预测方面的性能显著下降,但肺轮廓分割未出现显著下降。
据我们所知,我们进行了首项上市前外部验证研究,使用大容量多中心数据独立评估了一种COVID-19影像AI解决方案的分割性能。我们的工作表明,已发表的COVID-19分割在内部测试集上的结果可能无法很好地推广至其他机构的患者数据。
外部验证可以揭示预测模型的缺陷,而这些缺陷在同一队列采样的CT扫描内部测试中并不明显。外部验证的重要性体现在越来越多的高影响力期刊要求所有预测模型在发表前进行外部验证[14]。此外,由略有不同的实验重复使用测试集可能导致“测试集过拟合”[15],即模型在某次实验中偶然很好地拟合了测试数据。我们通过外部验证解决了这些问题,即在外部地点使用无关数据集对模型进行一次测试。
所报道的COVID-19肺炎在内部与外部数据集上分割性能的差异可能部分由读者间变异解释。开发数据集标注者与外部数据集独立标注者标记为异常的肺区域可能有所不同,原因在于用于执行真实分割的不同标注平台上默认窗位设置的差异,导致标记肺密度的截断值不同(图2C)。
内部测试集与外部测试集之间CO-RADS评分的变化,在某种程度上可以通过选择偏倚来解释。对于内部数据集,当阅片者之间没有多数共识时,CO-RADS评分被排除,从而消除了“最难评估”的病例。这很可能也是AI模型的kappa评分高于阅片者间kappa评分的原因。当内部测试集上的结果优于真实标准时,可能正在发生测试集过拟合[15]。在这种情况下,外部验证可以更准确地反映AI模型真实的、经过检验的性能。
Lessmann等人先前的一项研究使用单中心数据训练了一个AI系统,利用CO-RADS对COVID-19的可能性进行评分[16]。他们发现观察者之间具有中等至较大程度的一致性,报告其内部测试集上的线性加权kappa为0.60,外部测试集上为0.69。在我们的多中心研究中,我们发现了相似水平的一致性(kappa值分别为0.78和0.62)。先前纳入外部验证的多中心研究主要集中于COVID-19与其他类型肺炎及正常肺部的二分类或三分类[17–22]。这些研究报告了在CT上识别COVID-19的高至卓越的受试者工作特征曲线下面积(AUC)(0.87–0.98)。然而,这些结果难以与我们的研究进行比较,因为我们的研究侧重于预测CO-RADS,这是一种更为复杂的多类别评估方案。此外,我们的外部验证由独立研究人员执行。类似地,Jungmann等人对四种商业AI解决方案进行了独立的外部验证,以区分COVID-19肺炎与其他肺部疾病[23]。他们发现所测试的模型具有较高的阴性预测值(82–99%),但认为只有一种解决方案具有可接受的灵敏度。四种解决方案的特异度高度可变(31–80%),阳性预测值较低(19–25%)。他们的研究仅限于评估二分类,未评估分割准确性。关于COVID-19患者肺部阴影的分割性能,Zhang等人的多中心研究在内部测试中达到了0.55–0.58的mDSC,与我们在外部验证中的发现相当[20]。其他已发表的研究报告了更高的肺部阴影分割DSC值。然而,大多数研究使用单中心数据、规模有限的数据集,或未进行外部验证[24–27]。
我们的研究存在若干局限性。首先,患者通过便利抽样选取,可能引入了选择偏倚。内部数据集包含了来自国家肺癌筛查试验的对照者,其与目标人群并不对应。这一问题通过使用平衡的外部数据集进行独立验证而得到缓解。其次,CO-RADS容易产生阅片者间变异,因此是一个不完美的参考标准。当所有阅片者对CO-RADS分类均存在分歧时,内部数据集中的病例被排除,这可以说导致了对较简单病例的偏倚。对于外部数据集,分歧通过共识解决。第三,未评估COVID-19分割的阅片者间变异。因此,我们无法确定ICOVAI模型是否合理接近放射科医师之间的一致性。
未来的人工智能开发者可能会受益于一个集中式的高质量参考图像库,以对其模型进行外部验证,这也有助于设定模型性能的基准。
结论
本研究使用一个外部多中心测试数据集独立评估了ICOVAI模型的性能。在内部和外部数据集中,总肺体积的分割表现均非常出色,即使在重症COVID-19肺炎患者中也是如此。与内部测试数据集相比,ICOVAI模型在外部测试数据集上对感染性肺部阴影的分割和CO-RADS分类的性能显著较差。结果表明ICOVAI模型的泛化能力存在局限性,从而限制了其临床应用的潜力。我们的研究证明了人工智能模型独立外部验证的重要性。
补充信息
ESM 1(DOCX 22.9 kb)
引用
- Topff L, Groot Lipman KBW, Guffens F, et al. Is the generalizability of a developed artificial intelligence algorithm for COVID-19 on chest CT sufficient for clinical use? Results from the International Consortium for COVID-19 Imaging AI (ICOVAI). Eur Radiol. 2023. PMID: 36651954. doi:10.1007/s00330-022-09303-3
- 全文:PMC9848031(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9848031/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。