基于人工智能的石棉肺诊断:石棉肺国家援助申请者数据库分析
本研究回顾性收集荷兰523例石棉肺国家援助申请者的胸部CT及肺功能数据,由三名呼吸科专家组成的评审小组判定是否符合资助标准。AI系统仅用CT预测评审结果,AUC达0.87;AI评分与DLCO联合后AUC提升至0.95。研究表明AI可辅助标准化评估流程,多中心前瞻性验证正在进行中。
要点
- AI系统基于胸部CT预测石棉肺资助申请是否被专家小组接受,AUC为0.87。
- AI评分与DLCO联合预测性能最优,AUC达0.95,优于单独AI或DLCO。
- AI概率位于0.35–0.6的不确定病例可提交专家小组进一步评估。
核心结论
- AI系统可利用胸部CT自动预测石棉肺国家援助申请的专家评审结果,联合DLCO后诊断性能优异。
研究设计与样本
- 荷兰多中心回顾性队列研究,纳入523例石棉肺援助申请者,最终419例用于AI开发,按80/20随机分为训练集263例、验证集64例和测试集88例。
- 参考标准为三名呼吸科专家组成的评审小组多数投票结果,组间一致性Krippendorff's alpha=0.65。
- CT扫描层厚中位数3 mm,电压中位数120 kVp,管电流中位数194 mA;AI系统包含肺定位、异常检测和分类三个模块。
关键影像表现/征象
- 石棉肺阳性病例的显著性图激活区域多于阴性病例,可见间质性肺病区域激活更明显。
- CT上间质性肺病表现轻微但肺功能严重下降的病例,AI预测为阴性,提示肺功能是此类病例评审的主要依据。
- AI预测与DLCO相关性弱(r-squared=0.22),二者可作为独立的预测因素。
诊断标准与关键数值
- 荷兰法定资助标准:CT(优选HRCT)显示纤维化覆盖肺面积>5%,存在肺功能损失,职业石棉暴露至少5纤维年。
- AI模型(软标签+异常热图)在测试集上AUC=0.87(95%CI 0.78–0.94),准确度0.82(0.74–0.90),敏感度0.76(0.62–0.88),特异度0.87(0.77–0.96)。
- AI+DLCO简单组合AUC=0.95(95%CI 0.89–0.98),准确度0.84(0.76–0.92),敏感度0.77(0.63–0.89),特异度0.91(0.81–1.00)。
- DLCO单独预测AUC=0.85(95%CI 0.80–0.89);FVC的AUC=0.63(95%CI 0.56–0.68);VC的AUC=0.67(95%CI 0.60–0.72);AMA分级AUC=0.83(95%CI 0.78–0.87)。
- AMA分级≥2视为肺功能损失足以符合资助标准。
临床应用与阅片要点
- AI概率低于0.35或高于0.60的明确病例可由一名呼吸科医生复核,0.35–0.60的不确定病例应提交多学科小组进一步评估。
- CT上纤维化程度与肺功能损失不匹配时,DLCO对最终判定有重要参考价值,不应仅凭影像表现排除石棉肺。
- AI模型对纤维化但非石棉肺的特定病例能正确分类,提示其鉴别能力具有一定稳健性。
局限性
- 本研究为回顾性验证,多中心前瞻性验证研究(PROSBEST,Trial NL9064)正在进行中。
- 因硬件限制对CT图像进行了降采样,可能模糊纤维化等细粒度结构。
- 部分肺功能参数缺失,各肺功能指标的效能基于略有不同的亚组计算。
- AI模型缺乏可解释性,显著性图仅指示关注区域,不足以解释接受或拒绝的具体原因。
全文中译17 节 · 点击展开
引言
石棉肺是长期(主要为职业性)暴露于石棉后出现的弥漫性肺纤维化[1]。许多国家已禁止在建筑和制造业中使用石棉[2]。然而,由于潜伏期长,许多(既往)暴露工人现在表现出石棉肺[3]。
有职业性石棉暴露的石棉肺患者可能有资格获得经济补偿[4]。获得补偿的标准因国家而异,尽管已进行国际标准化尝试[4–6]。标准化难以实现。专家之间对石棉肺赫尔辛基标准[6]的分歧[7, 8]阻碍了这一进程。在荷兰,法律规定的经济补偿标准如下:1)计算机断层扫描(CT)成像,最好为高分辨率CT(HRCT),纤维化覆盖肺面积> 5%;2)应存在肺功能损失;3)职业性石棉暴露至少五个纤维年(石棉暴露强度乘以职业年数的乘积[9, 10])。三名独立且经验丰富的呼吸科医师审查临床病例并说明最可能的诊断是否为石棉肺。多数票决定用于补偿的诊断。其他国家也遵循类似程序[11–13]。
这种法律驱动的诊断与临床多学科委员会会议驱动的诊断并不完全一致。此外,一个共同的局限性是评估者间变异性未知,导致最终裁决的质量和可重复性未知。这可能导致同一患者在不明病例中获得不同诊断。另一方面,明显病例仍由三名专家处理,而他们的努力本可在分析不明病例中产生更大影响。
我们假设基于人工智能(AI)的系统可以复现三名专家的评估。AI是一种从原始数据(例如CT扫描)中自动提取数据模式以预测感兴趣结局(例如呼吸科医师小组的决定)的方法。在本研究中,我们旨在开发和测试一个AI系统,以评估有石棉暴露记录的受试者的申请,并确定他们是否有资格获得经济支持。如果AI对其预测确定,一名呼吸科医师可能足以核实AI评估。当AI不确定时,可以分配更多呼吸科医师处理不明病例。由此产生的AI算法评估资格,并可在多个中心统一实施,从而提高处理经济支持申请的一致性。
材料与方法
数据集
我们对荷兰石棉受害者研究所(IAS)和荷兰癌症研究所(NKI;阿姆斯特丹/荷兰)在2014年5月至2019年11月期间收集的前瞻性纳入的经济支持申请人数据集进行了回顾性分析[4]。申请人知情同意使用其数据。由于硬件限制,首选层厚/层间距为3 mm的CT扫描而非1 mm。虽然临床诊断ILDs时首选≤ 1 mm层厚,但GPU无法将数百张≤ 1 mm层厚的切片作为一个体积处理。
当前分析的排除标准如下:无胸部CT扫描可用、扫描中肺部未完全包含、层厚>5 mm或缺少专家组判定。数据集基于随机、可重复的分割方式分为训练集、验证集和测试集。每个集合包含阳性/阴性病例的等比例分布。为进行评估,四个矛盾病例(间质性肺病(ILD)但无石棉肺,或石棉肺但几乎没有ILD)被留出。
在可获得的情况下,检索以下肺功能检查:肺活量(VC,cm³)、用力肺活量(FVC,cm³)和一氧化碳弥散量(DLCO,mL/min/mmHg)。为补偿体型差异,肺功能参数以预期值的百分比(%)表示。为量化肺功能损失,Hagmolen Of Ten Have等人改编了Rondinelli等人[14]描述的美国医学会(AMA)分级。将FVC和DLCO中记录最差的参数转换为损伤分级(AMA分级,表1)。AMA ≥ 2被视为足以获得经济支持(见补充信息)。
人工智能的设计
我们设计了一个AI系统,按照以下步骤评估石棉肺经济支持申请的资格:1)通过定位器在胸部CT扫描中识别肺及周围组织,2)通过检测器检测肺内异常,3)通过分类器基于CT扫描和2)中发现的异常自动评估资格。这些模块在整体AI诊断系统中同步运行(图1)。代码已在我们科室的AI存储库1上公开,使其他研究人员能够重复类似研究。
定位器
该模块旨在检测和分割肺部。我们复用了LaLonde等人[15]的AI模型2。一旦识别出肺部,我们自动从图像中移除所有非肺像素。这有助于后续分析,确保仅在肺组织上执行。
检测器
该模块的目标是突出肺内异常。我们的设计基于一组用于异常检测的算法,称为变分自编码器(VAE)[17]。在我们的案例中,我们在胸部CT数据集上训练了VAE(见补充信息)。通过在健康CT切片上训练该网络,VAE学会合成健康的肺结构。当带有肺部异常的CT呈现给网络时,VAE将对这些异常区域重建不佳,因为这些区域在训练中未被学习。这一现象使我们能够突出异常,有效创建异常热图(详见补充信息)。
分类器
本模块旨在识别石棉肺经济支持评估结果为阳性的患者。我们的设计基于ResNet架构[18],该架构常用于图像分类任务。我们以CT+异常热图作为输入、以石棉肺专家组的裁决作为训练目标来训练网络,其中交叉熵损失函数量化了AI预测与专家组裁决之间的差异。训练完成后,网络输出0到1之间的预测值,将其解释为概率,0表示无证据支持阳性评估,1表示相反。
数据整理与标签
为尽量减少成像方案之间的差异以及外来金属物体(如心脏起搏器)产生的伪影,所有亨氏单位(HU)均被裁剪至−1024 HU(空气)至3072 HU(致密骨)之间[19],并按0–1区间进行缩放。为纳入胸壁邻近组织(如胸膜斑/胸膜增厚),我们通过形态学算子以13×13×5体素的核对其分割结果进行膨胀。随后,若膨胀区域内未见胸膜,则在3DSlicer(v4.10)[16]中进行视觉检查并调整。
CT中的分割肺被裁剪至192×192×96(矢状面、冠状面、轴位),并因硬件限制在需要时重新缩放。真实标签(即ground truth)以两种配置实现:硬标签和软标签。硬标签为二分类(即石棉肺或非石棉肺),而软标签反映专家组的一致性程度(即阳性评估的比例)。采用软标签旨在探究AI能否复现该一致性水平。当肺科医师意见不一致时,软标签对不确定AI预测的惩罚小于硬标签。具体而言,训练期间AI预测值为0.5(不确定)时,其更接近肺科医师阳性比例:0.33(1/3肺科医师,偏差0.17,软标签),而非专家组的最终裁决:0(1/3肺科医师,偏差0.5,硬标签)。
统计分析
为评估专家组的观察者间变异性,我们计算了Krippendorff's alpha,其中ɑ = 1表示完全一致,ɑ = 0表示不一致[20]。模型性能使用ROC-AUC以及准确率、灵敏度、特异度、阳性和阴性预测值等标准指标进行评估。我们采用McNemar检验来检验不同方法之间性能的显著差异。肺功能与AI预测之间的相关性通过r平方(r2)进行估计。为可视化模型在CT扫描中关注的区域,我们将激活回溯至输入,生成所谓的显著性图[21]。这些显著性图可解释为叠加层,在CT上对最终预测贡献更大的区域具有更高的值。此外,我们旨在开发不产生显著离群值的模型,即接近0和1的错误预测。这提高了预测对申请者和医师的可解释性。
结果
研究队列
我们总共回顾性收集了 n = 523 份财务支持申请。中位年龄为 75 岁(IQR 69–80)。数据集包含两名女性申请人(0.4%)。肺科医师库由 n = 23 名专家组成,中位经验为 20 年(CI:16–27)。每份申请分配 n = 3 名肺科医师进行处理,每名肺科医师被分配的概率相同。
在 2019 年 11 月数据库锁定时,n = 16 份未获得专家组评估。在剩余 n = 507 份病例中,n = 233 名申请人获得阳性评估(46.0%),其中 n = 166 份(71.2%)为一致同意。其余 n = 274 份申请不符合标准,其中 n = 219 份(79.9%)为一致评估。肺科医师间的观察者间变异性估计为 alpha=0.65(Krippendorff's alpha),75.9%(n = 385)为一致同意。
用于人工智能开发,额外排除了 n = 88 份申请:n = 78 份因 CT 中双肺未完全成像,n = 10 份因 CT 层厚 > 5 mm。共计 n = 419 份构成研究数据集。被排除的病例在年龄或肺功能方面无显著差异。由于数据来源于多中心,CT 扫描方案存在异质性(中位数,CI):电压(120 kVp,118.7–121.3)、管电流(194 mA,177.4–210.6)、层厚(3 mm,2.85–3.14)。
人工智能训练
我们基于 80/20 的训练-测试拆分 [22],将数据集分为训练集(n = 263)、验证集(n = 64)和测试集(n = 88),并采用可复现的伪随机化(sklearn v0.24.1)。我们使用不同的标签格式(即软标签,反映一致性;硬标签,为二值)以及有无异常热图进行了实验。
人工智能预测性能
软标签结合异常热图在所有指标上均表现最佳(表 2)。与硬标签相比,软标签在 0 和 1 之间产生了更均匀的预测分布(软标签 std = 0.33,硬标签 std = 0.40,p < 0.001)。根据比较预测的 McNemar 检验,软标签模型(AUC = 0.87,CI:0.78–0.94,p < 0.001)性能高于硬标签模型(p = 0.017)。此外,带异常热图的软标签显著优于不带热图的软标签(p = 0.042),表明软标签和异常热图均为提高性能所必需。虽然无异常热图且使用硬标签的设置在意敏感度和阴性预测值上得分最高,但带异常热图的软标签的总体性能也显著更优(p = 0.017,McNemar 检验)(表 2)。该模型的准确率为 0.82(0.74–0.90),敏感度为 0.76(0.62–0.88),特异度为 0.87(0.77–0.96)。阳性和阴性预测值分别为 0.84(0.71–0.95)和 0.81(0.69–0.91)。
预测评分的分布见图 2A,按专家组中肺科医师的一致性(即给出阳性评估的肺科医师数量)分层。我们对所有三名肺科医师均为阳性但模型预测为阴性的离群值(n = 5)进行了视觉分析。大多数这些申请人(n = 4)肺功能严重下降,但 CT 扫描中的纤维化并未反映这一点。
肺功能检查的整合
DLCO的预测性能接近AI模型(AUC = 0.85,CI:0.80–0.89,p < 0.001)。其余肺功能参数的结果较低:VC的AUC = 0.67(CI:0.60–0.72,p < 0.001),FVC的AUC = 0.63(CI:0.56–0.68,p < 0.001),AMA的AUC = 0.83(CI:0.78–0.87,p < 0.001)。
有趣的是,DLCO与AI预测仅呈弱相关(r2 = 0.22,p < 0.001),提示它们可作为石棉肺的独立预测因子。我们测试了一种简单组合,形式化为AI评分与DLCO值的平均值——((1 − DLCO)+ AI)/2;以及一种高级组合策略,即将DLCO作为附加输入加入AI系统。
简单组合的AUC为0.95(0.89–0.98,p < 0.001),准确度为0.84(0.76–0.92),敏感度为0.77(0.63–0.89),特异度为0.91(0.81–1.00)。阳性和阴性预测值分别为0.91(0.80–1.00)和0.78(0.65–0.90)。此外,从评分分布来看,该设置分别在低于0.35和高于0.60时未报告假阴性或假阳性(图2B)。
高级组合策略的AUC为0.92(0.86–0.97,p < 0.001),准确度为0.84(0.76–0.92),敏感度为0.74(0.60–0.87),特异度为0.94(0.85–1.0)。阳性和阴性预测值分别为0.94(0.83–1.0)和0.77(0.64–0.89)。与肺科医师判定一致的预测分布更宽,如图2C所示。更具体地说,与AI和简单组合相比,该模型预测更多CT扫描结果接近0或1。
根据AUC(图2D)和离群值(可解释性),AI+DLCO的简单组合被认为是蕞佳模型。与高级组合相比,其预测分布的标准差更低,并且由于DLCO在AI模型之外进行加权而更具可解释性。
AMA类别分解
为满足肺功能损失获得经济补偿的要求,需要 AMA ≥ 2。图 2E 显示了 AI 预测在 AMA 分类上的分布情况。当把 AMA 分类分解为 FVC 和 DLCO 时,预测值的差异变得明显。FVC 值(图 2F,AUC = 0.63)比 DLCO 值(图 2G,AUC = 0.87)更为分散。报告中包含 FVC 或 DLCO 的留出病例(图 2H)显示了具体病例如何与 AI 预测以及图 2E–G 中的肺功能参数相互作用。
视觉解释
为增强可解释性,我们生成了显著性图,显示石棉肺阳性病例比石棉肺阴性病例表现出更多的激活(图 3)。通过视觉检查,我们可以看到,ILD 可见的 CT 扫描产生更多的激活,表明 AI 系统学会了识别 ILD。在 ILD 几乎不可见的 CT 扫描中,AI 系统几乎没有激活。
讨论
当前用于评估曾接触石棉的工人是否有资格获得经济支持的流程繁琐且成本高昂,并且观察者内变异性较高 [4]。本研究旨在通过人工智能(AI)实现该流程的自动化和标准化 [23]。为此,我们实施了一个 AI 系统 [18],该系统使用胸部 CT 扫描来复现三名呼吸科医生小组的评估(按照国家法律要求)。我们用于自动分类石棉肺患者国家援助资格申请的 AI 模型取得了显著成果,并以高准确度对符合条件的申请进行了分类。表现最佳的肺功能参数 DLCO 显示了可比的结果 [24]。AI+DLCO 的组合产生了优于单独使用 AI 或 DLCO 的预测性能。
通过考虑呼吸科医生评估中的不确定性(即软标签),我们的模型比忽略这种不确定性的相同模型(即硬标签)达到了更高的准确率。我们假设软标签使AI能够学习特定病例中的不确定性,而硬标签则促使预测0或100%的概率。软/硬标签AI模型预测中标准差的差异支持了这一点。在呼吸科医生小组中观察到的一致性水平低于被认为足以获得可靠结果的临界值[20]。AI系统以其对所提供的标签中不确定性的敏感性而闻名[25]。软标签的实施基于这样一个假设:呼吸科医生之间的一致性水平反映了真实的、潜在的不确定性水平,这种不确定性也存在于间质性专家团队的多学科会议中[26]。模型能够复现这种不确定性,表明它不是随机的,而是取决于临床或生物学特征。纯二元模型只允许两种结果:接受或拒绝。由于能够复现不确定性,我们接受了第三种结果:进一步处理。我们设想不确定的病例(AI概率在0.35至0.6之间)由小组给予额外关注,而一名呼吸科医生处理明确的病例(< 0.35,> 0.6)。因此,始终需要一个(多学科)小组。
肺功能检查在识别假阴性病例中发挥了重要作用,这些病例中所有呼吸科医生均给出阳性评估,而AI模型给出阴性结果(图2A、B:顶部行的差异)。这表明肺功能检查在很大程度上决定了这些申请者的判定结果。换言之,AI模型无法基于这些申请者的CT扫描检测到肺功能丧失。DLCO与AI模型之间观察到的弱至中度相关性支持了这一点。
DLCO对我们模型的诊断准确性有贡献,而纳入FVC仅削弱了区分阳性和阴性申请的能力。两个原因可能解释这一现象:[1]呼吸科医生(无意识地)主要基于DLCO做出判定,而未将FVC纳入考虑;[2]DLCO降低与弥漫性纤维化相关,而呼吸科医生主要基于弥漫性纤维化的影像学特征做出判定。这些发现与Nogueira等人的研究一致,他们发现DLCO与HRCT异常的短期进展相关性最强[24]。小组将DLCO测量设为强制要求可能有助于实现更一致、标准化和客观的评估。
尽管AI模型本身存在偏倚[28],但它们有助于克服人类偏倚[27],并在这种情况下确保更公平的公共卫生政策。我们的工作与当前文献一致,这些文献表明用于ILD分类的自动AI系统可以改善患者的医疗保健[29]。
我们的研究存在若干局限性。由于肺功能参数缺失,每项肺功能检测是在略有不同的亚队列上计算的。由于AI算法运行分辨率方面的硬件限制,我们不得不对CT图像进行降采样,使纤维化等更细粒度结构变得模糊[30]。虽然AI模型在对专家组匿名病例进行分类时表现优异,但它缺乏可解释性。显著性图指示了AI模型“关注”的位置,但不足以解释患者的申请为何被接受/拒绝。在这些流程中始终需要人类参与。另一项改进是将累积石棉暴露量作为输入纳入。此外,我们的分析仅进行了回顾性验证。大多数AI算法未经过前瞻性验证[31],而市售产品的价值往往未得到同行评审出版物的证实[32]。因此,我们选择在前瞻性环境中验证我们的AI模型与DLCO的简单组合(PROSBEST,Trial NL9064)。
鉴于这些结果,我们可以设想一种基于CT扫描和肺功能检测的自动化、标准化申请诊断AI系统[33]。在其他临床环境中的进一步研究应能揭示所用方法是否可能普遍适用于间质性肺疾病患者的诊断。
结论
我们开发了一个AI模型,根据荷兰法律设定的参数,对经济补偿申请者进行石棉肺诊断。仅基于CT扫描的分类模型以及基于CT扫描与肺功能检测组合的分类模型均进行了定量和定性评估。基于CT扫描和DLCO的模型优于其他模型,达到了极佳的诊断准确性。该方法是否可应用于石棉肺或间质性肺疾病的其他诊断环境正在研究中。
补充信息
图S1所实现的3D ResNet架构。左列显示编码器,其中图像通过后续ResNet块进行降采样以生成预测。右列显示ResNet块架构。黑色箭头表示块的连接。蓝色箭头表示恒等连接,其中激活层的输出被加到另一个卷积层的输入上。(DOCX 23.4 kb)
引用
- Groot Lipman, de Gooijer, Boellaard, et al. Artificial intelligence-based diagnosis of asbestosis: analysis of a database with applicants for asbestosis state aid. Eur Radiol. 2022. PMID: 36567379. doi:10.1007/s00330-022-09304-2
- 全文:PMC10121486(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10121486/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。