人工智能解决方案对胸部X线可转诊胸部异常的诊断效果:一项多中心呼吸科门诊诊断队列研究
本回顾性诊断队列研究纳入三个中心2018年连续6,006例同时行胸部X线与CT的呼吸科门诊患者,评估商用AI方案对结节/肿块、实变和气胸的检出性能,并让12名医师在有无AI辅助下对230例随机抽样胸片进行两次判读。AI独立AUC为0.867,医师平均AUC从0.861升至0.886(p=0.003),AUAFROC从0.797升至0.822(p=0.003),作者认为需前瞻性设计进一步验证。
要点
- AI独立诊断平均敏感度0.885、特异度0.723、AUC 0.867,对目标病变的AUC和敏感度显著高于非目标病变。
- AI辅助使医师平均AUC从0.861升至0.886(p=0.003),AUAFROC从0.797升至0.822(p=0.003)。
- 仅呼吸科医师AUC提升达统计学显著(0.842 vs 0.884,p=0.034),胸科放射医师和放射科住院医师AUAFROC提升显著。
核心结论
- AI方案对呼吸科门诊胸片的诊断性能可接受,医师诊断性能在AI辅助下略有提升。
- 作者认为需采用前瞻性设计进一步评估AI辅助胸片在患者结局方面的效力。
研究设计与样本
- 回顾性诊断队列研究,纳入三个参与机构2018年呼吸科门诊连续26,988例患者,最终6,006例同时行胸部X线与CT者纳入分析。
- 参考标准由三名胸科影像 adjudicator(分别有19年、12年、13年经验)结合CT和病历确定可转诊胸部异常,不确定病例由三名胸科放射医师共识判读。
- AI增强测试从6,006例中随机抽取230例,由12名医师(3名胸科放射医师、3名委员会认证放射医师、3名放射科住院医师、3名呼吸科医师)分两次判读,间隔4周洗脱期。
- AI方案为商用Lunit INSIGHT for Chest Radiography,输出病变位置彩色标记图和异常评分(%),患者水平评分阈值定义为15%。
关键影像表现/征象
- 6,006例胸片共观察4,274个胸部异常,其中肺结节/肿块1,173个(27.5%)、肺实变919个(21.6%)、气胸15个(0.4%)、其他可转诊异常2,157个(50.6%)。
- 26个最终诊断中肺炎最常见(n=696,12%),肺结核550例(9%),支气管或肺恶性肿瘤355例(6%)。
- AI辅助下每张图像假阳性病变数为0.31至0.42。
诊断标准与关键数值
- AI独立诊断全数据集(n=6,006)平均敏感度0.885、特异度0.723、AUC 0.867(95%CI:0.858,0.875),阳性预测值0.799、阴性预测值0.834。
- AI对目标病变的AUC 0.878 vs 非目标病变0.830(p<0.0001),敏感度0.858 vs 0.795(p<0.0001),阳性预测值0.702 vs 0.676(p=0.011),阴性预测值0.914 vs 0.885(p<0.0001),特异度均为0.806(p=1.000)。
- AI辅助后医师平均AUC 0.886 vs 无辅助0.861(p=0.003),平均AUAFROC 0.822 vs 0.797(p=0.003)。
- 仅呼吸科医师AUC提升达统计学显著(0.884 vs 0.842,p=0.034);胸科放射医师AUAFROC 0.835 vs 0.820(p=0.026),放射科住院医师AUAFROC 0.830 vs 0.785(p=0.045)。
临床应用与阅片要点
- AI辅助对胸科放射医师、放射科住院医师和呼吸科医师的病变检出或定位均有提升,但仅部分组别达统计学显著。
- 致密局灶性钙化灶(临床非可转诊)可导致AI假阳性;弥漫性间质病变、支气管扩张或重度肺气肿所致微小结节或网状影可能被AI漏诊。
局限性
- 排除了仅行胸部X线的患者,可能导致异常图像比例不能反映人群实际患病率。
- AI性能仅用特定产品评估,结果需在其他可用AI支持工具或系统中重现。
- 虽为多中心,但参与机构均在同一国家内,结果可能不可推广。
- 可转诊胸部异常由胸科放射医师而非呼吸科医师判定,需要补充方法如第三专家评分者手动分析 adjudicator 标注以获得可重复且可接受的参考标准。
- 作者指出需前瞻性设计进一步评估AI辅助胸片的效力。
全文中译14 节 · 点击展开
引言
胸部X线摄影是用于筛查胸部疾病和监测胸部异常(包括肺癌和肺炎)患者最常用的放射学检查[1–4]。然而,解读胸部X线片具有挑战性且容易出现误读[5–8]。随着近年来深度学习技术的激增,计算机辅助诊断(CAD)在医学影像领域的应用迅速增加。在人工智能(AI)在诊断影像学的各种应用中,使用深度学习(DL)算法设计的商用胸部X线片AI解决方案引起了关注,并在实验数据集中检测恶性肺结节、结核病和各种异常方面表现出优异性能[9–11]。尽管AI解决方案表现出比医师更高的诊断准确性,但实验收集的数据集可能富集了疾病患病率,可能无法跨疾病推广。因此,应在选定队列中开展横断面研究,以验证AI解决方案在真实世界临床实践中的性能[12, 13]。对于诊断性队列研究,患者根据提示性临床参数进行选择。队列可能呈现多种情况,如多发病灶、并发异常或基础疾病,例如炎症后遗症掩盖了伴发的可转诊胸部异常。在Hwang等[14]的一项研究中,将DL算法应用于急诊队列数据集以识别胸部X线片上临床相关异常,其AUC、敏感度和特异度分别为0.95、0.816–0.887和0.692–0.903。Lee等[15]将DL算法应用于健康筛查队列进行肺癌检测,显示AUC为0.99,敏感度与放射科医师相当。在此,我们假设实施基于商用DL算法的AI解决方案将增强临床医师解读胸部X线片的能力。据我们所知,尚无使用连续患者评估AI辅助的多中心研究。因此,我们在从多个呼吸科门诊收集的连续诊断队列数据集上评估了一种商用AI解决方案,并比较了医师在有无AI辅助下检测和定位可转诊胸部异常的能力。
材料与方法
本研究经所有参与机构的机构审查委员会批准。豁免了获取患者知情同意的要求。
诊断队列的研究人群
在这项回顾性研究中,我们调查了2018年就诊于三家参与机构呼吸科门诊的26,988例连续患者,并对其胸部X线摄影进行了回顾性分析。未在胸部X线摄影前≥1个月接受胸部CT或该检查的患者被排除。最终,共有6,006名参与者纳入研究。选择流程的流程图见图1。
胸部X线片AI解决方案
使用市售的基于人工智能的解决方案(Lunit INSIGHT for Chest Radiography,Lunit公司)评估人工智能辅助的诊断效果。当该人工智能解决方案在胸部X线片上检测到异常,包括结节或肿块、肺实变和气胸时,病灶位置以彩色图谱勾勒或标记,并对异常进行评分(%)。
数据收集
数据包括年龄、性别、胸部X线摄影和CT成像日期以及胸部X线摄影类型(后前位或前后位),从电子病历和图像归档与通信系统中回顾性收集。如果患者接受了多次放射学检查,则选择与初次胸部CT日期最接近的胸部X线片。CT扫描被视为可转诊胸部异常的标准参考。
建立可转诊胸部异常的标准参考
胸部X线片由三名裁决者之一(分别具有19年、12年和13年胸部影像学经验)进行评估。他们使用CT扫描和病历确定是否存在可转诊胸部异常,定义为任何需要进一步诊断评估或管理的胸部X线异常。对于不确定的病例,由三名胸部放射科医师进行共识判读。可转诊胸部异常分为目标病变和非目标病变:(a) 目标病变分为三种类型:结节/肿块、肺实变和气胸;(b) 非目标病变分为七种类型:肺不张或纤维化、支气管扩张、心脏增大、弥漫性间质性肺 opacity、纵隔病变、胸腔积液和其他。标注标准采用chest X-ray14 [16]或MIMIC-CXR数据库[17]。病变采用Fleischner学会:胸部影像学术语表[18]进行分类。最终诊断分为26个亚组,参照国际疾病分类(ICD)-10 [19]中描述的术语或Fleischner学会[18]对胸部病变的放射学描述。
人工智能独立性能评估
对于6,006名患者的全部数据集,将人工智能解决方案的输出与参考标准进行对比,以衡量人工智能的独立性能。如果人工智能解决方案在具有可转诊胸部异常的患者中报告了异常评分并标记了胸部病变,则视为阳性。计算AUC、灵敏度、特异度、阳性预测值和阴性预测值。进行亚组分析以比较人工智能对目标病变与非目标病变图像的诊断性能。为评估每张图像中的多个病变,通过转换后的掩膜图像评估每张图像的假阳性数量(补充图1)。
人工智能增强测试
在6,006例患者中,随机选取230例患者,用于评估医师在有无人工智能(AI)辅助下解读胸部X线片的表现。观察者小组由12名医师组成:3名胸部放射科医师、3名委员会认证放射科医师、3名放射科住院医师和3名呼吸科医师。测试分两次进行,间隔4周的洗脱期以避免信息偏倚。每名医师在第一次 session 中分别在AI辅助下评估116幅图像和无AI辅助下评估114幅图像,在第二次 session 中则相反,分别在有或无AI辅助下评估114幅和116幅图像(图1)。除胸部X线片外,还向医师提供包括年龄、性别和主诉在内的临床信息,以模拟正常临床流程。要求他们标记可转诊胸部异常的位置,并基于视觉确定性对每个病灶的置信水平进行评分(1–5分)。可标记的病灶数量限制为5个。图像和临床信息通过定制的网络工具进行审阅,该工具以数字化方式记录评估结果。如果医师对存在目标病灶或非目标病灶的图像报告了可转诊胸部异常,则视为真阳性。当胸部X线片上观察到多个病灶时,若金标准与记录区域之间存在任何重叠,则定义为真阳性。为确定病灶定位质量,使用Dice相似系数[20]计算真阳性病例中金标准(即参考标准范围)与AI输出或观察者标记之间重叠程度的分布(补充图1)。
统计分析
零假设为:在有无人工智能(AI)辅助的情况下解读胸部X线片的AUC无差异。基于既往研究结果(无AI辅助时AUC = 0.814;有AI辅助时AUC = 0.904)[11],我们预期有AI与无AI辅助的检验结果之间相关性为0.5。考虑把握度为0.9、α值为0.05,计算样本量为230(计算把握度0.9014;正常:异常 = 0.4:0.6)。使用真阳性率和假阳性率绘制ROC曲线,以评估AI解决方案和医师的图像分类性能。为评估病灶定位质量,绘制刀切法替代自由响应ROC(JAFROC)曲线;以病灶定位率(LLF)对每张正常胸部X线片至少出现一个假阳性的概率作图。采用Dorfman-Berbaum-Metz检验比较医师无辅助与AI辅助阅片的加权JAFROC(wJAFROC)品质因数[21]。各条件下(无辅助 vs. AI辅助)AUC、特异度和敏感度平均值的差异采用双侧95%CI分析。对于敏感度和特异度的分析,AI解决方案输出的阈值定义为15%;该值已通过Lunit的内部可变数据集和既往文献验证[11, 14]。若基于患者的异常评分高于15%的截断值,则胸部X线片被分类为阳性(显著病灶),否则分类为阴性。以基于病灶的异常评分最大值作为基于患者的异常评分。每张图像的假阳性标记数定义为假阳性标记总数除以X线片总数。两个比例或均数的比较采用卡方检验或t检验。统计分析使用MedCalc 19.5.1版(MedCalc Software)或R 3.5.3版(R Foundation for Statistical Computing)进行。p值小于0.05表示有统计学意义。
结果
基线特征及可转诊胸部异常的类型
表1显示了在呼吸科门诊就诊的所有患者的人口学特征。随机选取用于AI增强试验的患者的临床详情见补充表E1。在6,006张胸部X线片上观察到的4,274个胸部异常中,肺结节/肿块、肺实变、气胸和其他可转诊异常胸部病灶分别为1,173个(27.5%)、919个(21.6%)、15个(0.4%)和2,157个(50.6%)(表2)。在26个最终诊断的病灶中,肺炎是最常见的诊断(n = 696 [12%];补充表E2)。分别在550张(9%)和355张(6%)胸部X线片上诊断了肺结核和支气管或肺恶性肿瘤。
AI解决方案的独立性能
对于6,006张胸部X线片,该算法在不同机构间取得的平均AUC为0.867(95%置信区间[CI]:0.858,0.875)。敏感度、特异度、阳性和阴性预测值分别为0.885、0.723、0.799和0.834。该算法在测试数据集上性能的具体统计量见补充表E3。亚组分析显示,对于人工智能解决方案预期病变的图像,其AUC、敏感度以及阳性和阴性预测值显著高于非预期病变的图像(分别为AUC,0.878对0.830,p <0.0001;敏感度,0.858对0.795,p <0.0001;阳性预测值,0.702对0.676,p =0.011;阴性预测值,0.914对0.885,p <0.0001),而特异度相同(0.806对0.806,p =1.000)(补充表E4)。参考标准与人工智能输出之间真阳性病例重叠的分布见补充图2。
医师在有和无人工智能辅助下进行图像分类和病变定位的诊断性能
每位医师(无辅助和有AI解决方案辅助)的AUC和替代自由响应ROC曲线下面积(AUAFROC)分别报告于表3和表4。观察者组间AUC和AUAFROC的平均值在AI辅助阅片时显著高于无辅助阅片(分别为0.886对0.861,p = 0.003和0.822对0.797,p = 0.003)。图2显示了每位医师和AI解决方案的ROC曲线(A)和JAFROC曲线(B)。观察者组的AUC和AUAFROC平均值列于表5。对无辅助和AI辅助阅片的AUC进行比较显示,所有观察者组中AI辅助时的AUC均高于无辅助时;然而,差异仅在呼吸科医师中达到统计学显著性(0.842对0.884,p = 0.034)。在四个观察者组中,胸部放射科医师和放射科住院医师在使用AI解决方案时AUAFROC升高(分别为0.820对0.835,p = 0.026,和0.785对0.830,p = 0.045)。
讨论
在本研究中,使用人工智能(AI)解决方案使医师在判读呼吸科门诊连续采集的胸部X线片时,曲线下面积(AUC)和AUAFROC均有所提高。这意味着AI辅助提升了医师在胸部X线片上检测和定位可转诊胸部异常的表现。据我们所知,这是首个在连续患者胸部X线片上测量医师在有和无AI解决方案时诊断表现的多中心研究。AI解决方案本身表现出可接受的性能(AUC,0.863–0.873;敏感度,0.869–0.899;FPPI,0.312–0.418)。这些结果与近期一项研究所得结果相当相似,该研究中,使用多中心病例对照数据集开发的深度学习(DL)算法在胸部X线片判读方面优于医师[11]。使用该DL算法后,所有观察者组(包括普通放射科医师和非放射科医师)在图像分类(AUC,0.814–0.932至0.904–0.958;所有p < 0.005)和病灶定位(AUAFROC,0.781–0.907至0.873–0.938;所有p < 0.001)方面的诊断表现均有改善[11]。尽管本研究的平均AUC和AUAFROC远低于既往研究,但我们并未排除整个数据集中约50.6%的可转诊胸部病灶。这些是非目标病灶,降低了AI解决方案的诊断准确性。然而,我们发现医师在图像分类和病灶定位方面的表现均有边缘性改善。该结果可能归因于多种非目标胸部异常的影像学表现与目标异常的表现存在重叠。因此,使用DL算法可能有助于在可接受的诊断性能范围内检测胸部X线片上多种可转诊异常胸部病灶。在另一项研究中,住院医师在急诊科使用DL算法后,能够以更高的敏感度识别胸部X线片上具有临床意义的各种异常[14]。这些发现与我们的结果相当相似。
在本研究中,我们未能证明AI增强是否影响临床工作流程,例如额外诊断检查或操作、随访或转诊率,以及从图像采集到放射科医师报告的回转时间[22]。需要进一步研究以验证AI辅助在患者管理或安全方面的效力。例如,AI解决方案可提供信息以避免肺癌筛查中不必要的辐射剂量[23]。此外,AI解决方案的交付方式,如作为并行或第二读片者的附加场景、独立、分诊和预筛查场景[24],应在不同临床环境中进行研究,例如肿瘤患者的术前或随访检查,或肺癌或结核筛查。
由于致密、局限的阴影在胸部X线片上易于检出,肺实质和淋巴结内发现的无临床意义的钙化性病灶(即临床上无需转诊的胸部异常)会导致AI出现假阳性结果,从而对AI解决方案的实施产生负面影响。此外,弥漫性间质性肺异常、支气管扩张或重度肺气肿所致的微小结节状或网格状阴影可能被AI解决方案漏诊。由于其形态学表现模糊,深度学习算法将其判读为非目标异常。我们的结果发现,独立AI对目标病灶的性能在AUC、灵敏度和阴性预测值方面均显著高于对非目标病灶的性能。这可能是我研究中独立性能明显较差(AUC为0.867)的原因,而既往报道显示AI在识别胸部X线片上多种异常方面具有优异性能(AUC为0.96–0.99)[25, 26]。
关于参考标准,需要高质量且被广泛接受的方法才能可靠地解读结果。共识判读可作为标准参考[27]。然而,我们未进行共识判读,因为其并不完美,且由于资源有限,多名阅片者对全部图像(n = 6,006)进行评估在实际中不可能实现。胸部X线检查后数日内获得的胸部CT是发现胸部异常的可信参考标准。然而,不同裁决者对临床相关性的意见可能存在差异。在本研究中,仅当任何裁决者为确定是否存在临床相关胸部异常而寻求共识时,才对不确定病例进行共识判读。在本研究中,我们排除了仅在呼吸科门诊接受胸部X线检查的患者。由于大多数患者胸部X线片无显著发现且无需进一步CT检查,这可能影响了我数据集胸部异常的患病率。出于同样的原因,未使用全部图像在多个观察者组中进行性能测试。因此,AI辅助测试的样本量是基于既往研究[11]的AUC值计算的。当我们使用自己的结果回顾性计算研究效能时,平均AUC和AUAFROC的估计值均为0.999 [21]。
为避免因富集测试集导致的选择偏倚,AI辅助测试所用图像是从整个诊断队列中随机选取的。在比例比较中,整个患者人群与AI辅助测试数据集在病变类型和最终诊断方面均无显著差异。有趣的是,我们的研究队列中仅有两名患者(0.9%)发现气胸。气胸患者可能仅接受了胸部X线检查,或仅在症状严重时才到急诊科就诊。
为模拟正常临床实践,除胸部X线片外,患者的详细信息(如年龄、性别和主诉)也提供给医生。既往研究[11, 24]仅使用图像评估深度学习(DL)算法。咳嗽等临床信息可能增加临床医生对提示肺炎或肺癌的胸部异常的怀疑。然而,在本研究中,人工智能辅助提高了医生解读胸部异常的能力,包括我们结果中的肺炎、结核病和肺癌(表E2),从而表明即使是被忽视的肺炎或肺癌,也能在人工智能解决方案的帮助下成功诊断(图3和图4)。
计算机辅助诊断(CAD)系统在胸部X线片上的假阳性结果是人工智能解决方案在胸部X线片临床实施的主要障碍之一。最近一项关于使用人工智能检测胸部X线片上恶性肺结节的研究显示,每个结节的敏感度为70–82%,每幅图像有0.02–0.34个假阳性[9]。在另一项研究中,在人工智能解决方案的帮助下,每张X线片的假阳性发现数量从0.2降至0.18[28]。在我们的研究中,人工智能辅助下每幅图像的假阳性病灶为0.31至0.42,这可能是可接受的,因为该算法可以在连续采集的图像中检测出多种胸部异常。
我们的研究有几项局限性。首先,我们排除了仅接受胸部X线摄影的参与者。这可能导致一部分异常图像不能反映人群中的实际患病率。其次,人工智能解决方案的性能是使用特定产品评估的。其结果应使用其他可用的人工智能支持工具或系统加以重现。第三,尽管是多中心研究,但参与机构均位于同一个国家;因此,结果可能不具有普遍适用性。最后,可转诊的胸部异常由胸部放射科医生而非呼吸科医生确定。需要补充方法,例如第三位专家评分者,能够手动分析裁决者的标注,以获得可重复且可接受的参考标准。总之,人工智能解决方案在解读呼吸科门诊胸部X线片方面的诊断性能是可接受的。在人工智能解决方案的帮助下,医生的诊断性能略有提高。需要使用前瞻性设计对人工智能辅助胸部X线片进行进一步评估,以证明该算法在患者结局方面的有效性。
补充信息
以下是电子补充材料的链接。补充文件1(DOCX 509 KB)
引用
- Jin KN, Kim EY, Kim YJ, et al. Diagnostic effect of artificial intelligence solution for referable thoracic abnormalities on chest radiography: a multicenter respiratory outpatient diagnostic cohort study. Eur Radiol. 2022. PMID: 34973101. doi:10.1007/s00330-021-08397-5
- 全文:PMC9038825(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9038825/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。