文献速递胸部技术与安全DR

不同放射科医生组与临床医生对疑似COVID-19胸片分类及严重程度的一致性研究

Chest radiograph classification and severity of suspected COVID-19 by different radiologist groups and attending clinicians: multi-reader, multi-case study.
PubMed 文献 · Eur Radiol · 2022-10-25

本研究为单中心多阅片者多病例研究,纳入176例疑似COVID-19患者的305张胸片(129对配对),由20名阅片者(胸科顾问、普通顾问、放射科住院医师、感染科临床医生各5名)按BSTI分类和严重程度评分,并与两名胸科放射学专家共识比较。结果显示对「不确定」类别的一致性低(28-37%),其他类别和严重程度变化的一致性中等,提示胸片本身在分诊和系列监测中的效用有限。

要点

  • 对BSTI「不确定」类别(需CT分诊)的一致性仅28-37%,不宜单独依据胸片决定CT转诊。
  • 「典型/ probable」类别一致性在胸科顾问、住院医师和感染科医生中为66-76%,普通顾问仅49%。
  • 配对胸片严重程度变化的一致性中等,系列监测需谨慎解读。

诊断标准与关键数值

  • 与共识一致率:不确定类别(CVCX2)各组28-37%;典型/ probable(CVCX1)胸科顾问75%、住院医师76%、感染科医生66%、普通顾问49%;正常(CVCX0)放射科医生54-61%、感染科医生31%;严重程度为「严重」胸科顾问95%、住院医师84%、感染科医生84%、普通顾问65%。
  • 不确定与正常合并后与共识一致率:胸科顾问73%(95%CI 68%-77%)、住院医师75%(71%-79%)、普通顾问58%(53%-62%)、感染科医生61%(56%-65%)。

局限性

  • 单中心研究,仅评估感染科临床医生作为非放射科组,未纳入急诊和普通内科医生。
  • 参考标准为主观专家共识,非完美标准。
  • 配对胸片为独立判读,未直接对比。
全文中译15 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2022 Oct 25;33(3):2096–104. doi: 10.1007/s00330-022-09172-w

引言

由新型严重急性呼吸综合征冠状病毒2型病毒(SARS-CoV-2)引起的2019冠状病毒病(COVID-19)成为全球大流行病。在英国,该大流行病造成了创纪录的死亡人数,并对国家卫生服务体系(NHS)施加了前所未有的压力。面对如此巨大的需求,临床医生必须迅速、准确地将疑似COVID-19患者按高概率和低概率以及严重程度进行分类。2020年3月,英国胸科学会影像分会(BSTI)和英格兰国家卫生服务体系制定了决策支持算法,用于对疑似COVID-19患者进行分诊[1]。该算法假定实验室诊断可能无法快速或广泛获得,强调临床评估和胸部X线摄影(CXR)。

因此,CXR承担了关键角色,不仅在诊断方面,还在严重程度的分类和监测方面,从而指导临床决策。这包括是否需要强化治疗(即那些患有“典型重症”疾病的患者),以及对诊断不确定[2–4]或CXR正在恶化的患者后续进行胸部计算机断层扫描(CT)。

显然,这要求CXR的判读能够准确反映诊断和严重程度。虽然由胸部放射学专家立即判读是可取的,但鉴于需求而言这并不现实,判读工作经常落到非胸部放射科医生、在训放射科医生或主治临床医生身上。然而,我们未发现有任何研究比较这些群体之间在COVID-19的CXR诊断和严重程度方面的一致性和差异性。我们旨在通过开展一项多病例、多阅片者研究来纠正这一不足,将放射科医生(包括专家、非专家和受训者)和非放射科医生对COVID-19的CXR诊断、严重程度和时间变化的判读与共识参考标准进行比较。

随着该病毒成为另一种季节性冠状病毒感染,因COVID-19持续有患者入院,本研究对临床实践具有重要的持续相关性。

材料与方法

研究设计与伦理批准

我们在本单中心研究中采用了多阅片者、多病例设计。我院机构伦理委员会批准了COVID-19相关影像学研究(综合研究申请服务参考号IRAS 282063)。作为批准的一部分,知情同意被豁免。

研究人群与图像采集

由我院感染性疾病临床团队提供了一份患者名单,这些患者年龄≥18岁,于2020年2月25日至2020年4月22日期间因疑似COVID-19感染(按照当时的国家和国际定义[5])连续就诊于我院急诊科,且至少接受过一次CXR。所有CXR均按照机构方案,使用便携式X射线设备以计算机放射摄影或数字放射摄影方式采集,采用前后位(AP)投照。

阅片者

我们招募了四组阅片者(每组五人),均为日常实践中需要判读疑似COVID-19 CXR的人员,具体如下:第1组:胸部放射学顾问医师(CCR)(具有7至19年放射学经验)

第2组:非胸部放射学专业的放射科顾问医师(GCR)(具有8–30年放射学经验)

第3组:放射科专科在训住院医师(RSR)(具有2–5年放射学经验

第4组:感染性疾病顾问医师和高级受训者(IDR)(无既往放射学经验)

选择传染病(ID)临床医生作为非放射科医生组,因为在我们机构和其他机构,他们的日常实践需要通过对胸部X线(CXR)的自行解读来进行COVID-19患者的分诊和后续管理,而无放射科协助。

病例识别、分配和共识标准

两名亚专科胸部放射科医生(分别具有16年和7年经验)首先独立地对266例连续合格患者的CXR进行BSTI分类(表1),不知晓最终诊断和所有临床信息。其中,129例有配对CXR;即他们在就诊CXR后至少24小时进行了第二次CXR。其余137例患者仅有单次就诊CXR。我们纳入了非配对CXR和配对CXR患者,以便用潜在CVCX2病例丰富研究队列,因为研究期间机构内COVID-19高流行率意味着很少有连续病例会被指定为“不确定”或“正常”。然而,评估这一类别对于理解患者下游管理意义至关重要。在47/137例非配对CXR中,两名亚专科胸部放射科医生中至少有一人将CXR分类为CVCX2(不确定),因此我们使用这47例CXR来丰富队列中的CVCX2病例。最终研究队列包括176例患者共305例CXR:129例配对和47例非配对。

从这305例CXR队列中,生成了五个随机阅片集,每个集包含大致相等数量的配对和非配对CXR(表2);每个CXR由每组2名阅片者解读。同一阅片者解读配对CXR的两个时间点。数量上的微小变化是由于随机化所致。因此,每组中被指定为阅片者1(CCR1、GCR1、RSR1和IDR1)的个体会读取相同的病例,阅片者2也会读取相同的病例,依此类推。通过这种方式,每个阅片者组生成610次阅片,总体产生2440次阅片(图1)。这些病例总数的分布与研究期间伦敦医院累积COVID-19转诊情况平行(图S1)。

相同的两名亚专科胸部放射科医生在原始阅片两个月后单独坐席对所有305例CXR分配“专家共识”评分,以避免回忆偏倚,并对任何阅片者解读(包括他们自己的)设盲。

表1 BSTI CXR类别定义和解读 查看原表 ↗
表2 每组配对和非配对CXR的阅片者分配 查看原表 ↗
图1 STARD流程图,显示每个阅片组CXR阅片数据集的来源 查看原图 ↗

图像解读

向阅片者提供了一份复习演示,解释BSTI分类和严重程度评分,并附有示例。要求阅片者假设他们在高流行率“大流行”临床场景中阅片,具有高验前概率,并将偶然发现(例如心脏增大或轻微肺不张)归类为CVCX0,将任何非COVID-19过程(例如心力衰竭)归类为CVCX3。

无论诊断类别如何,我们要求阅片者使用两种评分系统对严重程度进行分类:主观的BSTI严重程度量表(正常、轻度、中度或重度),以及Wong等人从肺水肿影像评估(RALE)评分[3]修改而来用于COVID-19胸部X线(CXR)判读的半定量评分(“Covid-RALES”)。该评分量化每侧肺内气腔模糊的范围(0=无受累;1=<25%;2=25–50%;3=50–75%;4=>75%受累)。因此,最低可能评分为0,最高为8。我们评估该评分是因为已有其他研究者对其进行了评估,并且我们机构将其用于评估临床试验的严重程度。

所有病例在我们机构的影像归档与通信系统(PACS)上被分配了唯一的匿名标识符。阅片者在查看每张CXR时不知道临床信息以及任何既往或后续影像。因此,任何成对的CXR均作为独立检查进行判读,不在配对之间进行直接比较。观察者在其常规工作所用的显示器上评估CXR。因此,放射科医师使用符合英国皇家放射医师学院标准的显示器,而感染科临床医师使用我们机构用于病房临床图像审阅的高清平板液晶显示器(LCD)。

样本量与把握度计算

本研究的把握度设计用于检测专家与其他阅片者组之间在根据不确定的CXR表现(定义为CVCX2)正确判读CXR以转诊CT方面是否存在10%的差异。估计最有经验的组(CCR)会将90%的患者正确转诊至CT。在80%把握度下,使用配对比例检测转诊至CT的10%差异需要86例不确定病例,基于研究判读前>1个月由2名专家阅片者预研究判读CXR中不确定表现的患病率,需要305张CXR(176例患者)。

统计分析

主要结局是各阅片者组与专家共识对于不确定CXR的一致性,根据BSTI,该不确定CXR是转诊CT的替代指标。不确定COVID-19(CVCX2)是CT分诊的潜在替代指标,但用于CT转诊的另一种临床分诊分类是将“不确定”和“正常”BSTI类别(CVCX0和CVCX2)合并。因此,我们首先计算了每名阅片者与共识判读之间在每个BSTI诊断分类上的一致百分比。然后,我们还评估了当BSTI分类二分为(1)CVCX0和CVCX2(即如果临床怀疑足够高仍可能需要进行CT的类别)对(2)CVCX1和CVCX3(即可能不需要进行CT的类别)时的一致百分比。我们评估了BSTI严重程度评分的一致性。所有一致百分比均按阅片者组描述其均值和95%置信区间。

最后,对于成对CXR判读,我们计算了各组与共识标准之间在以下方面无变化、降低或增加的一致数量和百分比:(1)BSTI严重程度分类和(2)COVID-RALES。

结果

基线特征

176例患者的中位年龄为70岁(范围18–99岁);118例(67%)为男性。由于图像处理错误,1例无配对影像的患者和3例有配对影像的患者各有1张CXR无法判读,剩余301张CXR。

专家共识分配了以下BSTI分类:CVCX0 97例(32%),CVCX1 119例(40%),CVCX2 58例(19%),CVCX3 27例(9.0%)。共识BSTI严重程度为正常、轻度、中度或重度分别为97例(32%)、93例(31%)、68例(23%)和27例(14%)。共识COVID-RALES中位数为2,IQR 0至4,范围0至8)。

不确定类别的一致性(图2)

我们的主要结局是读者组与专家共识对不确定COVID-19(CVCX2)的一致性,反映潜在的CT分流。CVCX2的平均一致性通常较低(28%至37%)。对于所有读者组,CVCX2的主要替代分类为CVCX1(“典型”COVID-19),其次为CVCX3(非COVID-19)(图S2)。即使是组成专家共识的两位亚专科读者CCR1和CCR2,其对自身共识CVCX2的一致性也较低(图S3)。这些数据表明,基于CXR解读进行CT转诊是不可靠的,即使由胸部亚专科放射科医生解读也是如此。

CT转诊的另一种临床分诊分类方法是合并“不确定”和“正常”BSTI类别(CVCX0和CVCX2),这产生了更高的一致性(CCR 73%(95% CI 68%,77)%,RSR 75%(71%,79%),GCR 58%(53%,62%),IDR 61%(56%,65%))。

图2 读者组与共识对各BSTI类别的一致性百分比 查看原图 ↗

BSTI分类的一致性(表3和图2)

CCR(75%(69%,80%))、RSR(76%(71%,81%))和IDR(66%(60%,72%))组对CVCX1(“典型/可能”)的一致性最高,但有趣的是GCR并非如此(49%(43%,55%)),其一致性与其对CVCX0和CVCX3(“非COVID-19”)的一致性相当(尽管仍高于其对CVCX2(“不确定”)的一致性)。当与共识CVCX1不一致时,GCR最可能分配为CVCX2(图S1)。

所有类型放射科医生对CVCX0(“正常”)与共识的一致性相似(CCR、GCR和RSR的平均一致性分别为59%、54%和61%),但IDR较低(31%)。对于CVCX3(非COVID-19),CCR和GCR通常比RSR和IDR读者更可能与共识一致。

表3 读者组与共识对各BSTI类别的一致性百分比 查看原表 ↗

BSTI严重程度分类的一致性(表4和图3)

所有组对分类为“重度”的一致性最高,但GCR(65%(54%,74%))低于其他组(CCR、RSR和IDR的平均值分别为95%(89%,98%)、84%(74%,90%)和84%(75%,90%))。大多数共识分级为正常的病例可能被指定为“轻度”(图S4)。

表4 读者组与共识对BSTI严重程度分类的一致性百分比 查看原表 ↗
图3 读者组与共识对BSTI严重程度分类的一致性百分比 查看原图 ↗

CXR变化的一致性(表5和图4)

专家共识参考发现,当配对CXR检查间隔仅一或两天时,大多数BSTI严重程度评分未发生变化。使用BSTI严重程度分类,所有组与共识的最高一致性为“无变化”,CCR、GCR、RSR和IDR的一致性百分比分别为66%、61%、44%和48%。

相反,使用Covid-RALES时,所有组别与共识一致性最高的是“评分增加”,CCR、GCR、RSR和IDR的百分比一致性分别为57%、59%、59%和47%。这最可能反映Covid-RALES所分配的单个类别数量更多。

表5 读者组别对BSTI严重程度分类和Covid-RALES变化的一致性百分比 查看原表 ↗
图4 频率图显示读者组别使用BSTI严重程度分类(a)和Covid-RALES(b)时对评分变化与共识的一致性 查看原图 ↗

讨论

迄今为止,关于COVID-19胸部X线检查(CXR)的研究要么报道其诊断准确性[6, 7],要么报道使用各种评分进行CXR严重程度评估的意义[4, 8–10],要么报道使用计算机视觉技术进行量化[11–13]。已有研究在顾问放射科医师中评估了COVID-19 CXR分类(包括BSTI分类,但不包括BSTI严重程度)的观察者间一致性[14],同时也有研究描述了根据放射科医师经验不同而产生的观察者间差异[15, 16]。值得注意的是,在一项病例对照研究中,Hare等人比较了七名顾问放射科医师(包括两名接受过专科培训的胸部放射科医师,后者提供参考标准)之间对BSTI分类的一致性。他们发现,CVCX2类别(κ = 0.23)和“非COVID-19”类别(κ = 0.37)仅获得一般一致性,但将CVCX2和CVCX3评分合并后改善了观察者间一致性(κ = 0.58)[14]。最近一项研究基于对其分类的回顾性审查,比较了急诊科临床医师和放射科医师(均为不同级别)使用“典型/可能”BSTI类别诊断COVID-19的敏感性和特异性(但未比较一致性)[17]。

我们的研究不同之处在于,它以使用CXR管理疑似COVID-19的三种潜在临床场景为核心。采用前瞻性多读者、多病例设计,我们确定了日常实践中承担CXR判读任务的四个临床组别的读者一致性,并将其与共识参考标准进行比较。首先,我们评估了当CXR成像不足以诊断COVID-19时,使用CXR对患者进行CT分诊的读者一致性。其次,我们使用两种评分(BSTI和RALES)检查了疾病严重程度的一致性。第三,我们研究了配对CXR是否能监测严重程度的任何变化。

当使用CXR根据我们预先指定的BSTI“不确定”判读类别来识别哪些患者需要CT时,与共识的一致性分别为低(28%至37%)或中等(58%至75%)。所有四个读者组别在识别不确定病例方面与共识的一致性相似,表明放射科医师的专业水平、专科领域或专业能力并未增强一致性。当将不确定病例与正常病例合并时,GCR和IDR组的一致性较低,因为GCR组将更多不确定病例判读为非COVID-19,而IDR组将更多病例判读为典型/可能COVID-19。

所有级别和类型的放射科医生对“正常”类别的认同度相似(尽管幅度不大),这表明在判定该类别时这些因素并不具有影响力。放射科医生似乎愿意将许多胸部X线片(CXR)视为正常,尽管假定为高患病率环境。令人欣慰的是,这表明患者处置若基于正常CXR判读,不太可能因放射科医生类别而产生很大差异。相反,感染科(ID)临床医生对正常CXR的较低认同度提示其倾向于总体异常,因为他们将正常CXR大多归类为“不确定”,但也有归为“典型/可能”COVID-19的。我们推测,感染科临床医生当前的疫情临床经验使其难以将CXR视为正常,即使在没有支持性临床信息的情况下也是如此。

相比之下,普通顾问放射科医生较不倾向于判定“典型/可能”类别,主要倾向于不确定类别。我们的结果与Hare等[14]有些不一致,后者发现七名顾问放射科医生对CVCX1类别的认同度很高。难以直觉理解对该类别(即使在高患病率环境中)判定持保留态度的原因,但可能部分归因于希望遵循该类别的严格定义,从而保持特异性。

严重程度评分可以量化影响患者管理的疾病波动,具有预后意义[8–10],也可用于临床试验。然而,只有当评分可靠时才可能实现这一点,这反映在读者对数值和变化的认同度上。对于我们的第二和第三个CXR临床场景,我们还发现,严重程度和变化的评估,以及因此CXR严重程度本身的评估,在使用任一严重程度评分系统的读者组和读者之间存在差异,但方式不同。BSTI严重程度无变化的认同度在所有读者组中最高,这可能并不令人意外,因为该分类的四级性质较不可能检测到细微变化。相反,Covid-RALES更精细的分级允许更容易地捕捉较小的严重程度增量。类别数量较多也会导致分歧;尽管如此,认同度仅为中等。

我们希望在实际临床环境中,使用连续到我院急诊科就诊的疑似COVID-19感染患者,来检验CXR的效用。我们的发现很重要,因为我们考察了CXR在单纯二元诊断COVID-19与非COVID-19之外的明确临床作用。相反,我们将CXR视为临床决策的辅助手段,以及临床和分子检测的补充。CXR对COVID-19具有中等合并敏感性和特异性(分别为81%和72%)[18],并且,在其他临床和诊断检测的背景下[19],这样的诊断准确性可以被认为是可取的。尽管胸部CT对诊断COVID-19具有更高的敏感性[18],但CXR已在英国和国际上被用于并研究这种分诊作用[20]。然而,我们的结果在使用CXR进行诊断时确实具有重要意义,因为判读似乎容易受到读片者间显著差异的影响。研究读片者变异性对于开发、训练和评估用于诊断COVID-19的人工智能算法也至关重要,例如目前正在使用国家COVID-19胸部影像数据库(NCCID)开展的工作[21]。

我们的研究存在局限性。感染病(ID)临床医生作为首批评估潜在COVID-19病例的临床医生,是唯一被评估的非放射科临床医生群体。虽然我们也希望评估急诊科和普通内科同事,但事实证明这不可行。然而,我们事先并不预期他们的表现会有所不同。我们的参考标准判读使用了两名胸部放射亚专科医生;像任何主观标准一样,我们的标准并不完美,但有先例[14]。我们指出,无论参考标准如何,我们关于读片者分类变异性的数据都是稳健的(见补充图S2和S4中的数据)。可以说,我们要求ID临床医生使用LCD显示器判读CXR,从而使他们处于不利地位,但这反映了正常临床实践。读片者可能孤立地关注BSTI诊断分类,而不是考虑其分类将如何用于决定患者管理的影响,但这同样反映了正常实践(因为放射科医生并不决定管理)。读片者没有直接比较系列CXR,而是孤立地阅读它们:我们注意到,当同时查看系列CXR时,监测疾病进展可能具有作用,但这一结果需要其他研究评估。

总之,在一个多样化的临床医生群体中,对于COVID-19 CXR分类的BSTI诊断分类,许多分类的一致性差异很大,程度之大可能使CXR使用此类分类进行分诊变得无效。随时间系列变化的一致性也为中等,这强调如果使用严重程度评分指导管理和预测结局,而这些评分是在孤立判读的系列CXR上赋予的,则需要谨慎解释严重程度评分的变化。

补充信息

ESM 1(DOCX 1216 kb)

引用

  1. Nair, Procter, Halligan, et al. Chest radiograph classification and severity of suspected COVID-19 by different radiologist groups and attending clinicians: multi-reader, multi-case study. Eur Radiol. 2022. PMID: 36282308. doi:10.1007/s00330-022-09172-w
  2. 全文:PMC9592875(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9592875/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。