文献速递胸部DR

COVID-19肺炎胸部X线严重程度评分:经验丰富与受训放射科医师间的变异性评估及用于人工智能算法开发的多读者复合评分数据库的创建

COVID-19 pneumonia chest radiographic severity score: variability assessment among experienced and in-training radiologists and creation of a multireader composite score database for artificial intelligence algorithm development.
PubMed 文献 · Br J Radiol · 2022-05-05

本研究回顾性纳入397例PCR阳性COVID-19患者的1208张胸部X线片,由6名经验丰富的心胸放射科医师和2名住院医师按4级严重程度分类。经验丰富医师间Kendall Tau为0.67-0.78,与Rad Med相关性0.79-0.88;住院医师间为0.66。仅18%的X线片六名医师分类完全一致,中等严重程度病例分歧最大。作者据此创建了多读者复合评分数据库(XCOMS)用于AI开发。

要点

  • COVID-19胸片严重程度4级分类在经验丰富放射科医师间一致性良好(Kendall Tau 0.67-0.78),但仅18%病例六名医师完全一致。
  • 中等严重程度病例一致性最低(仅6%一致),轻度和中度病例是分歧主要来源,可能影响AI训练标签质量。
  • 住院医师间一致性略低(0.66),且倾向于高估严重程度;经验可降低分类变异性。

核心结论

  • 经验和受训放射科医师在COVID-19肺炎严重程度分类上均显示良好的观察者间和观察者内一致性。
  • 中等严重程度病例观察到更高比例的分歧,可能影响AI算法的训练。
  • 多数AI算法基于单一专家标注数据训练,本研究表明COVID-19 X线严重程度分类在放射科医师间和住院医师间存在显著变异性与分歧。

研究设计与样本

  • 回顾性研究,连续收集2020年1月1日至2020年5月1日PCR阳性COVID-19患者的胸部X线片。
  • 最终纳入397例患者的1208张胸部X线片,平均年龄60岁(SD±16),50%为男性,多数为非裔美国人(297例,75%)。
  • 6名经验丰富的心胸放射科医师(均有10年以上胸片阅片经验)和2名二年级放射科住院医师对每张胸片进行严重程度分类。
  • 1名经验丰富的心胸放射科医师间隔4个月对全部1208张图像进行两次分类以评估观察者内变异性。
  • 以6名放射科医师评分的中位数(Rad Med)作为复合参考标准,用于创建多读者数据库(XCOMS)。

关键影像表现/征象

  • 按Rad Med评分,1208张胸片中142张(11%)为正常、359张(30%)为轻度、305张(25%)为中度、402张(33%)为重度。
  • 6名放射科医师间Kendall Tau为0.67-0.78,与Rad Med的相关系数为0.79-0.88。
  • 2名住院医师彼此间Kendall Tau为0.66,与6名放射科医师间为0.69-0.71,与Rad Med为0.73-0.74。
  • 1208张胸片中220张(18%)六名医师分类完全一致,707张(59%)最大差1级,259张(21%)差2级,22张(2%)差3级。
  • 中度(2级)病例仅6%一致,重度(3级)病例48%一致,轻度(1级)病例60%出现3级差异。

诊断标准与关键数值

  • 采用4级严重程度分类系统:正常(0)无肺部异常;轻度(1)中下肺区斑片状、常为外周性模糊影,累及最严重肺野<25%。
  • 中度(2)双侧外周中下肺区模糊影,累及最严重肺野约≥25%且≤50%;重度(3)双侧斑片状模糊影(气腔模糊影或实变),累及最严重肺野>50%。
  • Kendall Tau系数分级:差/高变异(τ<0.20)、一般/中等变异(τ 0.21-0.40)、中等一致/一般变异(τ 0.41-0.60)、好/低变异(τ 0.61-0.80)、很好/极低变异(τ>0.81)。
  • 观察者内一致性Kendall Tau为0.77;833张(69%)两次读片分类一致,367张(30%)差1级,7张(1%)差2级,1张(0%)差3级。
  • 放射科医师平均敏感度在正常、轻度、中度、重度类分别为0.43、0.49、0.41、0.41,标准差0.0-0.09。

临床应用与阅片要点

  • 经验丰富放射科医师对COVID-19胸片严重程度分类一致性良好,但仅18%病例六名医师完全一致,日常报告需注意中度病例分歧最大。
  • 住院医师倾向于高估各严重程度类别,与经验丰富医师的一致性略低。
  • 作者指出创建多读者标注的精确影像数据集耗时且成本高,复合标注方法可产生更稳健的训练集。
  • 作者认为该数据库可用于教育目的,以加强COVID-19相关肺炎评估的培训。

局限性

  • 研究纳入PCR阳性COVID-19患者的胸片,不依赖其病史,数据集可能包含有既存肺部疾病(如肺癌或肺气肿)患者的图像。
  • 作者指出未来研究将考虑每例患者的病史。
  • 原文在局限性段落末尾提及「a qualitative 4-class severity score was deve」,该句在提供的节选文本中未完整呈现。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Br J Radiol. 2022 May 5;95(1134):20211028. doi: 10.1259/bjr.20211028

引言

COVID-19疾病目前被认为是一种全球大流行病,全球病例超过1亿例。胸部X线片(CXRs)和CT等医学影像技术在COVID-19诊断中发挥重要作用。1–4 CXRs通常是可用的首选影像资源。5,6 美国放射学会(ACR)在其最近的COVID-19胸部影像使用指南中建议在门诊护理机构使用便携式CXRs。7 英国医学杂志(BMJ)建议对所有疑似COVID-19肺炎患者使用CXR。8 此外,CXRs越来越多地用于评估疾病严重程度和预后目的。9–12 这些研究表明,CXR可用于对疾病严重程度进行分类和预测患者结局。

据我们所知,很少有研究评估经验丰富的放射科医生和住院放射科医生在检测典型和非典型肺炎方面的观察者间和观察者内变异性。13 缺乏关于COVID-19严重程度分类变异性的信息可能会影响当前的临床环境和治疗计划,并可能限制开发有效的人工智能(AI)算法来协助放射科医生完成此项任务。Li等人的一项研究在多放射科医生阅片研究中表明,AI可以显著提高阅片者间一致性。14 AI在使用CXRs对COVID-19相关肺炎进行自动评估和监测方面可以发挥关键作用。9,15 许多AI算法已被开发用于COVID-19肺炎的检测和严重程度分类;然而,用于训练和验证的大多数数据库缺乏多阅片者评估和验证。例如,若干AI算法使用相同的在线可用数据集,导致相同的系统性误差和标注变异性。9,16 所用参考标准的变异性会在训练阶段引入偏倚,并在验证阶段引入阅片者变异性时降低准确性。17 目前有一些创建多阅片者数据库的倡议,例如为PXS评分所做的工作以及RSNA RICORD倡议。14,18 AI开发高度依赖于用于训练的数据的质量、数量和目标人群的代表性。17,19,20 外部验证在(COVID-19)AI研究中很少进行,但在临床实施前非常需要在目标人群中评估与放射科医生相比的准确性。21 因此,开发一个准确的多阅片者标注CXR数据库将极大地有助于提高参考标准的泛化性,并评估AI算法与多名阅片者相比的真实准确性。

本研究的目的是评估多名经验丰富的放射科医生和培训中放射科医生之间在CXRs上对COVID-19肺炎严重程度分类的观察者间和观察者内变异性,并创建一个适合AI算法开发的CXR COVID-19多阅片者复合评分数据库。

方法

数据收集

回顾性连续收集2020年1月1日至2020年5月1日期间COVID-19患者的胸部X线片(CXR)作为样本。纳入标准为:患者聚合酶链反应(PCR)检测阳性且拍摄了CXR,后前位或前后位投影具有诊断质量。排除标准如下:1)年龄<18岁。共纳入397例COVID-19阳性患者的1208张CXR。本研究仅纳入针对肺部评估优化窗设置的后前位和前后位投影CXR,排除侧位CXR。除CXR外,还收集了每位患者的以下临床数据:(1)年龄,(2)性别,(3)种族,(4)入院天数,(5)与COVID-19相关的死亡率。

机构审查委员会(IRB)豁免了知情同意的要求。所有图像均根据《健康保险流通与责任法案》(HIPAA)和医院特定指南进行了去标识化处理。此外,还移除了烧录在CXR上的日期和时间戳。所有这些图像也用于一篇已发表的文章。15 该先前文章涉及使用单次阅片开发人工智能(AI)算法,而在本文中,我们报告的是使用多名阅片者的阅片变异性。

数据标注

六名经委员会认证的胸心肺放射学专家,每位在CXR阅片方面拥有10年以上经验,被要求根据严重程度对每张CXR进行标注。此外,两名二年级放射科住院医师被要求对严重程度进行分类。一名胸心肺放射学专家(CNDC)进行了两次分类,间隔4个月以避免回忆偏倚,以评估观察者内变异性。

描述COVID-19严重程度评分的研究很少,然而,尚无在大规模可推广队列中得到验证的研究。10,11 我们基于COVID-19肺炎中最常见的异常表现选择了严重程度评级,并根据当前文献和临床发现对范围进行了更为概括的描述。1,4,12,22

Wong等人对64例PCR确诊COVID-19患者的一项回顾性研究显示,CXR上最常见的征象是实变(47%)和磨玻璃影(33%)。1 我们的严重程度分类主要关注实变和肺部受累范围,因为这些发现最能预测对肺功能的影响。严重程度分类采用4级系统:1,正常;2,轻度;3,中度;4,重度。正常定义为无肺部异常。轻度病例定义为中下肺野出现模糊影,呈斑片状且通常位于外周,累及最严重受累肺的不到25%。中度病例定义为双侧模糊影累及外周中下肺野,累及最严重受累肺约≥25%且≤50%。重度病例定义为斑片状双侧模糊影(含气腔模糊影或实变),累及最严重受累肺的50%以上。在阅片研究开始前,所有阅片者均收到了关于分类的信息,并可获取每个类别的多个示例。

数据标注使用内部平台进行,该平台为每位阅片者随机分配胸部X线片(CXR)。该平台(图1)允许根据评估者屏幕尺寸优化窗口大小。阅片者对每张CXR进行分类,并在进入下一病例前确认其分类结果。阅片者对临床数据和结局设盲。阅片在每位专科医生偏好的计算机上、按其方便进行。标注不要求一次性完成。

图1. 标注程序,以随机顺序向阅片者显示CXR,并允许他们根据疾病严重程度对每张CXR进行标注。该程序允许调整窗口大小,并可在阅片者需要时随时保存标注。CXR,胸部X线片。 查看原图 ↗

统计分析

为对严重程度分类进行定量分析,将各类别转换为0至3的等级参数(0=正常,1=轻度,2=中度,3=重度)。计算所有放射科医生评分的中位数评分(Rad Med)作为复合金标准。采用一致百分比和Kendall's Tau系数计算观察者间和观察者内变异性。Kendall's Tau系数在所有放射科医生与住院医师之间计算,并计算所有六名放射科医生平均分类(Rad Med)与每位个体阅片者的比较。我们研究了放射科医生与住院医师对每张CXR的分类差异,并评估了哪些病例在多名阅片者和多次阅片之间存在差异。系数等级定义为:一致性差/变异性高(τ:<0.20)、一致性尚可/变异性中等(τ:0.21至0.40)、一致性中等/变异性尚可(τ:0.41至0.60)、一致性好/变异性低(τ:0.61至0.80)以及一致性很好/变异性极低(τ:>0.81)。阅片变异性高与一致性低相关,并导致相关系数较低。此外,采用非参数χ2或Kruskal–Wallis检验评估不同组间临床变量的差异。为研究放射科医生标注的差异,我们选择五名阅片者并将其中位数视为真实标签,计算其余阅片者的混淆矩阵。我们通过置换中位数中的放射科医生重复此过程,并取混淆矩阵值的平均值和标准差。所有数据分析均使用统计软件包(SPSS,v. 26)。p值<0.05视为有统计学意义。

结果

因图像质量删除19张CXR,因窗宽窗位问题删除1张CXR。其余18张图像因图像中肺野关键部分不可见(例如患者体位或外部设备遮挡)而被排除。最终数据集包括来自397例患者的1208张图像,平均年龄60岁(SD=16岁),其中50%为男性。大多数患者为非裔美国人(297例(75%))。表1显示397例患者的人口学特征。根据Rad Med评分(六名放射科医生分类评分的平均值),该1208张CXR数据集包括142例(11%)正常、359例(30%)轻度、305例(25%)中度和402例(33%)重度病例。

表1. 患者人口学特征 查看原表 ↗

观察者间变异性

图2显示了六位放射科医师和两位住院医师之间的所有观察者间变异性。此外,还显示了放射科医师中位评分(Rad Med)与个体放射科医师及住院医师之间的观察者间变异性。

六位放射科医师之间的观察者间变异性较低,范围为0.67至0.78,表明一致性良好。相对于所有放射科医师的中位评分,六位放射科医师的相关系数范围为0.79至0.88,反映变异性较低。两位住院医师彼此之间的观察者间变异性为0.66,与六位放射科医师之间的范围为0.69至0.71。相对于Rad Med评分,两位住院医师的相关系数范围为0.73至0.74。在所有情况下,住院医师的相关系数略低于经验丰富的放射科医师。

在六位放射科医师评估的1208例胸部X线片(CXR)中,220例(18%)分类一致。对于707例(59%)、259例(21%)和22例(2%)CXR,最大类别差异分别为1、2或3个类别。图3显示了类别差异为0、1、2或3的不一致病例示例。类别差异组之间唯一不同的人口学特征为年龄(p < 0.001)(表2)。然而,类别差异组之间的中位严重程度评分(Rad Med)存在差异(p = 0.042)。与0和1类别差异组相比,2和3类别差异组中严重程度评分为0和3的频率较低。与0和1类别差异组相比,2和3类别差异组中严重程度评分为1和2的频率增加。比较Rad Med评分与各类别之间类别差异的分布显示,各评分之间的类别差异存在显著差异(p < 0.001)(表2)。中度(2)类别仅在6%的病例中显示一致,而重度(3)类别为48%,轻度(1)病例在60%的病例中显示3个类别差异。

在2位住院医师评估的1208例CXR中,750例(62%)分类一致,411例(34%)和47例(4%)分别有1和2个类别差异。两位住院医师之间没有严重程度评分出现3个类别差异的病例。仅在66%(住院医师1)和65%(住院医师2)的病例中,Rad Med与住院医师评分相似;在31%(住院医师1)和32%(住院医师2)的病例中,评分有1个类别差异。在594例(50%)CXR中,住院医师和放射科医师的中位评分相同;在578例(48%)和36例(3%)CXR中,住院医师与放射科医师中位评分分别有1和2个类别中位差异。

不仅严重程度分类因病例而异,图4显示了每位放射科医师的严重程度分类分布,表明放射科医师之间以及住院医师与放射科医师之间的分布存在变异性。

如图5所示,放射科医师的平均敏感度在正常、轻度、中度和重度类别中分别可低至0.43、0.49、0.41和0.41。各分类和各位放射科医师的标准差在0.0至0.09之间不等。混淆矩阵显示,取决于不同的放射科医师,会出现高估或低估的情况。放射科医师2和5表现出高估COVID-19严重程度的迹象,而放射科医师4和6表现出低估的迹象。无论是高估还是低估,最大变异均出现在中度严重程度类别附近。两位住院医师均表现出对每个类别COVID-19严重程度的高估。

图2. 六位放射科医师(Rad 1–Rad 6;黄色方块)和两位住院医师(Res 1和Res 2)的Kendall秩相关系数可视化。Rad Med行表示每位读者与所有六位放射科医师分类中位数(Rad Med)的相关性 查看原图 ↗
图3. 观察者间变异性——六位放射科医师严重程度标注中0、1、2和3类差异的示例。图像下方给出了严重程度评分范围以及所有放射科医师合并评分的中位数(Rad Med) 查看原图 ↗
表2. 放射科医师严重程度标注分类差异概览 查看原表 ↗
图4. 读者严重程度分类的分布。如图所示,各读者之间标签分布存在显著差异。例如,Rad 2和Rad 3偏向重度类别,而Rad 1、Rad 6的标签分布接近均匀。 查看原图 ↗
图5. 放射科医师和住院医师的混淆矩阵。对于每位放射科医师,其他五位放射科医师作为参考标准。这些矩阵表明,性能指标受到因使用不同放射科医师组合所引起的参考标准变化的影响。 查看原图 ↗

观察者内变异性

一位放射科医师对所有1208张图像进行了两次评估,得到的Kendall's Tau系数为0.77,代表观察者内变异性。在833张(69%)胸部X线摄影(CXR)中,第一次和第二次阅读之间的严重程度标注分类差异为0。在367张(30%)、7张(1%)和1张(0%)中,严重程度标注分类差异分别为1、2和3。各分类差异组之间的人口学特征均无显著差异。图6显示了分类差异为0、1、2或3的不一致病例示例。表3显示了观察者间和观察者内评分之间分类差异的概览。大多数CXR在观察者间和观察者内分析之间显示相似的严重程度分类(433张(35%))或1类差异(583张(48%))。

图6. 观察者内变异性。严重程度标注中0、1、2和3类差异的示例。图像下方给出了两次阅读的严重程度评分以及所有六位放射科医师合并评分的中位数(Rad Med)。 查看原图 ↗
表3. 观察者间和观察者内严重程度分类评分之间分类不一致概览 查看原表 ↗

讨论

本研究探讨了经验丰富的放射科医生和处于培训阶段的放射科医生在COVID-19肺炎严重程度分类中胸部X线(CXR)的观察者间和观察者内变异性。此外,还创建了一个用于COVID-19严重程度的多读者复合评分(Rad Med),以用于人工智能算法的开发(XCOMS数据库)。我们的结果表明,经验丰富的放射科医生显示出良好的观察者间变异性;而两名住院医师的相关系数略低。尽管显示出良好的变异性,但在比较经验丰富的放射科医生的评分时,所有CXR中有82%存在分类不一致,其中59%显示相差1个类别。严重程度分类的不一致除年龄外与任何人口学特征均无关,但受严重程度水平的显著影响。正如预期的那样,正常和重度类别在读者之间的一致性最高(68%一致),而中度病例的一致性最低(6%),轻度病例在60%的CXR中显示相差3个类别。

考虑到许多科学学会推荐使用CXR进行COVID-19肺炎的诊断和管理,了解观察者间和观察者内变异性与日常临床实践和人工智能开发均相关。7,8 据我们所知,已发表的研究中很少有针对放射科医生使用CXR检测社区获得性肺炎的观察者间和观察者内变异性的调查。Moncada等人发现,对于社区获得性肺炎,采用半定量方法时观察者间变异性为0.72,观察者内变异性范围在0.61至0.85之间。13 在我们关于COVID-19肺炎的研究中,我们使用类似的半定量分析观察到了相当的观察者间和观察者内变异性。使用明确界定的基于类别的判读相比临床实践中使用的描述性分析的优势在于降低变异性。

一项较早的研究探讨了人工智能对154例CXR上COVID-19严重程度分类的放射科医生间评分者一致性的影响,该研究使用了多位胸部或急诊亚专科放射科医生,结果显示评分者间一致性较低(Fleiss k = 0.40),其中胸部放射科医生的一致性略高,为0.50,而急诊放射科医生为0.25。14 这也表明,与我们的研究类似,经验可降低变异性。

Cohen等人开展的一项关于使用深度学习预测CXR上COVID-19肺炎严重程度的研究也进行了多读者分析,使用了两名放射科医生和一名住院医师对94例CXR进行判读。他们显示使用磨玻璃影评分时观察者间一致性为0.45,使用范围评分时为0.71。然而,他们使用的样本量有限,且将经验丰富的放射科医生和培训中的放射科医生合并分组,限制了其关于读者表现结果的有效性。12

在我们的研究中,观察者间变异性良好(0.69–0.81),并且正如预期的那样,经验丰富的放射科医生相比住院医师变异性更高。然而,仅在18%的病例中,全部六位经验丰富的放射科医生对严重程度分类达成一致。在59%的病例中,六位放射科医生之间的严重程度标注仅存在1个等级的差异,而在23%的病例中存在2个或更多等级的差异。这些差异不太可能影响诊断和临床管理,尽管它可能对AI算法的训练和结果产生重大影响。在142例正常病例中(根据Rad Med评分),仅有31%的病例在放射科医生之间显示0等级差异。这表明对于69%的正常X线片,放射科医生对COVID-19严重程度存在意见分歧。正常与异常的区分可能对决策和管理产生最大影响。然而,我们的结果也显示,在63%的正常病例中仅显示1个等级差异,且大多数被分类为正常或轻度。严重程度分类差异最大的病例,大多来自中间组(轻度和中度等级),这是根据全部六位放射科医生的中位分类评分确定的。

评估每位放射科医生相对于其他放射科医生的准确性时,较高的标准差(例如Rad 5对中度/重度等级的0.09)表明,根据选择不同的阅片者,参考标准(即5位阅片者的中位数)可能显著变化并影响性能指标。因此,在训练和评估用于该疾病严重程度评估和诊断的AI方法时,应考虑这一问题。然而,研究已表明AI也可以帮助减少放射科医生之间的变异性,如Li等人所示,使用AI模型进行COVID-19严重程度评估将Fleiss k从0.40提高到0.66。

观察者内变异性为0.77,833例(69%)胸部X线片在第一次和第二次阅片之间显示一致的结果。仅在8例(1%)中,两次阅片之间存在大于1个等级的差异,表明一致性极好。这清楚地表明在AI开发中使用多阅片者参考标准的必要性,因为同一位经验丰富的放射科医生的两次阅片在31%的病例中显示不一致。

在培训中的放射科医生与经验丰富的放射科医生相比,在严重程度分类方面表现出略高的变异性,表明经验可以减少严重程度分类的变异性。仅在66%(Res 1)和65%(Res 2)的病例中,Rad Med与住院医师的评分相似;在31%(Res 1)和32%(Res 2)的病例中,评分存在1个等级的差异。混淆矩阵显示,与放射科医生相比,在培训中的放射科医生对每个等级的严重程度均存在高估。该数据库可用于教育目的,以加强对COVID-19相关肺炎评估的培训。

目前大多数用于COVID-19检测的人工智能研究都是使用单阅片者训练集开发的,这引发了对正确数据标注和参考标准可变性的担忧。例如,美国国立卫生研究院临床中心提供的ChestCXR14数据集(包含30,805张胸部X线片)是常用的人工智能训练数据库。然而,该数据集可能不适合用于训练医学人工智能算法进行诊断工作,主要原因是正确标注存在问题。23 Pooch等人的一项研究提出了类似的担忧:他们表明90%的肺癌误诊发生在胸部X线片上,通常由阅片者错误导致。24他们在多个胸部X线片数据库上训练和测试了多个神经网络,结果准确率比最初报告的值低10%–30%。错误的标签提取是最常见的错误。使用多名经验丰富的放射科医师创建准确的影像数据集是一项耗时且昂贵的工作;像我们案例中采用的复合标注方法可以产生更稳健的训练集,并为标注过程提供进一步见解,从而为人工智能训练和外部验证创建经过精选且透明的数据集。目前有一些创建多阅片者数据库的倡议,例如RSNA国际COVID-19开放放射学数据库,18该数据库包含来自四个国际中心的1000张胸部X线片,标注来自三名放射科医师。XCOMS的独特之处在于使用了大量胸部X线片,标注来自六名放射科医师和两名住院医师,使人工智能训练和验证能够考察人工智能在考虑参考标准可变性的情况下是否能优于放射科医师和住院医师。XCOMS数据库目前正在扩展至5000例以上,包括每个肺叶的严重程度评分。数据集完成后,将可用于人工智能算法开发和教育目的。

局限性

本试验存在若干局限性。首先,该研究纳入了PCR COVID-19检测阳性患者的胸部X线片,与其病史无关。因此,数据集可能包含已有肺部疾病(如肺癌或肺气肿)患者的图像。然而,选择这种方法是为了代表COVID-19患者的临床样本。在未来的研究中,将考虑每位患者的病史。其次,开发并使用了定性4级严重程度评分进行分类,其他使用的严重程度评分可能产生不同结果。未来研究应调查其他严重程度评分的可重复性和实用性,包括完全定量方法。最后,仅使用一名阅片者评估观察者内变异性,需要更大规模的研究来确认这些结果并进一步提高普适性。

结论

本研究表明,尽管经验丰富和正在培训的放射科医师在COVID-19肺炎胸部X线片严重程度分类上表现出良好的相关性,但在严重程度分类上存在显著分歧。中度病例中观察到更高比例的分歧,这不太可能影响临床决策,但可能影响人工智能算法的训练。所开发的多阅片者复合严重程度评分数据库可能克服这一局限性。

引用

  1. van Assen M, Zandehshahvar M, Maleki H, et al. COVID-19 pneumonia chest radiographic severity score: variability assessment among experienced and in-training radiologists and creation of a multireader composite score database for artificial intelligence algorithm development. Br J Radiol. 2022. PMID: 35451863. doi:10.1259/bjr.20211028
  2. 全文:PMC10996404(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10996404/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。