改进基于人工智能的X线摄影验证的参考标准
该研究纳入1100张来自印度五家区域中心的正位胸片,由六名美国放射学委员会认证的放射科医师独立判读六项表现,比较个体判读、小组多数投票及异步裁决对观察者间一致性的影响。结果显示小组多数投票较个体判读提高一致性,两轮异步裁决可解决多数分歧并进一步改善部分表现的可重复性。作者认为在将判读用作人工智能工具验证的参考标准前,需考虑观察者间一致性的可能性。
要点
- 小组多数投票较个体判读可提高所有六项胸片表现的一致性。
- 两轮异步裁决可解决多数分歧,对心脏增大、骨折和气胸的一致性改善较明显。
- 在无明确金标准时,建立人工智能验证参考标准需考虑观察者间一致性的固有局限。
核心结论
- 即使在美国放射学委员会认证的放射科医师小组内,观察者间一致性的可能性也必须在判读用作人工智能工具验证的参考标准之前加以考虑。
- 通过针对不同表现应用多数投票、最大敏感度或异步裁决,可提高一致性和可重复性,从而支持更高质量的临床研究。
研究设计与样本
- 回顾性研究,使用来自印度一家大型医院集团五个城市五家区域中心的1100张去标识化正位胸片,共1100例患者。
- 由九名美国放射学委员会认证的放射科医师分为两个研究组,每组随机选取三名医师组成小组,对每张图像独立判读六项表现:气腔 opacity、心脏增大、肺水肿、骨折、结节和气胸。
- 每张图像先由六名放射科医师独立判读,再由两个三人小组分别通过基于网络的异步裁决解决组内分歧,最多两轮,第一组额外进行最多三轮以评估更多轮讨论的影响。
- 以Krippendorff's α衡量一致性,个体判读一致性通过每组随机选取一名读者重复100次取平均计算。
关键影像表现/征象
- 气腔 opacity 的组间一致性从个体判读的 α=0.44 提高到小组多数投票的 α=0.62。
- 心脏增大的一致性从 α=0.51 提高到 α=0.66,骨折从 α=0.51 提高到 α=0.64。
- 气胸的一致性从 α=0.37 提高到 α=0.51,但仍有改善空间。
- 水肿和结节在多数投票后一致性仍低,分别为 α=0.30 和 α=0.37。
- 骨折采用最大敏感度投票时两组间一致性最高,α=0.75。
诊断标准与关键数值
- 个体读者间一致性(Krippendorff's α)范围从主观表现的 α=0.18–0.23 到较客观表现的 α=0.51。
- 多数投票后,气腔 opacity α=0.62、心脏增大 α=0.66、骨折 α=0.64、气胸 α=0.51、水肿 α=0.30、结节 α=0.37。
- 最大敏感度投票下,心脏增大、水肿和气胸的一致性有类似改善,气腔 opacity 和结节无或极小改善,骨折的组间一致性最高为 α=0.75。
- 两轮裁决后,骨折的组间一致性从0.64升至0.74,水肿从0.30升至0.44,心脏增大从0.66升至0.68,气腔 opacity 和气胸无显著变化,结节一致性下降。
临床应用与阅片要点
- 原文指出,判读的主观性来源于图像感知变异、培训差异、个体主观性及分类标准不统一,建立参考标准时应考虑这些因素。
- 分歧可分为检测、阈值和分类三类,检测分歧在裁决中倾向于快速解决,阈值分歧持续时间较长,可通过清晰定义减少。
- 原文认为异步裁决具有避免协调繁忙临床日程的实际好处。
- 原文结论指出,在将判读用作人工智能验证参考标准前,必须考虑观察者间一致性的可能性。
局限性
- 原文未报告局限性。
全文中译12 节 · 点击展开
引言
放射学图像的解读涉及主观性,原因在于人类图像感知的变异性。1,2 即使采用标准化的解读指南,最常进行的放射学影像检查——胸部X线摄影——的解读仍表现出较差的阅片者间一致性。3,4 变异性的原因包括成像方式本身的固有局限性、放射科医师培训的差异、阅片者的个体主观性以及分类所见非标准化的指南。3–6 这种阅片者间变异性对临床研究和患者诊疗均有影响。
开发放射摄影深度学习算法的研究团队7–12日益致力于实现独立的、“放射科医师水平”的准确性;胸部成像因可获得大型数据集而广受欢迎。然而,用于验证这些算法的参考标准(也称为金标准或“标签”)需要加以审视,因为在许多临床情境中并不存在金标准。13 胸部X线摄影解读因其固有局限性,往往是参考标准的唯一可行来源。该金标准中的不准确性必然降低验证的质量,并进而降低所得算法的质量。14
通常,参考标准提取自临床放射学报告或由一名或多名阅片者对图像重新解读(此时金标准由专家小组多数意见界定)。9 在研究环境中解决不同解读的另一种方法是裁决,即阅片者协作解决分歧,可辅以或不辅以病理或临床结局等补充临床数据。15 特别是,由专家小组进行的裁决(也称为“仲裁”或“共识”)被认为是在其他成像方式中图像解读的高质量参考标准。13 然而,在缺乏数据的情况下,其固有问题的(例如,由强势领导者引入的偏倚和确认偏倚)已被讨论,并提出了替代方案。16 一种潜在的替代方案是盲法、异步裁决:通过网络进行多轮匿名小组讨论以就所见达成一致。17
在本研究中,我们试图比较多种方法的使用,以在六项重要的胸部X线摄影所见中最大化标签一致性:气腔 opacity、心脏增大、肺水肿、骨折、结节和气胸。我们研究了:(1) 通过多数投票(或其他投票方法)的阅片者小组是否比单个阅片者表现更一致;(2) 盲法、异步裁决能否进一步提高一致性,以及多轮裁决后发生了什么变化;(3) 使用该方法后小组内分歧解决的速度如何;(4) 哪些因素作为小组内或小组间变异的典型来源起作用。因此,我们的研究通过量化不同方法在产生一致参考标准方面的影响,扩展了关于阅片者变异性的现有文献。
方法与材料
数据准备
本研究使用了来自印度一家大型医院集团五个城市五家区域中心的回顾性去标识化后前位胸部X线摄影图像集(表1)。所有参与机构均获得了机构伦理委员会(相当于印度机构的机构审查委员会)对本回顾性研究的批准。
由于在实际工作中任何给定的异常发现都只出现在少数病例中,我们针对六项感兴趣的发现对数据集进行了富集:气腔密度增高、心脏增大、肺水肿、骨折、结节和气胸。骨折和气胸的发现常常因检测难度(即难以发现)而复杂化;心脏增大和水肿因阈值判断困难(即对检测到的发现是否真实和/或显著存在主观性)而复杂化;密度增高因分类非特异性(即检测到的密度增高代表何种发现存在模糊性)而复杂化。由于胸部X线摄影的固有局限性(例如与CT相比),肺结节受到所有这三个问题的影响。
关于肺水肿(水肿)的识别,初步数据表明“轻度”与“无”水肿之间存在高度不一致,这与轻微血管和间质突出这些细微且难以发现的征象以及混杂采集伪影的普遍存在有关。鉴于这些观察结果以及检测中度水肿具有更大的临床意义,本研究考虑“至少中度水肿”的发现。
为富集数据集,我们提取了包含与每种情况相关的多种关键词的临床放射学报告,并由一名未参与本研究其余部分的阅片者审阅病例以确认异常发现的提及。对报告的这项初步审阅仅用于富集,与本研究的图像判读无关。总共选取了600例“可能正常”和500例“可能异常”,共计来自1100名患者的1100幅图像。每种发现的“可能异常”病例大致数量和估计富集情况见补充表1。在这些图像中,有434幅还被用于另一项涉及深度学习的研究中的模型训练。18该研究训练数据的标注由不同的放射科医师单独完成,他们均未参与本研究。
研究设计
我们的研究包含以下阶段:首先,每幅图像由六名获得美国放射学委员会认证的放射科医师(“阅片者”)独立审阅,两个专家组各三名(每个研究组一个专家组)。然后分析数据以评估单个阅片者一致性、使用多数投票的组间一致性以及使用“最大灵敏度”投票的组间一致性;见统计分析。最后,每个专家组的三名阅片者进行多轮讨论(“异步裁决”)以解决组内分歧。随后评估组间一致性在各轮讨论中的变化。
研究的两个组:由两个独立专家组的判读
审阅者由九名放射科医师组成,分为四个和五个放射科医师的两个队列,各代表一个独立的研究组(“第1组”和“第2组”)。第1组和第2组的放射科医师平均分别有9年和6年经验,范围分别为7–21年和3–11年。对于每个组,由三名随机选取的放射科医师组成的小组审阅每幅图像。这导致每幅图像有两组各三次判读,且组间无重叠。
图像判读通过基于网络的医学数字成像和通信(DICOM)查看器以全分辨率进行。可使用标准的图像归档和通信系统(PACS)工具,包括窗宽/窗位工具、平移和缩放。要求判读者将六项发现分别标记为“存在”或“不存在”,对于结节和气胸另设第三个“不确定”选项。同时还收集了发现的严重程度或位置等详细信息。
各组的远程异步裁决
在每位判读者独立提供初步标记后,每个专家组分别(专家组之间不进行讨论)通过远程异步迭代流程对分歧进行裁决。具体而言,在每一轮裁决中,每位判读者(每轮以随机顺序)对图像进行标记并留下评论。这些关于发现的标记和评论对其他判读者可见,判读者据此讨论并解决分歧。为避免偏倚,判读者对其他判读者的身份设盲。
在每组中,裁决最多进行两轮(图1),若所有发现在存在与否及附加细节(如位置和严重程度)方面均达成共识,则提前停止。包括初步判读在内,每个研究组最多可见三位放射科医师的九次图像判读。第1组对任何未解决的发现进一步进行最多三轮额外裁决,以评估更多轮讨论的影响。为本研究的分析目的,裁决轮次结束时任何剩余分歧均通过多数投票解决。该流程的异步特性使判读者能够灵活安排时间对图像进行标记,无需协调多个临床日程。
统计分析
总结各组的初步判读
两个研究组各由随机选取的三位放射科医师提供初步、独立的图像判读。为总结各组的初步意见,我们比较了两种“投票”程序:“多数投票”和“最大敏感度”。在常用的“多数投票”中,仅当两或三位判读者指示某发现存在时才报告为阳性发现。“最大敏感度”投票程序若三位判读者中任何一位指示某发现存在,则结果为阳性发现,其假设是检测问题可能由每张图像最敏感的判读者准确捕捉(例如,可能只有一位判读者标记了结节或细微骨折)。
一致性测量
在缺乏明确金标准真实参考的情况下,我们的分析涉及测量两组之间的一致性,例如第1组与第2组,或裁决前第1组与裁决后第1组。为测量一致性,我们计算了Krippendorff's α(α或⍺,使用nltk Python软件包v. 3.2.2计算),该指标比其他一致性指标更好地处理了每幅图像评估时读者构成可变的问题。19 取值范围从0.0(表示完全缺乏可靠性)到1.0,表示完全可靠/一致。值得注意的是,α具有强调罕见发现一致性的优势;尽管大多数图像对任何给定发现均为阴性,但即使是α约为0.3的发现,其总体一致性也超过70%。
对于个体读者间一致性,α的计算方式是每组每幅图像随机选取一名读者,以便在相同观察数量下与汇总的小组意见进行比较。此过程重复n = 100次并取平均值。
有两项发现(结节和气胸)允许读者选择“不确定(Hedge)”意见以替代“存在”或“不存在”。为确保一致性统计在各发现之间具有可比性,并考虑到不确定意见对临床决策的影响,本分析中将不确定意见视为“存在”来计算α。
结果
放射科医师的初步判读
在我们研究的两个组中,每组均由3名委员会认证的放射科医师对1100张正位胸片进行6项发现(气腔 opacity、心脏增大、水肿、骨折、结节和气胸)的评估。第一组读者的多数投票认为11幅图像图像质量差,这些图像被排除在研究其余部分之外。另有6幅图像因与图像内容无关的技术困难而被排除。个体读者之间的一致性(以Krippendorff's ⍺衡量)范围从较主观发现的⍺=0.18–0.23到较客观发现的⍺=0.51(表2)。
我们将读者之间分歧的原因归类为检测差异、阈值判断差异或分类差异。检测差异与是否发现并标记某项发现有关,例如细微骨折。阈值判断指关于异常存在或显著性的主观性,例如细微密度是否为“真实”的且可能为小肺结节。分类差异与对给定异常的解释有关,例如清晰可见的 opacity 代表感染相关实变还是肺泡性水肿。分歧的主要原因因发现而异,从骨折的纯检测差异到水肿的阈值判断差异以及气腔 opacity 的分类差异(表2和表3)。对于细微发现(例如气腔 opacity 和水肿)的临床相关性存在一些意见分歧,这强调了制定标注指南以明确主观发现所需判读标准的重要性。
小组多数投票的比较(组间)
接下来,我们评估了裁定前两个阅片小组各自内部多数意见的一致性。与独立阅片相比,一致性在以下方面有所改善:空气腔隙性模糊影(从⍺=0.44升至0.62)、心脏增大(从⍺=0.51升至0.66)和骨折(⍺=0.51升至0.64),而气胸的一致性虽有提高但仍存在改善空间(从⍺=0.37升至0.51)。尽管有所改善,水肿和结节的一致性仍然较低,分别为⍺=0.30和⍺=0.37(表2)。各研究组对每种病变判定为阳性的病例数见图2的维恩图(标注为“裁定前”的列)。有趣的是,各小组的最大敏感度判读(见方法部分)在心脏增大、水肿和气胸方面显示出一致性的类似改善,但在空气腔隙性模糊影和结节方面无改善或改善极小。值得注意的是,对于骨折,两个小组的最大敏感度意见具有最高的小组间一致性,⍺=0.75(表2)。
各研究组内裁定的效果(轮间)
在提供初步意见后,各研究组的小组对存在分歧的病例进行了裁定(每组每种发现的病例数见补充表2),在两个研究组的所有发现中,大多数分歧(88%)在快速内解决(两轮讨论内)(图3)。在两个研究组中一致观察到,裁定后除水肿外所有发现的初始判读为阳性的病例数均增加,而水肿则减少(例如在研究组1中,水肿减少6%,其他发现增加8–66%,总体数量见图3)。
点击此处获取补充数据文件。
点击此处获取补充数据文件。
接下来,我们评估了分歧解决的成因,包括多数意见判为“存在”和判为“不存在”的病例(图4)。虽然在大多数发现中均观察到从多数意见“升级”(“不存在”转为“存在”)和“降级”(“存在”转为“不存在”),但骨折几乎总是解决为“存在”;如果任何阅片者提示骨折存在,小组中其他阅片者在裁定后通常会同意。然而水肿和结节呈现相反趋势;大多数多数意见为“不存在”的结节病例最终裁定为“不存在”,尽管许多分歧(特别是超过第一轮讨论后)倾向于裁定为“不确定”(图4和图5)。对于水肿,大多数分歧倾向于裁定为“不存在”。
含气腔隙 opacity 除了总体趋势外还有其他细微差别,主要涉及两个分类问题(补充图1)。第一,关于 opacity 亚型的分类存在分歧[例如肺不张与实变(肺炎)]。第二,在一般状况较差的患者中(例如重症监护病房中可能同时存在肺水肿和局灶性肺炎的患者),水肿、结节和非结节性 opacity 存在重叠或共存。这些情况反映了临床实践中预期和已知的困难领域,裁决在大多数情况下解决了分歧。对于 opacity 亚型,最常见的结果是肺不张、hedge(一般介于肺不张与实变之间)和无(即任何发现均为阴性,但可能存在慢性瘢痕)。对于重叠病例,结果归结为仅间质性水肿、仅 opacity 以及间质性水肿与 opacity 共存三种情况的混合(表3)。
裁决后两组间的比较(组间比较)
最后,我们评估了两轮裁定后两个研究组之间的小组间一致性。与每个小组的多数投票相比(表2),骨折(从0.64升至0.74)和水肿(从0.30升至0.44)的一致性显著提高。心脏增大的一致性略有改善(0.66–0.68),而气腔 opacity 和气胸的一致性无明显变化。结节的一致性下降;经详细检查,第二组始终更倾向于对潜在结节持保留态度,而非判定为“缺失”。图5展示了每种发现的示例图像,图6绘制了各轮讨论中小组间一致性的趋势。
为将这些结果与以下观察相协调——即两个研究组在裁定过程中均出现了快速解决分歧和阳性发现增加的相同趋势——我们将两个研究组之间阳性发现的重叠情况进行了可视化(见图2中标记为“裁定后”列的维恩图)。除骨折外,第二组对其余五项发现的敏感性显著更高,始终显示相对于第一组有额外阳性发现,增加范围为25至37例(心脏增大和气胸),至50–66例(气腔 opacity、水肿和结节)。有趣的是,尽管第二组在裁定过程中有许多阳性发现被“移除”(例如,最初水肿阳性的116例中有33例被裁定为阴性),情况仍然如此。
讨论
我们探索了多种基于小组的胸片判读裁定方法,以确定能最大化观察者间一致性和“金标准”质量的方法。我们的主要发现为:(1)基于小组的多数投票相对于个体阅片者提高了一致性;(2)尽管相对于个体阅片者有改善,但两个放射科医生小组的多数投票在若干主要发现上仍经常不一致;(3)最大敏感性投票程序对某些病变实现了高小组间一致性;(4)裁定快速解决了许多分歧,通常在2轮讨论内;(5)裁定改善了大多数但非所有研究发现的组间一致性。
值得注意的是,我们以关于小组间变异性的数据——即独立小组意见一致的程度——补充了先前关于观察者间变异性的认识。这些数据表明,裁定在提高胸片判读中多种发现的参考标准的一致性和可重复性方面具有价值,同时也表明胸片主观图像判读存在固有局限性。
在裁决过程中观察到三类主要分歧:检测、阈值判定和分类。检测分歧描述初始判读期间发生的“漏诊”。即使只有一名读者检测到该发现(例如细微骨折),裁决也倾向于快速解决差异(图3,骨折子图),提示检测错误有可能通过扩大 panel 规模进一步减少。阈值判定分歧描述关于异常是否“真实”或具有显著性的主观性,例如“轻微间质突出”应归类为“正常”还是“轻度肺水肿”,或细微密度是否为肺结节。这些分歧通过裁决有所减少(例如图3,气腔 opacity 和心脏增大),但往往比检测分歧持续更久。此类分歧可通过明确定义(即哪些具体发现应构成“轻度”与“无”水肿)来减少。分类分歧主要涉及检测到的异常代表气腔 opacity 还是水肿,并倾向于通过裁决解决(表3)。
我们通过基于网络的系统进行的异步裁决方法凸显了技术对放射学的另一项益处。该系统的“异步”性质具有实际优势,即避免了对齐繁忙临床日程的需要,而随着 panel 规模增大,这项任务会变得困难得多。作为基于网络的系统,地理上分散的读者可以参与,可能增加研究中培训背景的多样性。使用基于文本的评论进行读者间交流能够实现读者身份盲法,以减少“房间内主导声音”现象,这在由不同经验水平成员组成的 panel 中仍是一个问题。16 最后,每个审阅“轮次”都涉及该读者的“双读”,因为该“轮次”发生在一段时间之后,而不是在同一会话中立即进行。尽管读者之前的评分和评论可见,但读者有机会重新评估图像,尽管代价是额外一次阅读的时间。
多种复杂问题可导致胸部X线图像判读的变异性,20,21 包括该模态的固有局限性,包括噪声、有限的空间分辨率和低对比度分辨率(限制不同身体组织之间的对比度),以及解剖重叠和病变重叠(例如感染或肿瘤可能看起来完全相同)。22 观察者间变异性还由培训、操作点(即固有敏感性和特异性阈值)和技能差异驱动。最后,尽管我们的工作未涉及该主题,但放射科医师被训练在不同临床背景下判读图像,这直接影响所选结局和影像检查本身的固有价值。23,24
观察者间变异性的影响同时涉及临床决策和临床研究。在临床实践中,双读已被不同程度地用于实现更高的一致性和判读准确性。25 在研究领域,胸部X线摄影深度学习算法的开发与验证通常依赖于多数投票甚至单一阅片者来进行算法验证。10 随着深度学习在医学影像中的应用不断增多,其严格评估正变得日益关键。我们的研究强烈提示,算法验证应利用比通常所用更高可靠性的参考标准,即通过多位专家的共识来建立。个体阅片者的意见对于“难以发现”的征象(这些征象往往非常重要)可能尤其不足。
具体针对胸部X线摄影,当临床结局难以获取时,我们建议采用以下方法确定影像参考标准。对于骨折(或程度较轻的气胸)等检测任务,假阴性可能带来重大且即时的临床后果,采用初始意见的“最大灵敏度”投票程序可获得极高的专家组间一致性(表2)。对于基于阈值存在显著差异的任务(如水肿和心脏增大),应仔细明确公认的阈值,专家组共识可能最为合适。对于具有分类主观性的任务(如磨玻璃影亚型分类和结节判定),专家组的多数投票可能已足够,但可能只是需要来自另一种成像模态的额外数据。
本研究中观察到的分歧解决速度进一步表明,基于专家组的异步裁定作为研究研究的解决方案是相当可行的,其速度/准确性的权衡与临床工作流程不同。
本研究存在若干局限性。第一,参与本研究的阅片者获得了专科委员会认证,但未接受过专科进修培训。第二,通过仅关注图像判读,本研究得以排除临床先验信息以及因可获得额外临床信息而引入的偏倚的影响。另一方面,无法获得基于横断面成像的征象确认。
总之,我们研究了专家组之间的变异性,以深入了解为胸部X线摄影建立更可靠、更一致的“参考标准”标签的方法学。根据征象的性质组合不同的技术,可最大化一致性并支持开发更高质量的参考标准。
引用
- Duggan GE, Reicher JJ, Liu Y, et al. Improving reference standards for validation of AI-based radiography. Br J Radiol. 2021. PMID: 34142868. doi:10.1259/bjr.20210435
- 全文:PMC8248225(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8248225/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。