英国肺癌筛查(UKLS)试验中培训放射技师作为同步阅片者对有经验放射科医师阅片表现和阅片时间的影响
该前瞻性研究纳入369例UKLS试验的连续基线低剂量CT,由4名放射科医师分别独立阅片或以放射技师为同步阅片者阅片,比较敏感度、每例平均假阳性数和阅片时间。结果显示同步阅片使多数放射科医师敏感度提高、假阳性略增、阅片时间缩短,但时间节省幅度相对有限。
要点
- 以放射技师为同步阅片者时,放射科医师平均敏感度由独立阅片的77.5±11.2%升至90.8±5.6%。
- 同步阅片使每例平均假阳性数由0.33±0.20增至0.60±0.53,但仍低于文献报道的CAD假阳性率。
- 同步阅片每例平均阅片时间由9.1±2.3分钟降至7.2±1.0分钟,但时间节省幅度相对有限。
核心结论
- 多数放射科医师以放射技师为同步阅片者时敏感度提高、假阳性检出略增,且阅片时间有统计学显著缩短。
- 同步阅片假阳性检出率仍低于文献报道的计算机辅助检测系统,但每例节省的时间相对有限。
研究设计与样本
- 前瞻性研究,纳入2012年6月至10月英国肺癌筛查(UKLS)试验低剂量CT组369例连续参与者的基线CT。
- 369例CT由4名放射科医师(A、B在2个地方站点,C、D在中心站点)以独立阅片或与放射技师同步阅片两种方法阅读。
- 4名放射技师经培训,此前已前瞻性阅读超过100例UKLS CT;参考标准由中心站点放射科医师复核、20年以上经验胸部放射科医师仲裁达成共识。
- 采用Leonardo工作站(Siemens Medical Solutions)及可半自动容积结节分割的商业软件(Syngo LungCare,版本Somaris/5 VB 10A)进行结节记录。
关键影像表现/征象
- 参考标准共694个结节,分布于246/369例(66.7%)CT中,多数为实性结节(648/694,93.4%),部分实性11个(1.6%)、纯磨玻璃35个(5.0%)。
- 参考标准结节中位直径4.8 mm(IQR 2.4 mm),中位体积39.7 mm³(IQR 47.2 mm³)。
- 369例CT中多数含1个(87/369,23.6%)、2个(60/369,16.3%)、3个(33/369,8.9%)或4个(25/369,6.8%)结节,每例结节数中位1个,范围0–17个。
诊断标准与关键数值
- 放射科医师独立阅片平均敏感度77.5±11.2%,同步阅片平均敏感度90.8±5.6%。
- 除放射科医师D外,其余放射科医师同步阅片敏感度较独立阅片有统计学显著提高。
- 每例平均假阳性数总体由独立阅片0.33±0.20增至同步阅片0.60±0.53;放射科医师A、B、C同步阅片时增加(B、C有统计学显著),放射科医师D下降。
- 同步阅片时被放射科医师判为假阳性的放射技师所见占其总发现数的比例范围为0.0%至19.8%。
- 每例平均阅片时间同步阅片为6.2至8.6分钟,独立阅片为7.0至12.4分钟;除放射科医师C外,其余医师同步阅片时间缩短有统计学显著。
临床应用与阅片要点
- 以放射技师为同步阅片者时,放射科医师先复核技师标记的结节,再独立搜索其他遗漏结节,每例CT仍只由放射科医师阅读一次。
- 同步阅片可提高多数有经验胸部放射科医师的结节检出敏感度,但需注意伴随的假阳性检出增加,尤其是敏感度提升最大的两名医师(B和C)。
- 阅片时间记录到分钟而非秒,同步阅片未增加平均阅片时间,但每例节省时间在不同医师间差异较大(放射科医师A最大减少近4分钟,放射科医师C几乎无影响)。
局限性
- 同步阅片与独立阅片队列由不同患者组成,但这是在实际报告而非实验条件下前瞻性实施本研究最切实可行的方式。
- 各阅片者自行记录阅片时间,导致部分病例的阅片时间未被记录,但该策略最能反映「实时」阅片实践。
- 阅片时间记录到分钟而非秒,若记录到秒可能观察到更大的统计学显著时间缩短,但本研究旨在检测可转化为临床意义的分钟级时间减少。
- 无法让每位放射科医师对所用阅片方法设盲,因此放射科医师在选择记录哪些病例的阅片时间时可能存在选择偏倚。
- 与所有人类观察者性能研究一样,本研究结果可能反映特定时间段内放射科医师与放射技师的性能和互动,随着经验积累和动态变化,这些性能指标可能发生变化。
全文中译17 节 · 点击展开
引言
最近,美国[1–3]和欧洲[4]均推荐在全面、有质量保证的项目中使用低剂量CT进行肺癌筛查,但关于成本效益[5]和实施的问题仍然存在。除其他考虑因素外,此类项目的大规模成功实施将需要扩大胸部放射科医生的数量,并优化用于肺结节检测的CT阅片工作流程。关于后者,计算机辅助检测(CAD)软件作为该任务的第二读者已被广泛评估,并已证明可提高敏感性[6–16]。
尽管进行了广泛评估,CAD在肺结节检测中尚未被普遍采用,也尚未在CT肺癌筛查的任何随机对照试验中进行前瞻性评估。对使用CAD的犹豫可能源于当CAD作为第二读者时需要放射科医生进行两轮阅片——放射科医生必须首先独立阅读检查,将其提交给CAD系统,然后以评估CAD标记为特定目的重新评估该检查,以得出最终一致的一组发现。这导致了对使用CAD作为同步读者的兴趣。在同步阅片中,放射科医生的第一轮阅片被取消;取而代之的是,检查由CAD处理并呈现给放射科医生,放射科医生接受或拒绝CAD标记,最后对任何遗漏的结节进行独立搜索。尽管这种方法仅经过了有限的评估,但已证明可在不损害敏感性的情况下缩短阅片时间[17–19]。
使用放射技师(有时称为技术员)作为肺结节检测任务的替代读者,无论是单独[20]还是与CAD系统联合阅片[21],已显示出前景,一些放射技师的表现在与放射科医生的比较中不相上下。这些发现表明放射技师可以帮助放射科医生进行CT肺癌筛查,但这一假设仍未经过验证。
因此,本研究的目的是在实际肺癌筛查环境中,前瞻性比较放射科医生独立(即无辅助)阅读CT与使用放射技师作为同步读者时的表现,包括敏感性、假阳性检测和阅片时间。
材料与方法
研究人群和病例选择
英国肺癌筛查(UKLS)试验是一项随机对照试验,采用单次筛查设计评估低剂量多排探测器CT用于肺癌筛查,即进行单轮筛查(即患病率筛查)[5, 22]。招募程序、选择标准和筛查方案此前已发表[22]。研究设计的简要概述,以及研究的伦理批准、CT成像方案、结节分类方案和CT阅片方法,见补充材料。
本研究为前瞻性研究。2012年6月至10月期间,对UKLS试验低剂量CT(LDCT)组369名连续参与者的基线CT检查进行了阅读,用于本研究。
放射科医生的CT评估
每份CT检查首先由两个参与中心之一的1名放射科医师阅片,即当地中心1的放射科医师A和当地中心2的放射科医师B,两人均有超过10年的胸部影像学专科经验。随后,这些检查被传输至中心阅片中心,由具有10年经验的放射科医师C或具有7年经验的放射科医师D进行第二次独立阅片。
阅片放射技师的选取
选取4名具有胸部CT扫描采集经验、且能够在研究期间每周至少投入4小时的放射技师作为阅片者。放射技师1在当地中心1阅读CT,放射技师2在当地中心2阅读CT。两名放射技师(放射技师3和4)在中心阅片中心阅读CT。这4名放射技师正是参与我们既往研究、与放射科医师进行直接比较的同一批放射技师,并且已按既往描述接受过CT肺结节检测培训[20]。简言之,这些放射技师接受了一次入门教程,内容涵盖低剂量CT的原理、胸部解剖以及将要采用的CT阅片方法,随后是一套包含20份低剂量CT的教学集,其中有不同类型和大小阴影的示例。随后,当地放射科医师在更多训练子集上对放射技师进行评估,并在子集之间提供反馈,最多再评估60份CT。最后,要求放射技师和放射科医师在一套25份CT的测试集上达到至少80%的灵敏度。到本研究进行时,每名放射技师作为既往研究的一部分,也已前瞻性阅读了超过100份UKLS CT[20]。
并行阅片工作流程
在并行阅片中,执行以下步骤:每份CT首先由放射技师在Leonardo工作站(Siemens Medical Solutions,Erlangen,Germany)上阅读,使用能够进行半自动体积结节分割的商业软件包(Syngo LungCare,版本Somaris/5 VB 10A)。随后,放射技师通过个人登录账号将其报告上传至UKLS数据库。
随后,放射技师存储的结节记录(以DICOM结构化报告,即DICOM SR的形式)可供阅片放射科医师使用。对于每条记录,放射科医师有三种选择之一。如果同意某一发现,他可以接受该发现,并保持放射技师的记录不作修改。如果不同意某一发现(即他认为该发现并不代表结节),他可以拒绝该发现,在这种情况下他会删除该记录。最后,如果他同意该发现代表结节,但不同意其分类(例如,他认为这是一个亚实性结节,而放射技师将其分类为实性),他可以修订该记录,在这种情况下,他会使用电子软拷贝录入表单(Artex VOF,Logiton,The Netherlands)重新报告该结节,并将其自己的报告复制粘贴到结节报告中。放射科医师进行此判读时,放射技师不在场。
在审查放射技师的记录后,放射科医师进行另一次搜索,以识别放射技师漏掉的任何额外结节。
随后,放射科医师将其记录保存为新的DICOM SR,并将此报告上传至UKLS数据库。
这样,一位给定的放射科医生仍然只对CT进行了一次阅读。图1总结了与第一次阅读和第二次阅读相比的同步阅读过程。
用于独立单次阅读与同步阅读对比的CT研究选择
研究决定,比较每位放射科医生同步阅读与独立单次(即无辅助)阅读表现的最实用策略是:让其使用一种方法阅读若干CT,然后在2个月后切换到另一种方法。这样,放射科医生将在实际筛查条件下进行阅读,CT研究中潜在的变异性(如每份CT中结节的数量和类型)将得到校正,中央和本地站点的放射科医生均可被评估。因此,在前2个月(6月至8月),本地放射科医生(放射科医生A和B)被指示进行独立阅读,而中央放射科医生(放射科医生C和D)与放射技师3和4进行同步阅读。随后在第二个2个月(8月至10月)各站点之间交换阅读方法,中央放射科医生进行独立阅读,本地放射科医生与其各自的放射技师进行同步阅读(即放射科医生A与放射技师1一起阅读,放射科医生B与放射技师2一起阅读)。换言之,无论使用同步阅读还是独立阅读,每份CT扫描始终由两位放射科医生(一位在本地站点,一位在中央站点)阅读。
阅读时间
放射科医生和放射技师被指示在其阅读的CT上记录方法和时间,精确到分钟。阅读时间包括解读CT所需的时间(在同步阅读的情况下,还包括对放射技师记录做出判断以及执行独立搜索的时间),以及随后将数据输入UKLS数据库的时间。决定记录到最接近的分钟而非秒,是为了能够检测到阅读时间中有意义的変化(即以分钟而非秒计可测量的变化),从而转化为实际筛查环境中潜在的真实节省。记录到最接近的分钟对阅读工作流程的干扰也较小。阅读时间记录与放射科医生的报告一起保存在UKLS数据库中。
参考标准
在本地和中央阅读均完成后,中央站点的放射科医生(放射科医生C或D)在数据库中审查每位受试者的所有已识别候选结节,以发现任何差异。差异的仲裁由中央站点一位拥有20多年经验的胸部放射科医生提供,最终共识答案记录在数据库中。所有一致的结节在参考标准中被视为阳性。因此,参考标准由两位放射科医生均已识别并达成一致的任何结节,以及至少由一位放射科医生识别并随后经专家仲裁者确认的任何结节组成,包括那些在同步阅读期间经放射科医生同意或修正的放射技师识别的结节。
统计分析
为描述目的,参考标准结节的直径和体积(记录于UKLS数据库)均以中位数及第25至第75百分位之间的四分位距(四分位距(IQR))表示,因为根据D'Agostino和Pearson正态性综合检验,这两种测量均不服从正态分布。
计算每位放射科医师同时判读和独立判读的CT数量。对每位放射科医师,同时判读与独立判读数据集中参考标准结节数量的比较采用双尾Mann-Whitney检验(假定结节呈非参数分布)。
对每位放射科医师独立判读和同时判读的CT队列,分别确定灵敏度、假阳性检出的绝对数量(FPs)和每例平均FPs(以均数和标准差表示)。每位放射科医师的灵敏度通过将该医师所判读病例中检出的真阳性结节数除以参考标准中的结节总数计算。每例平均FPs通过将FPs总数除以该医师判读的病例总数计算。比例的差异酌情采用卡方检验或样本量较小时采用Fisher精确检验进行比较[23, 24]。在一项事后分析中,我们还针对放射技师与放射科医师的六种组合(当地站点两种组合,中心站点四种组合),分别计算了在同时判读中被放射科医师视为FPs的放射技师检出阴影的数量及其占总数的百分比。
每位阅读者同时判读与独立判读之间阅读时间的差异采用独立样本t检验进行比较。随后采用Spearman秩相关进行进一步事后分析,以确定结节数量与阅读时间之间的相关性,并使用Fisher r to z变换分析相关系数的差异是否具有统计学显著性。所有分析均使用Medcalc(版本12.5.0.0,MedCalc Software,Mariakerke,比利时)进行。p值小于0.05视为具有统计学显著性。
结果
参考标准
研究期间共判读369例低剂量CT(LDCT)检查。369例CT检查中有123例(33.3%)不含任何结节。因此,参考标准由其余246例(67.7%)CT检查中的694个结节组成。大多数CT有1个(87/369,23.6%)、2个(60/369,16.3%)、3个(33/369,8.9%)或4个(25/369,6.8%)结节。在369例CT检查中,每例CT结节数量的中位数为1个,范围为0–17个结节。大多数参考标准结节为实性结节(648/694个结节,93.4%),其中11个(1.6%)为部分实性结节,35个(5.0%)为纯磨玻璃结节。参考标准结节的中位直径为4.8 mm(IQR 2.4 mm),中位体积为39.7 mm3(IQR 47.2 mm3)。
按判读方法划分的病例数和结节数
每位放射科医师判读的病例数在独立判读时为83至119例,在同时判读时为69至122例(表1)。然而,对于四位放射科医师中的任何一位,独立判读与同时判读队列之间每例参考标准结节数量均无显著差异(补充图S1)。
放射科医师的灵敏度
每位放射科医师在不同阅片方法下的总体灵敏度详见表2。独立阅片的放射科医师平均灵敏度为77.5 ± 11.2%,使用同步阅片后增至90.8 ± 5.6%。除一位放射科医师(放射科医师D)外,其余所有放射科医师采用同步阅片均获得了统计学显著更高的灵敏度,优于独立阅片。
假阳性检出(FPs)
每例平均FPs差异很大。虽然每例平均FPs的总体均值从独立阅片的0.33 ± 0.20增至同步阅片的0.60 ± 0.53,但每例平均FPs范围在0.06至1.38之间,放射科医师A、B和C在同步阅片时增高(放射科医师B和C具有统计学显著性),而放射科医师D则降低(表3)。同步阅片的放射科医师判定为假阳性的放射技师检出结果百分比(占总数)从0.0%至19.8%不等(补充表S1和图2)。为完整起见,放射技师漏诊的参考标准结节数量及百分比、以及放射技师检出但分类错误的参考标准结节数量和百分比分别见补充表S2和S3。
阅片时间
放射科医师A、B、C和D分别提交了其同步阅片病例中100%、77%、75%和90%的阅片时间,以及其独立阅片病例中83%、71%、85%和89%的阅片时间。同步阅片每例平均阅片时间范围为6.2分钟至8.6分钟,而独立阅片为7.0至12.4分钟(表4)。
所有放射科医师的同步阅片均快于独立阅片,但放射科医师C的阅片速度提升无统计学显著性。此外,平均阅片时间的最大降幅略低于4分钟(放射科医师A)。
每张CT结节数量与阅片时间的关系
尽管每张CT的参考标准结节数量之间无显著差异,但同步阅片更快这一发现促使我们进行了事后分析,以探究每张CT结节数量与阅片时间之间的关系。正如预期,每位受试者参考结节数量与每张CT所花时间之间存在显著相关性,且对于放射科医师A、C和D,这种相关性在独立阅片CT中更强(表5)。然而,这种相关性的增强仅在放射科医师D中具有统计学显著性(独立阅片为0.766,同步阅片为0.523,p = 0.01)。
讨论
据我们所知,本研究是首次评估放射技师作为同步阅片者参与CT肺癌筛查中肺结节检测的研究。研究显示,通过让放射技师作为同步阅片者,本研究组中大多数放射科医师的灵敏度有所提高,平均阅片时间出现具有统计学意义的缩短,但同时假阳性(FPs)也有所增加。
本研究中,除最敏感的放射科医师外,所有放射科医师的灵敏度均有改善,但本研究中放射科医师的灵敏度范围与既往文献[9, 16, 25–30]所报告的放射科医师灵敏度范围相当,令人放心。因此,完全有理由预期,与放射技师同步阅片可提高大多数胸部放射学专家的灵敏度。
当然,同步阅片在提高灵敏度的同时伴随的每例平均FPs增加,再次提醒我们灵敏度与结节“过度判读”之间的权衡,尤其是对于灵敏度改善最大的两位阅片者(放射科医师B和C)。鉴于本研究的设计,无法确定在没有放射技师标记的情况下,放射科医师是否会将这些相同的假阳性判为阳性。然而,直觉上可以预期,FP检测的增加尤其源于放射技师将大量小阴影识别为结节,以及放射科医师在获得这些标记后不愿拒绝此类标记。诚然,既往一项关于CAD的研究显示,即使CAD标记未能提高整体准确率,放射科医师在获得CAD标记时,将小结节判为阳性的信心也会增强[31]。
在将放射技师同步阅片视为独立阅片的替代策略并与CAD进行比较时,有必要客观看待每例平均FPs的增加。当纳入小至3 mm的结节(英国肺癌筛查(UKLS)研究和本研究采用的纳入大小截断值)时,CAD导致的每例平均FPs为3.7–4.15[18, 32]。这一比率远高于本研究中同步阅片的最高比率(放射科医师B,1.38)。尽管如此,假阳性可能引发的后果(如需要仲裁的CT数量增加、随访增加以及患者焦虑增加)必须予以承认。
对于四位放射科医师中的三位,同步阅片也被证明在统计学上显著快于独立阅片。然而,阅片时间的统计学显著缩短可能并不会转化为对每位放射科医师都具有临床相关意义的时间节省获益;在本研究中,放射科医师A采用同步阅片每名受试者仅节省不到4分钟,而放射科医师C几乎不受影响。尽管如此,如果外推到例如英国国家筛查规划中每年需要阅片的约187,500例CT,那么每位放射科医师每例CT节省4分钟就变得意义重大。更重要的是,同步阅片并未增加平均阅片时间。
三项研究[17–19]评估了使用CAD(而非放射技师)作为肺结节检测的额外阅片者。这些研究将CAD作为第二阅片者和同步阅片者进行了评估,但结果不一。例如,Beyer等[17]发现,尽管使用CAD同步阅片更快,但合并敏感度低于或等于独立阅片,可能是因为CAD辅助阅片增加的敏感度被放射科医生在更短阅片时间内倾向于遗漏更多结节所抵消。本研究中放射科医生敏感度增加并伴有相应更多假阳性,这与Beyer等的结果不一致,因为如果说有什么提示的话,它表明使用放射技师作为同步阅片者时警觉性增加而非降低。相比之下,Matsumoto等最近证明,使用CAD同步阅片不仅更快,而且可显著提高敏感度[19]。正如既往研究[12, 13]所强调的,这种敏感度的提高可能是因为CAD与人类阅片者的优势互补;放射科医生在肺门和胸膜下区域对结节的敏感度可能优于CAD,而CAD在中央和肺门周围区域更敏感。话虽如此,同步阅片设置中两名人类阅片者——即放射科医生和放射技师——之间的相互作用几乎肯定更为复杂,需要在未来研究中更详细地评估。
本研究存在一些局限性。同步阅片和独立阅片队列由不同患者组成。然而,这是前瞻性开展本研究最切实可行的方式,病例是在实际报告而非实验条件下进行阅片的。此外,令人放心的是,四位放射科医生中任何一位的每种阅片方法之间,每名受试者的参考标准结节数量均无差异(即两个队列的“难度”水平相似)。在阅片方法之间切换的策略也会减轻每位放射科医生在某一时期或另一时期的表现差异。
没有让每个读者单独记录时间,而是由每位读者自行记录他们的时间。我们认识到,这将导致某些病例的阅读时间未被记录,但得出结论,这种策略最能反映“实时”阅读实践。换句话说,如果存在一名额外负责测量阅读时间的观察者,可能会影响阅读表现。我们还在开始时决定将时间记录到最接近的分钟,而不是秒。如果阅读时间记录到秒,可能会看到更大的统计学显著时间缩短,但在本研究中重要的是检测能够转化为临床有意义缩短的时间减少,即分钟而不是秒。根据定义,也无法让每位放射科医生对其正在使用的阅读方法设盲,因此放射科医生在选择记录哪些病例的时间时可能存在选择偏倚。再次说明,鉴于我们研究中CT数量很大,这是记录时间的最实用方法。最后,像所有人类观察者表现的研究一样,当前结果可能反映放射科医生和放射技师在特定时间段内的表现和互动;随着经验积累以及特定放射科医生-放射技师动态随时间的变化,此类表现指标有可能发生变化。
总之,本研究表明,使用放射技师作为同期阅读者可以提高放射科医生在肺结节检测中的敏感性。放射技师辅助同期阅读时假阳性(FP)增加,但这一增加仍低于CAD系统所报告的水平。与放射技师同期阅读也比单人阅读更快,但按每个病例计算,节省的时间相对有限。
电子补充材料
以下是电子补充材料的链接。ESM 1(DOCX 23 kb)
(GIF 15 kb)
高分辨率图像(TIF 583 kb)
引用
- Nair A, Screaton NJ, Holemans JA, et al. The impact of trained radiographers as concurrent readers on performance and reading time of experienced radiologists in the UK Lung Cancer Screening (UKLS) trial. Eur Radiol. 2017. PMID: 28643093. doi:10.1007/s00330-017-4903-z
- 全文:PMC5717117(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC5717117/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。