基于深度学习的肺结节检测系统在不同位置肺结节的诊断性能与临床价值
该回顾性研究将300张胸片(含216个肺结节)的胸内区域分为危险区与非危险区,比较深度学习结节检测(DLD)系统与8名阅片者(胸科放射科医生、非胸科放射科医生、放射科住院医师)的结节定位分数(LLF)。结果显示DLD系统对危险区结节的LLF为64.2,低于非危险区的83.2(p=0.008);但住院医师使用DLD系统后对危险区结节的LLF从56.7提高至65.6(p=0.021)。
要点
- DLD系统对危险区结节(肺尖、纵隔旁、膈后)的LLF为64.2,低于非危险区的83.2(p=0.008)。
- 危险区结节中,DLD系统对肺尖区结节的LLF为87.9,高于纵隔旁区52.5和膈后区58.8(p=0.002)。
- 住院医师使用DLD系统后危险区结节LLF从56.7升至65.6(p=0.021)。
核心结论
- DLD系统检测危险区结节的性能低于非危险区结节,但放射科住院医师使用DLD系统后检测危险区结节的性能提高。
研究设计与样本
- 回顾性研究,纳入300张胸片(100张正常、200张含216个肺结节,其中非危险区107个、危险区109个),来自单中心三级医院2017年1月至2020年12月。
- 采用商用DLD系统(Med-Chest X-ray system,version 1.0.1,VUNO,Seoul,South Korea),由8名阅片者(2名胸科放射科医生、2名非胸科放射科医生、4名放射科住院医师)在有和无DLD系统辅助下各阅片一次,间隔4周洗脱期。
- 参考标准由一名有4年胸科影像经验的放射科医生结合胸部CT和临床资料建立,结节平均直径>5 mm且<30 mm、无钙化,恶性经手术或活检证实。
关键影像表现/征象
- 危险区包括肺尖区(锁骨下缘以上)、纵隔旁区(椎旁线外侧3 cm以内,含肺门和心影)和膈后区(膈线上方1 cm以下),非危险区为侧肺野区(中外部)。
- DLD系统漏诊的结节在危险区更常见:危险区漏诊39/109(35.8%),非危险区漏诊18/107(16.9%)。
- 危险区39个漏诊结节中,28个位于纵隔旁区、7个位于膈后区、4个位于肺尖区;35个(89.7%)小于2 cm,4个(11.4%)大于2 cm。
- 所有大于2 cm的漏诊结节均位于纵隔旁区,所有非危险区漏诊结节均小于2 cm。
诊断标准与关键数值
- DLD系统对危险区结节LLF为64.2,非危险区为83.2(p=0.008)。
- 危险区结节LLF:DLD系统64.2 vs 胸科放射科医生81.7(p<0.001)、非胸科放射科医生56.4(p=0.531)、住院医师56.7(p=0.459)。
- 非危险区结节LLF:DLD系统83.2 vs 胸科放射科医生84.6(p>0.999)、非胸科放射科医生77.1(p=0.624)、住院医师77.5(p=0.276)。
- 危险区亚组LLF:DLD系统肺尖区87.9 vs 纵隔旁区52.5 vs 膈后区58.8(p=0.002);肺尖区vs纵隔旁区事后分析p=0.004。
- 住院医师使用DLD系统后危险区结节LLF从56.7升至65.6(p=0.021);非胸科放射科医生从56.4升至61.9(p=0.735)。
临床应用与阅片要点
- DLD系统可用于辅助经验较少的阅片者(如放射科住院医师)检测危险区结节,但胸科放射科医生对危险区结节的检测性能仍高于DLD系统。
- DLD系统对纵隔旁区和膈后区结节的检测性能较低,阅片时需特别关注这些区域。
- 使用DLD系统后所有阅片者组的每图像假阳性数(FPPI)均显著降低。
局限性
- 仅使用来自一个机构的胸片。
- 危险区与非危险区结节按1:1比例选取,分布可能与真实世界不同,可能低估DLD系统和阅片者的整体性能。
- 未评估侧位胸片,且目前尚无能评估侧位胸片的商用DLD系统,需进一步研究基于侧位胸片训练的深度学习算法。
- 研究聚焦于按结节位置评估结节检测,未评估每图像特异度。
全文中译19 节 · 点击展开
背景
胸部X线片(CXRs)是检测肺结节的一线诊断影像检查[1]。然而,其检测肺结节的灵敏度在44%至87%之间不等[1–4]。胸部X线片存在频繁的阅片错误,且过去数十年间的改进不足[5]。
许多变量影响在胸部X线片上检测肺结节(PNs)的能力;主要影响因素是PN位置(例如肺的穿透不良区域)和解剖背景(例如重叠结构和周围复杂性)。因此,位于肺尖部以及纵隔旁和膈后区域的PNs更容易被观察者漏诊。有趣的是,多项研究表明,漏诊的肺癌通常位于这些区域[6–10]。
近年来,基于深度学习的结节检测(DLD)系统被开发用于辅助结节检测,已显示出有前景的结果。DLD系统提高了观察者的灵敏度并减少了假阳性发现的数量[2, 11, 12]。此外,DLD系统的预期作用之一是辅助观察者在难以检测的区域(肺尖部、纵隔旁和膈后区域)检测PNs。然而,DLD系统在辅助检测这些区域PNs方面的有用性尚未被评估。
本研究旨在根据PN位置探讨DLD系统的诊断性能和临床价值。
材料和方法
本回顾性研究经我院机构审查委员会批准,并豁免知情同意要求。
PNs的位置
我们根据PN位置分析了DLD的检测性能。因此,我们采用了肺部危险区(DZ)和非危险区(NDZ)的概念。胸部X线片上的肺野根据解剖结构分为以下四个区域:区域1(肺尖部),锁骨下缘以上;区域2(肺外侧部),肺野的中部至外部区域;区域3(纵隔旁),肺尖部和膈后区域之间,椎旁线外侧3 cm的内侧部分,包括肺门和心影;区域4(膈后),膈线上方1 cm以下(图1)。这些区域根据影响PNs检测的解剖位置进一步分为两组:DZ和NDZ。区域1、3和4被指定为DZ,而区域2被指定为NDZ[13]。
数据集的准备
在这项回顾性研究中,我们使用了2017年1月至2020年12月期间在一家三级医院获取的成人(年龄≥18岁)胸部X线片(CXR)。共准备300张CXR用于分析,包括100张正常CXR和200张伴有肺结节(PN)的CXR(图2)。数据集中所有CXR均采用后前位拍摄,使用5台设备中的一台(表S1)。我院CXR的典型成像参数为管电压120 kVp、500 mA自动曝光、控制速度125、源到图像距离180 cm。探测器视野图像大小为41×41cm。CXR数据集的所有300张图像均使用商用软件(AVIEW,Coreline,首尔,韩国)进行匿名化处理。
正常CXR数据集
对于正常CXR,由两名胸部放射科医师(TR)执行筛选过程。我们纳入该组中2017年1月至2017年12月期间获取的所有符合以下纳入标准的CXR:(1)在4周间隔内接受胸部X线摄影和胸部计算机断层扫描(CT)的患者,(2)两种成像方式均未发现PN或肿块,(3)无合并显著肺实质异常,(4)由胸部放射科医师判断图像质量足以进行结节检测。共识别2817张正常CXR。我们从正常CXR数据集中随机选取100张CXR。
伴有PN的CXR数据集
我们收集了符合以下纳入标准的伴有PN的CXR:(1)胸部CT检测到PN且CXR上也可识别的患者,(2)胸部CT与CXR之间的时间间隔在4周以内,(3)胸部CT上PN的平均直径>5 mm且<30 mm,(4)PN无内部钙化,(5)无合并显著肺部异常干扰PN检测,(6)由胸部放射科医师判断图像质量足以进行结节检测。首先,识别出878张伴有1022个PN的CXR。此后,我们随机选取200张伴有216个PN的CXR,维持NDZ与DZ结节1:1的比例。
参考标准的建立
一名具有4年胸部放射学经验的放射科医师审阅了所有878张伴有PN的CXR、胸部CT图像和临床数据。该胸部放射科医师在CXR上标记和注释PN,并分类其位置(NDZ和DZ)。结节可见度评分采用4分制,其中1、2、3、4分分别对应于极细微、细微、中度可见和清晰可见。在肺窗设置的胸部CT上,该胸部放射科医师测量PN的平均直径并确定结节实性(实性 vs. 亚实性)。所有恶性病变均通过手术切除或活检确认。良性病变通过活检确认或经临床确定(病变稳定至少2年或经保守治疗改善)。
关于DLD系统的信息
我们使用了一种市售的深度学习(DLD)系统(Med-Chest X-ray系统,版本1.0.1,VUNO,首尔,韩国)进行肺结节(PN)检测,该系统分别自2019年7月和2020年6月起在韩国和欧洲上市。该系统是通过使用15,609张胸部X线摄影(CXR)训练多任务卷积神经网络而开发的[14]。
DLD系统对结节检测的诊断性能
所有300张匿名CXR被上传至DLD系统服务器,以评估PN检测的诊断性能。DLD系统报告了结果,包括可能性百分比,并通过掩膜层在CXR上标记了PN的位置。
观察者对结节检测的诊断性能
八名观察者(两名委员会认证的胸科放射科医师(TRs)、两名委员会认证的非胸科放射科医师(NTRs)和四名放射科住院医师(RRs))作为观察者参与。观察者性能被分层为TR、NTR和RR组。所有300张匿名CXR被上传至图像归档和通信系统(PACS)服务器(G3,Infinitt Healthcare,首尔,韩国)上的自定义文件夹中。观察者使用PACS评估CXR,这对他们来说很熟悉,因为日常实际临床实践中使用该系统。他们无法获取任何其他信息或相关影像学发现(例如,胸部CT图像)。他们在评估图像时不知道参考标准、最终诊断、包含PN的CXR数量与正常CXR数量的比率以及每张CXR的结节数量等信息。他们被指示专注于PN并忽略其他发现。他们被允许放大或控制CXR窗口设置。观察者被要求标记CXR上PN的位置,并随后基于5分制评定其置信水平。1分和5分分别代表其为结节的可能性低和高。观察者参考了对应于1–5分的参考图像。观察者进行了两轮CXR阅读。在第一轮中,他们在没有DLD系统结果的情况下评估了所有CXR。4周后,他们再次在有DLD系统结果的情况下评估了胸部X线摄影。为减少偏倚,每轮中X线摄影的顺序被随机分配(图2)。
统计分析
采用jackknife替代自由响应受试者工作特征(JAFROC)分析的品质因数(RJafroc软件,版本1.2.0)评估肺结节(PN)检测的总体诊断性能[15]。每幅图像的假阳性发现数(FPPI)计算如下:假阳性标记数除以数据集中放射影像的总数[12]。所有观察者标记及所有置信度评分均纳入FPPI计算。FPPI采用McNemar检验进行比较。按PN位置分层的诊断性能采用病灶定位分数(LLF)指标评估。LLF计算为正确定位病灶数除以真病灶总数。所有观察者标记及所有置信度评分均纳入LLF计算。深度学习(DLD)系统与观察者的LLF采用广义估计方程进行比较。事后分析采用Tukey诚实显著差异检验。p值<0.05表示差异有统计学意义。为校正多重检验,对p值应用Bonferroni校正。统计分析采用R软件(版本3.6.1;The R Project for Statistical Computing,维也纳,奥地利)和MedCalc(版本20.010;MedCalc Software Ltd.,奥斯坦德,比利时)进行。
结果
患者信息及PN特征
共纳入100例胸部X线摄影(CXR)正常的患者(平均年龄46.5±14.7岁;年龄范围18–75岁;性别为男50例、女50例)的300幅CXR,以及200例CXR含PN的患者(平均年龄60.0±13.2岁;年龄范围18–88岁;性别为男114例、女86例)。含PN的CXR数据集包括216个PN(107个NDZ结节和109个DZ结节)。188幅CXR包含1个PN;分别有8幅和4幅CXR每幅图像包含2个和3个PN。DZ中PN的平均大小显著大于NDZ(分别为18.12 mm和15.81 mm,p=0.005)。PN特征的汇总见表1。
DLD系统与观察者的总体诊断性能
表2显示DLD系统及观察者在使用和不使用DLD系统时的JAFROC品质因数。在第一阶段(不使用DLD系统)中,NTR(0.850)和RR(0.806)检测PN的总体诊断性能与DLD系统(0.836)相似。然而,TR的诊断性能(0.895)优于DLD系统(p=0.006)。在第二阶段(使用DLD系统)中,TR(0.932)和RR(0.862)的诊断性能显著高于第一阶段。NTR的诊断性能无显著变化。
DLD系统、TR、NTR和RR的FPPI分别为0.20、0.17、0.12和0.19。使用DLD系统后,所有观察者组的FPPI均显著降低(表2)。
进一步考虑假阴性病灶的细节,DLD系统在NDZ中检测PN的性能优于DZ;因此,DLD系统漏诊的假阴性结节在DZ中更常见(39/109,35.8%),而在NDZ中为(18/107,16.9%)。就位置而言,DZ中39个漏诊结节中,分别有28个、7个和4个漏诊结节位于纵隔旁、膈后和肺尖区域。就大小而言,DZ结节中39个漏诊结节中,35个漏诊结节(89.7%)大小< 2 cm,4个漏诊结节(11.4%)> 2 cm。所有> 2 cm的漏诊结节均位于纵隔旁区域,所有位于NDZ的漏诊结节均< 2 cm。
DLD系统和观察者根据结节位置的诊断性能
表3显示了DLD系统和观察者根据结节位置的LLF。DLD系统在NDZ中检测PN的诊断性能优于DZ(图3)。同样,NTR和RR在NDZ中检测PN的性能显著优于DZ。然而,TR在检测PN方面显示出相似的诊断性能,与结节位置无关(表3)。
根据PN位置比较DLD系统与观察者的诊断性能。在NDZ结节中,DLD系统的LLF与TR相当(分别为83.2、84.6;p = > 0.999)。DLD系统的LLF略高于NTR(77.1)和RR(77.5)。然而,它们无统计学显著性(分别为p = 0.624和p = 0.276)。在DZ结节中,DLD系统的LLF(64.2)显著低于TR(81.7,p < 0.001),略高于NTR(56.4,p = 0.531)和RR(56.7,p = 0.459)。
DLD系统和观察者在DZ结节中诊断性能的亚组分析
表4显示了根据位置、可见度评分和大小对危险区(DZ)结节诊断性能的亚组分析。当DZ细分为三个区域时,深度学习结节检测(DLD)系统在肺尖区的诊断性能(87.9)显著高于纵隔旁区(52.5)和膈后区(58.8,p = 0.002)。在事后分析中,DLD系统在检测肺尖部肺结节方面的诊断性能显著优于纵隔旁结节(p = 0.004)(表5)。观察到DLD系统和所有观察者组的可见度评分越高,诊断性能越高的趋势(表4)。事后分析表明,DLD系统在检测高可见度结节(可见度评分4分)方面的诊断性能优于检测细微可见度结节(可见度评分1分和2分;分别为p = 0.011和p = 0.034)(表5)。此外,当结节大小> 2 cm时,DLD系统和所有观察者组的诊断性能显著更高。
观察者根据不同结节位置的诊断性能:无DLD系统与有DLD系统比较
如前所述,参考DLD系统的结果时,胸科放射科医师(TR)和放射科住院医师(RR)的总体诊断性能显著改善。然而,根据结节位置分析诊断性能发现,仅有RR在DLD系统辅助下检测DZ内肺结节(PN)的诊断性能显著改善,从56.7提高至65.6(p = 0.021)(表6,图4和图5)。对于非危险区(NDZ)结节的检测,观察者在两次阅片会话之间的诊断性能无显著差异。
讨论
在我们的研究中,我们证明DLD系统在DZ中检测PN的性能低于NDZ(LLF,64.2 vs. 83.2;p = 0.008),尽管DZ中的结节显著大于NDZ中的结节。这一结果与非专家人类观察者获得的结果相似。然而,当使用DLD系统时,非专家放射科医生检测DZ结节的性能有所改善(NTR中从56.4提高到61.9,p = 0.735;RR中从56.7提高到65.6,p = 0.021)。
由于基于深度学习的研究在放射学领域正被积极研究,许多基于人工智能的产品已被开发并商业化使用[16]。在实际临床实践中,这些用于胸部X线片的人工智能产品正被用于辅助放射科医生或临床医生;因此,作为助手的人工智能有望帮助放射科医生或临床医生不漏诊关键异常并确保其判读[17]。特别是,结节的检测可能因使用基于人工智能的产品而得到增强,因为在胸部X线片的DZ中检测结节对放射科医生而言是一项具有挑战性的任务。因此,基于人工智能产品的预期作用之一是帮助放射科医生不漏诊DZ中的结节。我们假设,无论位置如何,DLD系统在检测PN方面的性能将达到甚至超过人类观察者的性能,因为DLD系统是使用大量数据(15,809张CXR)构建的[14]。然而,我们的研究表明,DLD系统在DZ中检测PN的性能低于NDZ。这似乎归因于基于深度学习的算法的性质,该算法不可避免地具有人类视角,因为它是基于人类放射科医生提供的CXR进行训练和调优的。
对于DZ中的结节,DLD系统的性能低于TR(LLF,64.2 vs. 81.7,p < 0.001)。在CXR方面比NTR和RR经验更丰富的TR,无论结节位置如何,均表现出相似的结节检测性能(LLF,NDZ中84.6 vs DZ中81.7;p = > 0.999)。因此,如果DLD系统使用考虑结节位置的PN数据集以及CXR后前位和侧位视图的联合数据集来开发,我们可以预期DLD系统的性能会有所改善。
尽管DLD系统在检测DZ中结节的性能较差,但RR在参考DLD系统结果时检测DZ中结节的能力有所改善(LLF,56.7 vs. 65.6;p = 0.021)。这一发现表明,DLD系统可以帮助经验较少的医生检测DZ中的结节。因此,DLD系统在可能没有经验丰富的TR的小型社区医院或医疗筛查机构中可能有用。
值得注意的是,使用DLD系统使所有观察者组的FPPI显著降低。结果与另一机构使用相同DLD系统进行的既往研究相似[12]。当观察者阅读胸部X线片(CXR)时,读者倾向于将模糊病变(无论是否为结节)在DLD系统未检出时解释为阴性,而不是将DLD系统假检出的病变视为真病变。因此,使用DLD系统增强了读者确认所考虑的模糊病变确实不是结节的信心。
我们进行亚组分析,以确认结节位置、大小和可见度是否影响DZ内结节的检出率。值得注意的是,在DZ内结节中,DLD系统对肺尖区结节的检出优于其他结节(LLF,肺尖结节为87.9,纵隔旁结节为52.5,膈后结节为58.8),并且在肺尖区结节检出方面表现出高于其他人类观察者的检出率(LLF,DLD系统为87.9,TRs为84.9,NTRs为69.7,RRs为65.9)。这可能归因于DLD系统是使用结核病流行地区数据集开发的特性,在该地区肺尖区PNs易于观察到。此外,随着大小和可见度评分增加,DLD系统表现出更好的检出性能。这些结果与人类观察者获得的结果相似。
我们的研究有几项局限性。第一,我们仅使用了来自一个机构的CXRs。然而,由于我们使用的DLD系统是由来自多个中心及超过15种不同全球厂商X射线机的图像数据集开发的[14],这一缺点可在一定程度上得到弥补。第二,由于DZ和NDZ结节按1:1比例选择并纳入数据集,其分布可能与真实世界中的比例不同。因此,DLD系统和观察者的总体性能可能被低估。第三,未评估侧位CXR。然而,据我们所知,尚无能够评估侧位CXRs的商用DLD系统。因此,开发并研究使用侧位X线片训练的深度学习算法是有必要的。第四,由于我们的研究侧重于根据PNs位置进行按结节检测,未评估按图像特异性。
结论
DLD系统对DZ内PNs的结节检出性能较低。因此,倾向于通过使用更多数据训练DZ结节来提高DLD系统的检出性能。此外,大量CXR临床实践可以提高观察者的结节检出性能。尽管如此,由于DLD系统具有帮助经验较少的观察者检出DZ内PNs的临床价值,在缺乏有经验放射科医师的情况下它可能有用。
补充信息
附加文件1:表S1。CXRs的制造商和技术信息。
引用
- You S, Park JH, Park B, et al. The diagnostic performance and clinical value of deep learning-based nodule detection system concerning influence of location of pulmonary nodule. Insights Imaging. 2023. PMID: 37726452. doi:10.1186/s13244-023-01497-4
- 全文:PMC10509107(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10509107/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。