文献速递胸部技术与安全DR

胸片气胸检测AI:图像内注释优化算法准确性与混杂偏倚

Pneumothorax detection in chest radiographs: optimizing artificial intelligence system for accuracy and confounding bias reduction using in-image annotations in algorithm training.
PubMed 文献 · Eur Radiol · 2021-03-27

本研究基于单中心3062张仰卧位胸片(760例气胸阳性)评估AI气胸检测算法,发现仅用公共数据训练的算法AUROC仅0.778且受胸管混杂影响严重;加入胸膜分离处图像内像素注释训练的最终算法2单侧气胸检测AUROC达0.877,胸管相关混杂偏倚显著降低。

要点

  • 公共数据训练的AI气胸算法AUROC有限(0.778),且胸管可完全消除其判别力。
  • 加入胸膜分离处图像内注释训练的算法2单侧气胸AUROC达0.877(95%CI 0.861–0.893)。
  • 算法2对>1cm单侧气胸的胸管混杂影响不再显著,>2cm时偏倚数值减小但未消除。

关键影像表现/征象

  • 气胸表现为胸膜分离处内脏层胸膜移位,图像内像素注释勾勒气胸形状多边形用于训练。
  • Algorithm 2可输出边界框定位气胸区域,提供图像级气胸概率及实例级检测。

诊断标准与关键数值

  • 单侧气胸检测总体AUROC:Algorithm 1为0.726(95%CI 0.703–0.748),Algorithm 2为0.877(95%CI 0.861–0.893)。
  • 气胸>2cm时AUROC升至0.966(95%CI 0.951–0.981)。
  • 气胸阳性胸片含胸管时AUROC:Algorithm 1从0.601(0.555–0.647)升至0.767(0.744–0.791),Algorithm 2从0.831(0.795–0.868)升至0.892(0.876–0.909)。
  • 对侧少量气胸存在时AUROC:Algorithm 1从0.726(0.703–0.748)升至0.813(0.763–0.863),Algorithm 2从0.877(0.861–0.893)升至0.923(0.889–0.957)。
  • 极端亚组:气胸阳性无胸管+阴性对照有胸管时Algorithm 1判别力完全丧失,Algorithm 2对>1cm气胸仍显著优效;气胸阳性有胸管+阴性对照无胸管时AUROC最高达Algorithm 1 0.856、Algorithm 2 0.974。

临床应用与阅片要点

  • Algorithm 2对>1cm单侧气胸的胸管混杂影响不再显著,提示图像内注释可部分抑制混杂偏倚。
  • 胸管存在可使气胸阳性胸片更易被算法检出(AUROC升高),阅片时需警惕算法对胸管的依赖。
  • 算法2的边界框可视化可辅助定位气胸区域,但<1cm气胸仍有残余偏倚,可能因训练中亚组代表性不足。

局限性

  • 回顾性识别患者,临床非连续队列,目标气胸患病率约25%。
  • 单中心评估队列。
  • 数据直接提取自临床常规,未应用质量排除标准,包括有限质量检查(如斜位投影、过度曝光或吸气深度不足)。
全文中译8 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2021 Mar 27;31(10):7888–900. doi: 10.1007/s00330-021-07833-w

引言

胸部X线摄影是全球最常进行的诊断性影像学检查,因此对公共卫生具有重要影响[1, 2]。气胸(PTX)是一种可能危及生命的肺部疾病,因此需要可靠且及时地检出。PTX的治疗选择可能包括观察、胸腔管(TT)置入或手术[3–7]。PTX通常通过胸部X线摄影检出。然而,常规临床环境中大量胸部X线片(CXR)可能导致放射学报告周转时间延长,从而延误紧急治疗;这一问题以及潜在的危急发现可通过使用人工智能(AI)辅助报告或基于AI的图像分诊来潜在解决。若干在公开可用数据集上训练的AI算法已显示出在CXR中检测PTX的潜力,其诊断准确性以受试者工作特征曲线下面积(AUROC)量化,最高可达0.937[8–13]。在评估这些算法的研究中,性能是在来源于公共数据集的数据上进行评估的[8, 14, 15]。然而,这些数据集内有限的标注不允许进行详细的亚组分析或识别混杂因素及其对AI算法性能的影响。

基于一个对6434张仰卧位胸部X线片(SCXR)进行放射学标注(标注PTX大小、位置和置入的TT)的基准队列,既往研究[16]发现TT是相关混杂因素,可能消除在无图像内标注的公开可用数据集(ChestX-ray14和来源于前列腺、肺、结直肠和卵巢癌筛查试验[PLCO]的数据集)上训练的PTX检测算法的判别能力[15, 17]。

在此,我们假设对分离的脏层胸膜进行图像内像素标注,以及严谨的算法设计使其能够有效地从该信息中学习,可导致整体性能大幅提高,并显著减少由置入的TT引起的混杂偏倚。这些改进对于将PTX检测算法引入临床常规至关重要,可支持临床决策、减少漏诊数量并改善放射学报告的周转时间;后者基于我们的研究队列进行了量化。此外,我们的实验还可能表明,图像内病理标注总体上是一种有前景的技术,可减轻算法训练中由混杂影像特征引起的(可能未知的)偏倚。

材料与方法

本研究获得了机构伦理委员会的批准(批准号19-541)。

患者识别与图像标注

通过数据研究(根据2010年至2018年的放射学报告采用不同检索标准,分别识别气胸阳性/阴性图像,因此为临床非连续队列,目标气胸总体患病率约为25%)在我院图像归档与通信系统(PACS)中回顾性识别患者。由于仰卧位胸部X线片的图像判读更具挑战性且胸腔引流管置入更为频繁,我们仅聚焦于仰卧位胸片。通过比较我院PACS中对应于图像采集和放射学报告的时间戳,我们得以测量平均放射学报告时间。将所识别病例的DICOM图像导出,并在图像标注过程中按下文所述手动检查气胸的存在。对于气胸存疑(如极少量气胸)的不确定病例,根据其既往病史和影像学的合理性进行处理。1未应用其他排除标准,因此我们预期仅存在与气胸相关的变异,来自具有临床代表性的常规队列。因此,我们从Rueckel等[16]先前介绍的基准队列的成年患者(年龄大于21岁)中识别了1526张气胸阳性图像(1066名不同患者)和4587张气胸阴性图像(3294名不同患者)。记录了年龄(气胸阳性病例:60 ± 16岁,气胸阴性病例:66 ± 15岁)和性别(气胸阳性病例:45.0%为女性,气胸阴性病例:40.1%为女性)。数据直接从临床常规中提取,未应用任何与质量相关的排除标准;因此,数据也包括质量有限的检查(如斜位投照、过度曝光或吸气深度不足)。对气胸大小(最大胸膜间间隙 < 1cm/1–2 cm/> 2 cm)、气胸位置(患侧)以及置入胸腔引流管的存在进行定性标注,以便进行亚组定义。已建立基于气胸大小和置入胸腔引流管的亚组。每个亚组50%的图像被考虑用于算法训练(见表2)。其余图像被分配至评估数据集(见表1),从未用于算法训练或优化。用于算法训练的气胸阳性图像(算法2,见下文)使用内部软件工具(允许窗宽和缩放)以定义气胸形状的多边形进行标注(见图1a2/b2)。标注由两名训练有素的四年级医学生(前约10–50张图像直接监督标注,后续对存疑病例由具有3年胸部影像经验的放射科住院医师进行标注审核)和放射学专家完成。用于算法训练的气胸阳性图像数据的所有图像内像素标注均由专家放射科医师核实。

此外,还构建了额外的训练数据集,包括来自多个临床站点2的病例以及来自ChestX-ray14数据集[17]和成像与信息学学会(SIIM)PTX挑战赛的数据。对于训练数据集中的所有阳性病例,均制作了脏层胸膜裂开的图像内标注(对于SIIM挑战赛数据,此类标注已存在)。这些标注已由专家放射科医师验证和校正。所有PTX阴性病例均从ChestX-ray14[17]和多个临床站点中随机选取。选取工作通过一个已解析可用放射学报告的自然语言处理(NLP)系统完成。

表1 用于算法评估的研究队列亚组特征。PTX阳性病例经放射学标注PTX大小、PTX位置(单侧 vs 双侧)及置入的胸腔引流管。PTX阴性对照病例经放射学标注置入的TT 查看原表 ↗
图1 用于算法训练的脏层胸膜裂开标注(a、b)及算法发现的最终定位(“算法2”,c)。(a、b):SCXR显示单侧(a1)/双侧(b1)气胸。对脏层胸膜裂开处和胸壁的像素坐标进行标注,并连接为代表气胸形状的多边形(a2、b2)。(c1、c2):“算法2”允许对产生算法评分的图像特征进行专门定位,该评分代表算法对PTX的置信度(同一SCXR分别以原始对比增强DICOM(c1)和AI发现增强图像(c2)展示) 查看原图 ↗

人工智能算法

CheXNet是一种在ChestX-ray14数据集[17]上训练和验证的算法,最初由Rajpurkar等人[18]提出,其PTX检测的AUROC高达0.8887。它优于近期在可比公共训练数据上训练的其他AI解决方案,因此常被用作基线方法[9, 14, 17–19]。该算法的Python实现可在GitHub上获取,由Weng等人提供(https://github.com/arnoweng/CheXNet)[19]。

算法0是一种内部原型(中间版本),基于在ChestX-ray14和PLCO数据集[15, 17]上训练的深度学习解决方案。该方法的详细描述见Guendel等人[20, 21],并作为补充文件提供。请注意,算法0设计用于从正位胸片中同时分类多种异常(包括PTX)。系统的优化以取得最佳平均AUROC性能为目标。在训练和优化过程中并未仅聚焦于气胸。

算法1是一个内部原型(中间版本),基于一种新颖的深度学习解决方案,旨在对胸部X线片中的气胸进行分类和定位。该算法使用一种新的混合学习模型,可以从指示气胸存在的图像级二分类标签以及剥离脏层胸膜的详细轮廓标注中学习。该算法包括两个主要组件,即剥离脏层胸膜定位模块和气胸分类模块。定位模块是一种编码器-解码器卷积架构,将剥离脏层胸膜的轮廓估计为二值图像掩模。随后是分类模块,以获得气胸的图像级概率评分。简言之,分类模块的架构受DenseNet架构[22]启发;然而,有关该架构的更多细节可在补充材料中找到。算法1在ChestX-ray14数据集[17]上进行了训练,使用NLP图像标签标注阳性/阴性PTX病例,以及一组2349例阳性PTX病例(来自SIIM PTX挑战赛)并带有图像内标注。

算法2是一个内部原型(最终版本),基于与算法1相似的深度学习架构。不同之处在于,与算法1不同,算法2的训练数据集还包括来自多个临床站点2的图像。请回想一下,在该数据集中,所有阳性病例均已标注了剥离脏层胸膜的精确图像内标注。我们没有使用基于NLP标注的阳性PTX病例。阴性病例是从来自不同诊所的大型数据队列以及使用NLP的公共数据中随机抽样的;随机选择的阴性PTX病例数量经过优化平衡,以在系统性能与训练时长之间实现最大化。

算法0、1和2中所用学习模型的详细描述作为补充材料提供。表2提供了这些算法的概述。

表2 本研究中审查的AI算法概述。我们考虑四种算法进行评估:由Rajpurkar等人(1)提出的CheXNet算法以及三个内部原型:“算法0”、“算法1”和“算法2”。虽然CheXNet和“算法0”仅在通过NLP识别的阳性PTX病例上进行训练,但用于训练的部分阳性病例(“算法1”)/所有阳性PTX病例(“算法2”)标注了剥离脏层胸膜的轮廓。这些图像内标注已由专家放射科医师定义/验证。来自基准临床站点的训练数据包括阳性和阴性PTX病例,每例均包括插入和未插入TT的病例(1)。SIIM提供胸膜线的分割,而原始ChestX-ray14数据集仅提供图像标签。当我们说SIIM时,我们使用2349张带有胸膜线标注的图像。所有这些图像均来自ChestX-ray14数据。“算法1”和“算法2”不仅提供气胸的图像级概率(如CheXNet和“算法0”),还提供受影响区域的实例级边界框检测 查看原表 ↗

图像分析、结果量化和统计学

导出的SCXR DICOM数据由先前描述的算法原型进行分析,这些原型已安装在独立的研究计算机上。算法产生0到1之间的未校准分类器评分,代表算法对SCXR中存在PTX的信心。

AI算法的性能通过受试者工作特征(ROC)分析进行量化,分析基于PTX大小(大小阈值见上文)、PTX位置以及PTX阳性病例和/或PTX阴性对照中插入的TT等不同亚组。双侧PTX病例的亚组分析仅基于主要侧的PTX大小(极少数未插入任何TT的图像无法按TT存在与否进行亚组划分)。亚组ROC分析包括AUROC的计算、量化算法的判别能力以及图形展示,由R-Studio(版本1.2.5001,RStudio Inc.,美国波士顿)半自动完成。此处需注意,AUROC已知与基础病理患病率无关[23, 24]。因此,PTX阳性图像部分过度代表的比例(总体患病率约比临床预期高25%,考虑到患病率低得多的亚组)不应使量化的算法性能产生偏倚,且不同PTX患病率亚组之间的比较也是可能的。显著性分析基于AUROC的95%置信区间(95% CI),ROC曲线根据Delong等和Sun等的方法进行比较(R包roc.test)[25, 26]。GraphPad Prism(版本8,GraphPad Software,美国圣地亚哥)额外用于图形展示。

结果

在我们的研究队列中,无AI辅助的平均放射学报告时间经测量为01:30小时(PTX阳性SCXR)/1:40小时(PTX阴性SCXR)。与经验丰富的放射科医生每张SCXR约1–2分钟的估计独立阅片时间相比,这一延迟强调了基于AI的图像预选用于优先报告所具有的潜在附加临床价值。在这种基于AI的图像分诊方法中,具有显著发现图像的放射学报告周转时间可显著缩短。

通过ROC分析对算法性能进行表征,其基础是依据PTX大小不同以及PTX阳性和/或PTX阴性CXCR中是否存在插入的TT而划分的不同亚组。此外,为提供ROC图示(图2、图3和图5;补充图1),最终将在总结性图4中以箱线图比较最相关的AUROC结果。亚组分析以相同方式对两组算法进行:“算法1”和“算法2”在功能及用于算法训练的标注数量上存在差异,其详细描述如下(“CheXNet”和“算法0”的等效分析可见补充材料,因其已在初步发表物[16]中类似介绍):对于单侧PTX检测,总体性能可通过AUROC量化,“算法1”为0.726(0.703–0.748),“算法2”为0.877(0.861–0.893)(见图2a)。通过忽略较小尺寸的PTX,两种算法的性能均得到改善。具体而言,对于> 2cm的PTX,AUROC最高增至0.966(0.951–0.981)。“算法2”在所有大小范围内均优于“算法1”(见图2a)。PTX大小等效但PTX阳性图像中是否存在插入TT不同的亚组揭示了TT相关混杂效应。PTX阳性SCXR中存在插入TT促进了其基于算法的检测,我们通过AUROC显著增加来量化这一效应:“算法1”从0.601(0.555–0.647)增至0.767(0.744–0.791),“算法2”从0.831(0.795–0.868)增至0.892(0.876–0.909)(见图2c、d)。对于“算法2”检测大于1 cm的单侧PTX,插入TT的影响失去显著性,这表明算法训练期间的图像内PTX标注可能减少使算法产生偏倚并导致性能回退的可能混杂效应。请比较图2c、d及相应的95% CI。下一步,分析双侧PTX存在的影响。对侧 minor PTX的存在增加了基于算法检测的可能性,量化为AUROC增加:“算法1”从0.726(0.703–0.748)增至0.813(0.763–0.863)(显著),“算法2”从0.877(0.861–0.893)增至0.923(0.889–0.957)(不显著)(见图2a、b)。

为了量化插入的TTs所引起的混杂偏倚,图3针对“算法1”和“算法2”展示了详细的亚组分析,亚组基于PTX大小(根据大小定义划分的独立亚组,见方法学)以及在PTX阳性CXRs中插入的TTs和在PTX阴性CXRs中插入的TTs构建:从中间开始(图3e),PTX阳性图像(病例)以及PTX阴性病例(对照)均包括有和没有插入TTs的图像。向左移动(图3a、d、g),仅考虑那些没有TTs的PTX阳性病例;向右移动(图3c、f、i),仅考虑那些同时包括插入TTs的PTX阳性病例。类似地,图示的上排(图3a–c)对应于基于带有插入TTs的PTX阴性对照病例的AUROCs,下排(图3g–i)代表基于没有任何插入TTs的PTX阴性病例计算的AUROCs。不同子图的比较显示,对于所有依赖PTX的亚组,AUROCs从左到右(带有插入TTs的PTX阳性病例数量增加)以及从上到下(带有插入TTs的PTX阴性对照数量减少,但PTXs < 1 cm除外,通过比较图3a和d推测是由算法性能不足时的统计背景波动所致)均升高。该方案产生了两个有趣的情形:“算法1”在包括插入TTs的PTX阴性对照病例组中识别没有任何插入TTs的PTX阳性图像( regardless of PTX size)时完全丧失了判别能力,而“算法2”至少在PTX大小大于1 cm时显著优于“算法1”(见红色高亮的图3a)。在没有任何插入TTs的PTX阴性对照组中检测包括插入TTs的PTX阳性图像时,两种算法的判别能力最大增加至AUROCs 0.856/0.974(“算法1”/“算法2”)(见绿色高亮的图3i)。

通过比较已建立的基线算法“CheXNet”和“Algorithm 0”(补充图1),也进行了类似分析,所有算法的结果总结于图4。图4a对单侧PTX检测(无论是否置入TT,对应图3e和补充图1E中的ROC曲线)的AUROC进行了统计比较:考虑算法开发过程(“Algorithm 0”–“Algorithm 2”),在算法训练中考虑图像内标注显著改善了判别性能,尽管用于算法训练的图像总数减少了(图4a1)。最终,最终的“Algorithm 2”在检测大于1 cm的PTX方面显著优于已建立的基准算法“CheXNet”(见图4a2)。最佳竞争算法(“Algorithm 2” vs “CheXNet”)的总体性能在图5中以图形方式进行了比较。此外,考虑图像内标注部分抑制了置入TT的混杂效应(见图4b和图5c、d):对于“Algorithm 2”,TT在PTX阳性病例/PTX阴性对照中对可达到AUROC的影响在数值上有所降低。尤其是对于检测大于2 cm的PTX,此时显著性部分丧失。Algorithm 2在PTX < 1 cm亚组中(图4b)的残余偏倚可能由该亚组在算法训练中代表性不足所致:已确定的PTX < 1 cm病例中有50%被指定用于算法训练,但最终只能考虑那些大到足以进行解剖标注的病例。最后,“Algorithm 2”还能够使用边界框对检测到的发现进行图形化展示(请比较图1 c1和c2)。

图2 合并亚组中算法的判别能力(“Algorithm 1”、“Algorithm 2”)。(a):“Algorithm 2”在所有因考虑较小PTX而限制算法性能的亚组中均优于“Algorithm 1”。(b):与a中相应亚组相比,存在大小较小或相等的对侧PTX可改善基于算法的可疑图像识别(尤其是与“Algorithm 1”相比)。(c、d):与无内置TT的类似图像(c)相比,置入TT的PTX阳性SCXR(d)显著更容易被检测到;这一效应在“Algorithm 1”中更为明显。(a–d):图示为受试者工作特征曲线下面积,包括95%置信区间。亚组定义部分基于PTX大小亚组的合并纳入/排除(例如,PTX > 1 cm意味着合并考虑PTX 1–2 cm和PTX > 2 cm)。因此,数量部分不相加。不符合亚组PTX大小定义的PTX阳性病例已从ROC分析中排除。 查看原图 ↗
图3 详细的亚组分析(“算法1”、“算法2”)显示,胸腔引流管是相关混杂因素,可显著偏倚算法性能。每个子图均基于气胸(PTX)大小构建亚组;子图之间的差异在于气胸阳性病例和气胸阴性对照中是否显示已置入的胸腔引流管(TT)。总体性能在各图中央展示(灰色高亮)。所有亚组的AUROC与气胸阴性对照中已置入胸腔引流管的比例呈负相关(从上到下递减)。所有亚组的AUROC与气胸阳性病例中已置入胸腔引流管比例的增加呈正相关(从左到右递增)。由此产生的极端情景分别以红色(算法判别性能显著降低)和绿色(最佳算法性能)高亮显示。图中展示了受试者工作特征曲线下面积,包括95%置信区间。不符合亚组气胸大小定义的气胸阳性病例已被排除在ROC分析之外。 查看原图 ↗
图4 四种不同算法(“CheXNet”、“算法0”、“算法1”、“算法2”)的总体性能(a1、a2)及根据气胸大小量化的胸腔引流管相关混杂偏倚,各算法在训练方式上存在差异,如前所述。(a1):在算法开发过程中,通过在算法训练中考虑图像内气胸标注,性能可显著提高(“算法0–2”)。(a2):最终版“算法2”在检测大于1 cm的气胸方面显著优于“CheXNet”。(b1、b2):“CheXNet”、“算法0”和“算法1”对任何大小气胸的检测均受到已置入胸腔引流管的强烈偏倚。该混杂效应对“算法2”有所减弱——但并未消除——尤其在气胸大小>2 cm时,部分丧失显著性。(a1、a2、b1、b2):p值根据DeLong方法(ROC比较)计算;低于显著性阈值p = 0.05者以红色高亮显示。“CheXNet”和“算法0”的ROC亚组分析见补充图1。 查看原图 ↗
图5 合并亚组中的算法判别力——高性能算法“CheXNet”与“算法2”的比较。(a):在所有亚组中,“算法2”均优于“CheXNet”,各亚组的差异在于是否同时考虑较小气胸。(b):与a中相应亚组相比,存在对侧较小或同等大小的气胸可改善“CheXNet”对可疑图像的算法识别(“算法0”无显著差异)。(c、d):与无内置胸腔引流管的相似图像(c)相比,已置入胸腔引流管的气胸阳性胸片(d)被“CheXNet”显著更容易检出;该效应在“算法2”中远不明显。(a–d):图中展示了受试者工作特征曲线下面积,包括95%置信区间。亚组定义部分基于气胸大小亚组的合并纳入/排除标准(例如,气胸>1 cm意味着合并考虑气胸1–2 cm和气胸>2 cm);因此,各组例数不能相加。不符合亚组气胸大小定义的气胸阳性病例已被排除在ROC分析之外。 查看原图 ↗

讨论

我们证明,在算法训练中加入图像内像素标注是一种有效方法,可显著提高胸部X线片中PTX检测的算法性能。我们还证明,这种标注PTX形状的方法也减少了已知由插入的TTs所引起的混杂偏倚[16]。

与原始发表相比[16, 18, 19],已建立的算法“CheXNet”在我们的基准队列上取得了较差的结果(表1)。这很可能是因为我们更具挑战性的测试数据集仅由患者仰卧位采集的图像组成(与外部测试数据相反),这导致病例向重症患者偏移,这些患者具有更多合并症,并且由于例如使用ICU移动设备采集(旋转、倾斜、身体部位)而导致大量图像质量受限,以及即使在PTX阴性对照病例中也存在很大比例的TTs[16]。在算法开发过程中,通过在算法训练中加入图像内PTX像素标注(“算法2”),“CheXNet”被超越,尽管用于算法训练的图像总数要低得多。这一观察结果凸显了训练数据质量的重要性,其重要性在任何时候都可能超过数量。在这里,训练数据质量可以通过像素标注来提高,这是一种已知的促进机器学习的方法[27]。

开放性脏层胸膜(dehiscent visceral pleura)的图像内标注已被用于算法训练,不仅是为了提高算法的整体性能,也是为了抑制由TTs引起的混杂偏倚,而TTs在PTX阳性训练数据中明显更为普遍(此处为12.7% vs 74.9%;见表1)[16]。这种偏倚与计算机视觉领域中常用的例子相当,即AI算法意外地学会了检测铁轨而不是火车。这是由于基于火车图像进行算法训练所致,而火车通常在铁轨上运行。AI系统中偏倚问题的普遍性已被多项研究证明[28–30]。TT相关的混杂偏倚在其他研究中被简要提及[31],最近被详细量化,到目前为止,仅对TTs进行算法训练将有助于进一步抑制这种偏倚。然而,这种直接标注混杂图像特征的方法将预设这些混杂因素已被事先识别(正如TTs的情况一样)。TTs是唯一被直接研究的混杂偏倚,但考虑到我们方法和结果的可迁移性和通用性,我们必须强烈假设对于任何训练数据集和多样化的AI应用,可能存在若干“隐藏的”混杂图像特征,例如其他导管材料或合并症。这些隐藏的混杂因素也可以通过直接标注指示目标检测病理的关键图像区域来解决,而无需具体了解单个混杂因素。

我们研究在混杂导管材料方面的局限性在于其基准单中心研究设计,因此仅能基于院内使用的胸腔导管(TTs)进行分析;因而,其他可能的混杂因素未被专门处理。此外,我们仅关注仰卧位胸部X线片,因此所测试算法的相对性能可能因患者直立位采集的图像而有所不同。尽管如此,仅关注仰卧位胸部X线片(SCXRs)可提供更高比例的具有可能混杂因素的图像,例如插入TTs的ICU患者。此外,算法2训练数据的一小部分(3.38%)来自与测试数据相同的临床中心。该部分包括气胸(PTX)阳性以及PTX阴性(各自伴/不伴插入TTs)。考虑到这一点,我们因此假设我们的单中心基准队列中PTX检测算法的性能不应在很大程度上存在偏倚。此外,我们的训练数据集对中心、供应商和图像类型的良好覆盖允许良好的性能泛化。另一个局限性与标注质量有关;具体而言,基于医学生执行的标注(如所述经过监督、良好培训),我们必须假设存在少量标注错误,导致亚组内出现边缘重叠,并且基于临床合理性将可疑的小PTX评估为阳性或阴性,据推测会对我们的参考标准产生不可避免的轻微模糊。还应记住,尤其是那些插入TTs的SCXRs,在残留PTX影像学不可检测(放射科医生和算法可能均不可检测)的情况下,可能在放射学上被归类为PTX“假”阴性。此外,阅片者间变异性可能影响基于测量PTX大小的亚组构成,尤其是在亚组边界附近;然而,这些误差可假定为双向均匀,因此不会对任何亚组产生系统性偏好。PTX大小测量也已被证明在阅片者内和阅片者间变异性方面仅有限变化[32]。

总之,我们以基于人工智能的PTX检测为例,证明图像内病理像素标注是显著改善病理检测人工智能算法训练的有效方法。通过大量实验,我们证明可以实现算法性能的提升,并显著减少可在详细测试数据亚组分析中识别的混杂因素的影响。这些方法对于避免诊断性人工智能算法在特定患者亚组中不知不觉地表现不佳、从而在临床常规中具有患者危害风险至关重要。在此背景下,我们建立了一个临床相关且经放射学标注的基准队列,也可用于PTX检测人工智能算法的进一步评估。

补充信息

ESM 1(DOCX 748 kb)

引用

  1. Rueckel J, Huemmer C, Fieselmann A, et al. Pneumothorax detection in chest radiographs: optimizing artificial intelligence system for accuracy and confounding bias reduction using in-image annotations in algorithm training. Eur Radiol. 2021. PMID: 33774722. doi:10.1007/s00330-021-07833-w
  2. 全文:PMC8452588(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8452588/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。