用于人工智能算法开发的经阴道超声图像质量客观评分系统的观察者内与观察者间一致性
本研究提出一种用于量化妇科经阴道超声图像质量的1–4分评分系统,并由6名影像专业人员(2名放射科医生、2名超声技师、2名妇科超声医生)对50名女性的150幅图像进行两次评分。结果显示观察者间一致性差至中等(全体ICC 0.480),观察者内一致性多为弱至中等(加权Cohen's kappa 0.533–0.718),提示该评分系统可能需进一步细化。
要点
- 六名评分者对全部150幅图像的观察者间一致性差(ICC 0.480,95%CI 0.363–0.586)。
- 放射科医生配对间一致性为中等(ICC 0.600,95%CI 0.487–0.693),优于超声技师和妇科超声医生配对。
- 观察者内一致性多为弱至中等(加权Cohen's kappa 0.533–0.718),子宫图像略好。
核心结论
- 所提出的图像质量评分系统显示观察者间一致性差至中等,观察者内一致性多为弱至中等。
- 可能需要进一步细化评分系统以提高一致性,但鉴于超声判读的高度主观性,图像质量能否量化仍不明确。
- 虽然部分人工智能系统可容忍标注噪声,但大多数系统偏好干净(高质量)数据,因此需要创新的数据标注策略。
研究设计与样本
- 研究为观察者内与观察者间一致性研究,图像来自IMAGENDO®研究(试验注册号ACTRN12623000646640)回顾性收集的数据库。
- 样本为50名女性贡献的150幅静态图像(子宫正中矢状面50幅、右卵巢50幅、左卵巢50幅),无电影剪辑。
- 评分者为6名影像专业人员,包括2名妇科超声专科医生、2名超声技师和2名妇科影像专科放射科医生,最低经验6年。
- 每名评分者对每幅图像间隔至少1周进行两次独立评分,使用在线调查平台采集数据。
- 图像来自澳大利亚多家超声诊所、不同制造商超声设备,均为二维B模式单屏图像,无测量卡尺和多普勒框。
诊断标准与关键数值
- 评分系统为1–4分:1=拒绝(图像不正确),2=图像质量差,3=图像质量欠佳,4=图像质量最佳。
- 评分基于五个因素:解剖结构正确显示、解剖结构在视野内、图像优化(深度、聚焦和增益)、可解读用于病理诊断、图像整体清晰度。
- 观察者间一致性分级:ICC<0.5为差,0.5–0.75为中等,0.75–0.9为好,0.9为极好。
- 加权Cohen's kappa分级:<0.20无一致性,0.21–0.39极小,0.40–0.59弱,0.60–0.79中等,0.80–0.90强,>0.90几乎完美。
- 样本量计算确认至少需45幅图像,以达到最低可接受ICC 0.5、预期ICC 0.75、显著性水平0.05和80%检验效能。
临床应用与阅片要点
- 六名评分者对全部150幅图像的观察者间一致性差(ICC 0.480,95%CI 0.363–0.586),对子宫图像差(ICC 0.359,95%CI 0.204–0.523),对卵巢图像中等(ICC 0.531,95%CI 0.417–0.636)。
- 超声技师配对间全部图像一致性差(ICC 0.336,95%CI −0.078至0.619),妇科超声医生配对间差(ICC 0.425,95%CI 0.014–0.665)。
- 放射科医生配对间全部图像一致性中等(ICC 0.600,95%CI 0.487–0.693),子宫图像中等(ICC 0.538,95%CI 0.311–0.707),卵巢图像中等(ICC 0.621,95%CI 0.483–0.728)。
- 观察者内加权Cohen's kappa全部图像0.533–0.718,卵巢图像0.467–0.751,子宫图像0.568–0.808;ICC全部图像0.636–0.825,卵巢图像0.596–0.862,子宫图像0.546–0.893。
- 所有一致性指标均具有统计学意义(P<0.001)。
局限性
- 评分系统仅基于已发表文献的回顾构建,而非多中心专家共识或Delphi方法。
- 文献检索仅限于超声研究,未扩展至其他影像模态。
- 所有评分者在个人设备的不同地点观看图像,环境因素(如屏幕设置和照明)可能影响图像外观。
- 在开发阶段未对评分系统进行预试验,可能错失进一步细化的机会。
- 研究前未举行校准会议,尽管所有评分者均获得统一的书面说明,但可能因此未能达到更高的一致性。
全文中译9 节 · 点击展开
引言
准确解读超声图像依赖于高质量图像的获取。人工智能(AI)算法可以解读超声图像,给出拟议的诊断,但它们同样依赖于高质量的图像获取,图像质量(IQ)不佳会降低诊断的准确性 1 , 2 , 3 。例如,Blaivas 等人 2 报告称,当深度学习系统应用于来自低成本超声机器、图像质量较低的图像时,其性能显著下降。因此,在开发用于诊断的 AI 算法的同时,审慎考虑使用 AI 工具评估图像质量,以确保 AI 系统接收到的数据输入质量令人满意,从而实现准确诊断。
已发表文献中的许多评分系统提出了严格评估超声图像质量并为自然(人工主导)成像检查分配评分的方法 4 , 5 , 6 , 7 , 8 , 9 , 10 , 11 , 12 , 13 , 14 , 15 , 16 , 17 , 18 。然而,其中许多系统评定的因素在开发 AI 工具时相关性较低,例如操作者技能 4 , 8 , 11 和标注准确性 7 , 9 , 13 。此前已发表两个专门针对妇科超声的系统,分别侧重于窦卵泡计数 6 和急诊妇科就诊 11 ,但目前已发表文献中尚无用于评估经阴道超声(TVS)图像质量的评分系统。
已开发出 AI 算法用于医学影像中图像质量评估的自动化 19 , 20 , 21 , 22 。尽管此类工具可以仅用于阈值判定,即通过识别并剔除质量差的图像 23 ,但更广泛的图像质量评估系统有可能提供更广泛的临床辅助。Chen 等人 24 开发了一种 AI 系统,将血管内超声图像分类为低、中或高质量,其分类准确率达到 96.34%。该系统使用由医生主观标注质量的图像库进行训练,凸显了在 AI 算法开发中采用合适图像质量标注策略的必要性。此外,此类系统理想情况下应在一整套数据(从高质量到低质量)上进行训练,以学习如何识别良好与不良图像质量。本研究旨在提出一种能够量化妇科 TVS 图像质量、适合 AI 算法开发的评分系统,并评估该工具在多名超声专业人员中的观察者内和观察者间一致性。
方法
评分系统的开发
检索了在线数据库PubMed、Scopus和Google Scholar,检索时间自建库至2022年10月30日,以确定是否存在适用于TVS IQ评估的合适评分系统。未发现此类工具,随后进行了文献综述,以识别任何其他已发表的超声成像IQ评估工具。再次检索相同的在线数据库,检索时间自建库至2022年10月30日,使用术语“ultrasound”、“scoring”或“grading”、“assessment”和“quality”。返回条目通过标题和摘要进行相关性筛选。被认为可能相关的条目随后进行全文阅读。这最终揭示了15项详细描述与超声成像相关评分系统的研究(表1)4 , 5 , 6 , 7 , 8 , 9 , 10 , 11 , 12 , 13 , 14 , 15 , 16 , 17 , 18 。基于这些先前发表的已识别系统,创建了一个基于解剖结构展示和图像技术优化的新草案评分系统,以量化妇科TVS图像的IQ评估。该系统随后由四位妇科超声专家(G.C.、M.L.、S.K.和C.P.)进行审查,围绕每个评分的适宜性进行讨论,直至对评分描述达成一致。草案评分系统随后由一位医学成像AI工具开发专家(H.‐T.C.)进行审查,以确保其适用于AI工具的设计。随后由所有专家进行最终审查,以创建新的评分系统。该过程中评分系统各个迭代版本的详细信息见附录S1。
拟议的TVS IQ评估评分系统
拟议的评分系统见表2。如果图像被认定为不正确/不准确(例如空白图像或需要经腹部而非经阴道图像),则该图像被拒绝(评分为1)。所有其他图像根据表2中列出的五个因素进行评估,涉及以下方面:解剖结构的正确描绘;解剖结构在视野中的显示;图像优化(深度、聚焦和增益);解释图像以诊断病变的能力;以及图像的整体清晰度。根据评分者的意见,为每张图像分配最能代表该图像的1–4分,其中1 = 拒绝(图像不正确),2 = IQ差,3 = IQ欠佳,4 = IQ最佳。代表评分2–4的部分图像见图1。
观察者内和观察者间可靠性
为评估观察者内和观察者间可靠性,由六名影像专业人员独立进行IQ评分,按专业配对:两名具有超声亚专业方向的妇科医生(妇科超声医生)(G.C.和M.L.)、两名超声技师(C.P.和S.M.)和两名具有妇科影像亚专业方向的放射科医生(S.K.和G.L.)。所有专业人员在进行和/或离线解读经阴道超声(TVS)图像方面均具有高水平专业知识,最低经验为6年。
共有50例病例,每例提供三张静态图像(无动态剪辑),共计150张图像用于图像审阅。所审阅和评分的图像为子宫正中矢状面图像(n = 50)、右侧卵巢图像(n = 50)和左侧卵巢图像(n = 50)(图2)。这些图像来自一个大型回顾性收集的数据库,该数据库作为一项更广泛研究即IMAGENDO®研究(试验注册号:ACTRN12623000646640)的一部分而获取。图像来自澳大利亚多家超声诊所,并使用不同设备制造商的超声仪器采集。所有审阅图像均为二维B模式单屏图像,不含测量卡尺和彩色多普勒框。图像不包含任何与患者身份相关的数据,例如获取图像的诊所或检查日期。用于获取图像的超声仪器详细信息已尽可能从图像中移除。所审阅的图像由一名独立研究者(A.D.)准备。审阅者对同一次扫描的任何其他图像、临床病史、超声医师报告(即实时扫描的技术局限性)或正式检查报告均设盲。审阅图像被上传至在线调查平台(Survey Monkey,2023;Momentive.ai,San Mateo,CA,USA)以进行数据采集。在Survey Monkey中,六名评分者中的每一人均审阅每一张图像,并根据表2中的评分系统,通过多项选择为每张图像分配一个评分。所有图像均由每名评分者在各自独立的地点和个人设备上查看。调查中包含一个自由文本框,用于记录评分者对其认为可能导致IQ(图像质量)下降的任何技术局限性所提出的评论。如果评分为1、2或3,则要求评分者添加自由文本评论,详细说明其认为可能导致IQ下降的因素。每名评分者在至少间隔1周后重复图像审阅过程,因此每名评分者对每张图像共给出两次评分。本研究作为IMAGENDO®研究的一部分实施,该研究已获得阿德莱德大学人类研究伦理委员会伦理批准(方案编号:H‐2020‐051)。
统计分析
采用组内相关系数(ICC)评估观察者间一致性,计算该系数以衡量所有六名评估者之间的一致性水平,其中0=不一致,1=完全一致(< 0.5=一致性差,0.5–0.75=中等一致,0.75–0.9=一致性好,0.9=一致性极好)25。ICC估计值基于k=6的单个评估者值,采用双向混合效应模型,表示绝对一致性。配对专业人员之间的观察者间一致性也采用ICC和加权Cohen's kappa系数进行评估,其中kappa < 0.20=不一致,0.21–0.39=极低一致,0.40–0.59=弱一致,0.60–0.79=中等一致,0.80–0.90=强一致,> 0.90=几乎完全一致26。
计算每位评估者在每次阅片会话中的中位数、众数和平均分。计算加权Cohen's kappa和ICC值以评估每位评估者在两次阅片会话中的观察者内一致性。咨询了生物统计学家以验证该分析方法是否令人满意。使用SPSS for Mac 29.0.2.0版(IBM Corp.,Armonk,NY,USA)进行ICC计算。P值< 0.05被认为具有统计学意义。使用在线样本量计算器(http://wnarifin.github.io)进行样本量计算,确认在最低可接受ICC为0.5、预期ICC为0.75、显著性水平为0.05的情况下,要达到80%的检验效能,至少需要45张图像的样本量27。
结果
观察者间一致性
表3展示了六名评估者之间以及按专业分组配对后达到的观察者间一致性。六名评估者在全部150张图像之间获得的一致性水平较差(ICC,0.480(95% CI,0.363–0.586)),将图像按子宫图像分组时亦然(ICC,0.359(95% CI,0.204–0.523))。所有评估者对卵巢图像达到中等一致性水平(ICC,0.531(95% CI,0.417–0.636))。配对超声技师和超声医师之间对所有图像的一致性较差(ICC分别为0.336(95% CI,−0.078至0.619)和0.425(95% CI,0.014–0.665)),将图像按子宫图像分组时亦然(ICC分别为0.253(95% CI,−0.097至0.577)和0.299(95% CI,−0.094至0.606)),卵巢图像分组时亦然(ICC分别为0.400(95% CI,−0.043至0.669)和0.469(95% CI,0.088–0.689))。配对放射科医师之间对所有图像总体达到中等一致性水平(ICC,0.600(95% CI,0.487–0.693)),对子宫图像(ICC,0.538(95% CI,0.311–0.707))和卵巢图像(ICC,0.621(95% CI,0.483–0.728))亦然。所有指标均具有统计学意义,P值< 0.001。
观察者内一致性
观察者内一致性见表4。加权Cohen's kappa显示,所有图像中各评分者的一致性为弱至中等(Cohen's kappa范围为0.533至0.718),卵巢图像亦为弱至中等(Cohen's kappa范围为0.467至0.751)。子宫图像的一致性略好,加权Cohen's kappa范围为0.568至0.808,表明一致性为弱至强。ICC显示类似结果,所有评分者在所有图像总体上的观察者内一致性为中等至良好(ICC范围为0.636至0.825),子宫图像(ICC范围为0.546至0.893)和卵巢图像(ICC范围为0.596至0.862)亦然。所有指标均具有统计学意义,P值<0.001。
表S1显示了各评分者在第一次和第二次审阅时给出的评分中位数、众数和均值。总体而言,评分者在两次审阅中的严格程度保持一致。然而,三名评分者(G.C.、S.M.和C.P.)在第二次审阅中对子宫和卵巢图像的均值评分略高。两次审阅中评分者间均值评分的分布(第一次审阅:均值评分范围为2.6至3.5;第二次审阅:均值评分范围为2.8至3.5)提示某些评分者对图像质量(IQ)更为严格,而其他评分者则更为宽松。
讨论
本研究表明,使用我们的评分系统对经阴道超声(TVS)图像进行定量评分时,观察者间一致性为差至中等。同时,观察者内信度略好,显示中等至良好的ICC和弱至强的加权Cohen's kappa值。所有统计指标均有显著性(P < 0.001),表明这些变异不太可能由随机 chance 所致。这是文献中首个评估超声技师、超声医师和放射科医师在妇科TVS图像IQ评分中表现的观察者内和观察者间研究。
我们创建的评分系统设计为类似任务相关核查表28, 29,旨在客观评估IQ10, 13, 28。然而,我们的结果提示该系统可能定义不够充分,导致评分者间的主观解读。由人工操作者评估超声IQ的主观性是已有充分文献记录的挑战10, 19, 30, 31。例如,Papageorghiou等31报告,专家对胎儿超声图像准确性(因其遵循既定方案)的一致率仅为79.4%。尽管Molloholli等10和Wanyonyi等30均报告使用客观IQ评分系统可使专业人员间一致性优于主观评估,但其他研究报告即使使用结构化评分系统,IQ评估仍存在主观性因素13。IQ评估中固有的主观性可能解释我们的操作者内结果,尽管优于操作者间一致性,但弱于预期。
在本研究中,我们创建了一个新的IQ评分系统,因为文献中不存在可广泛适用于TVS图像的已发表系统。虽然文献中发现了三个与妇科超声相关的评分系统6, 11, 18,但这些系统要么对单一应用过于特异6, 11,要么评估的是操作者能力而非IQ 18。我们旨在使评分系统适用于各种TVS场景,这可能影响了其客观性。虽然产科超声中一些类似系统已显示出良好结果10, 12, 18, 30, 32, 33, 34,但这些系统不太可能转化为妇科超声,因为妇科超声的正常解剖表现更为多变。进一步细化评分说明可能在未来改善一致性水平。
除了评估IQ以进行质量保证外,IQ评分系统还可以帮助教学、培训并向专业人员提供反馈11, 12, 32, 34,使用若干已发表系统显示,更有经验的操作者会产生更高的评分4, 5, 11, 17, 18。Salomon等11的研究强调了评分系统作为教学工具的效用,该研究发现,当在急诊科进行妇科超声扫描的实习医生接受额外培训时,评分显著提高。我们的系统是否适合用作培训工具仍未知,这是一个需要进一步研究的领域。
AI系统在IQ评估方面比人工评估具有显著优势,因为它们不受疲劳3等人为因素的影响。然而,此类系统的开发并非没有困难。首先,IQ评估的主观性通常会导致图像标注带有噪声,这是AI工具通常难以处理的问题35。此外,AI工具需要大量标注数据,需要专家进行精确的图像审阅,例如本研究中采用的方法,这既费人力又成本高昂12, 36。为解决这些问题,需要开发创新的数据标注策略。
我们审查的大多数评分系统(表1)评估的是操作者的技能和能力,作为超声质量保证的一种手段,而不是孤立地评估已记录图像的IQ 4, 7, 9, 13, 15, 16, 17。在临床实践中,超声检查者的技能和能力对于确保检查准确性和最佳患者结局至关重要。然而,AI模型评估的是独立于操作者技能的“数据质量”(即存储的图像和视频)。由于文献表明AI已在其他(非妇科)超声应用的IQ评估中发挥重要作用19, 23,也许我们正在进入超声IQ评估的新范式,这一范式在传统的人工主导方法与AI和数字系统的新兴作用之间取得平衡。
本研究具有若干优势。使用了来自不同超声检查者、诊所和超声机器的大型TVS图像数据集,从而获得了具有统计学意义的结果。这也提供了“数据”的变异性,在开发用于IQ评估或图像解读的AI工具时必须考虑这一点。此外,尽管全部六名评分者都是经验丰富的专业人员,但通过纳入超声检查者、放射科医生和超声科医生,我们能够评估不同专业视角是否会影响IQ的解读方式。
本研究代表了首个广泛适用于妇科影像的智商评估评分系统,适用于临床实践和AI工具的设计。尽管具有新颖性,本研究仍存在若干局限性,例如我们决定仅基于已发表文献的综述构建评分系统,而非采用多中心专家共识或德尔菲法。此外,我们的文献检索仅限于超声研究。将检索扩展至其他在离线环境下更常被审阅的影像学方法,可能会发现此前在超声中未探索过的概念。由于所有评估者在个人设备上的不同地点查看图像,环境因素(如屏幕设置和照明)可能影响图像外观。尽管系统设计经过了广泛审阅,但我们在开发阶段未对系统进行试点测试,而试点测试本可允许进一步改进并可能改善本研究的结果。最后,尽管所有评估者均获得了统一的书面说明,但研究前未举行校准会议,这可能导致一致性水平更高。
总之,利用我们提出的评分系统对妇科经阴道超声(TVS)图像进行IQ分级时,观察到评估者间和评估者内一致性存在较大差异。尽管AI系统可能比人类更客观地评估IQ,但这些系统的开发将依赖于人工标注,而由于超声IQ固有的主观性,人工标注可能存在标注不一致(产生噪声数据)。因此,可靠的IQ评分方法对于妇科超声中AI系统开发的进一步进展至关重要。此外,应考虑能够适应噪声标注的AI方法。
支持信息
附录S1 我们在开发过程中客观评分系统的各种迭代版本
表S1 每位评估者在第一次和第二次审阅时对所有图像(n = 150)以及按子宫(Ut)(n = 50)和卵巢(Ov)图像(n = 100)分组时给出的超声图像质量评估评分的中位数、众数和均值
引用
- Deslandes A, Avery JC, Chen HT, et al. Intra- and interobserver agreement of proposed objective transvaginal ultrasound image-quality scoring system for use in artificial intelligence algorithm development. Ultrasound Obstet Gynecol. 2025. PMID: 39854656. doi:10.1002/uog.29178
- 全文:PMC11872342(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11872342/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。