文献速递腹部技术与安全CT

主观CT图像质量评估如何变得出乎意料地可靠:成对比较法而非Likert量表

How subjective CT image quality assessment becomes surprisingly reliable: pairwise comparisons instead of Likert scale.
PubMed 文献 · Eur Radiol · 2024-01-02

该回顾性单中心研究纳入25例腹部CT扫描(含人工噪声及不同重建),由6名观察者分别用成对比较法与5点Likert量表评估图像质量;成对比较法使观察者间ICC从0.665升至0.785(高变异数据集),从0.276升至0.562(低变异数据集),6名观察者中4名观察者内ICC提高。

要点

  • 成对比较法较Likert量表提高观察者间一致性:高变异数据集ICC 0.665升至0.785,低变异数据集0.276升至0.562。
  • 成对比较法使6名观察者中4名的观察者内一致性提高,另2名未提高。
  • 成对比较法评估耗时约为Likert量表的三倍,且需排序算法减少比较次数。

核心结论

  • 成对比较法用于主观图像质量评估更可靠,表现为观察者间和观察者内一致性提高。
  • 成对比较法对图像质量优化研究、自动图像质量评估算法验证和AI算法训练有重要意义。

研究设计与样本

  • 回顾性单中心研究,腹部CT扫描于2019年9月至2020年2月期间选取,最终评估25例患者(平均年龄61岁±15.5,56%为男性)。
  • 原始扫描参数为120 kVref、150 mAsref、192×0.6 mm准直、0.5 s旋转时间,于90 kV采集、对比剂剂量0.4 g I/kg、迭代重建2级。
  • 通过专用重建软件模拟原始管电流60%、70%、80%、90%并重建滤波反投影及迭代重建2、3、4级,共产生510次CT扫描。
  • 构建高变异和低变异两个数据集各50次扫描,均包含25次原始扫描;6名观察者(5名放射科医生、1名住院医师)用成对比较法和5点Likert量表评分。
  • 观察者间一致性用双向随机绝对一致性平均测量ICC,观察者内一致性用单次测量ICC,统计软件为SPSS v29.0。

关键影像表现/征象

  • 成对比较法排序与Likert评分有一定相关性:高变异数据集中18次中位Likert评分≤3的扫描有15次排在后半,低变异数据集中6次中位Likert评分≤3的扫描全部排在后半。
  • Likert量表混淆矩阵无清晰对角线,常见偏离对角线,如观察者1多数时候评分低于观察者2。
  • 部分观察者使用全部1–5分,部分观察者主要使用3和4分;有时同一扫描被一名观察者评2分、另一名评5分。
  • 观察者内重复评估中,观察者6和观察者3的Likert评分变化小,多数CT扫描两次均获相同评分(分别64%和72%两次均评4分)。

诊断标准与关键数值

  • 观察者间ICC高变异数据集:成对比较法0.785(95%CI 0.676–0.867) vs Likert量表0.665(95%CI 0.396–0.814)。
  • 观察者间ICC低变异数据集:成对比较法0.562(95%CI 0.337–0.729) vs Likert量表0.276(95%CI 0.034–0.500)。
  • 6名观察者中4名观察者内ICC在使用成对比较法后大幅提高,观察者3两种方法ICC大致相等,观察者4的ICC下降。
  • Likert量表为5点:1非常差、2差、3中等、4好、5非常好;成对比较法使用Ford-Johnson算法将50次扫描所需比较次数从1225次减至约220次。

临床应用与阅片要点

  • 成对比较法捕获相对偏好和排序,不能用于CT扫描的绝对评估;Likert量表虽为序数量表,但可设定诊断充分图像质量的预定阈值。
  • 使用排序算法虽大幅减少执行时间,但成对比较法评估耗时约为Likert量表的三倍,需权衡执行时间与可靠性。
  • 两种方法均未使用参考扫描或事先培训;观察者被要求基于整体诊断图像质量评分,也可用于更具体的诊断问题。

局限性

  • 成对比较法受限于需排序算法大幅减少比较次数,因观察者评估所有可能配对不可行。
  • 排序算法通常更适合数值或字典序数据,用于诊断图像质量等主观数据时可能因循环关系和无 ground truth 而不那么有效。
  • 不使用排序算法可避免传递性假设误差、获得更可靠结果,但需显著额外时间投入。
  • 成对比较法评估耗时约为Likert量表的三倍,须仔细权衡执行时间与可靠性。
  • 成对比较法捕获相对偏好和排序,不能用于CT扫描的绝对评估。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Jan 2;34(7):4494–503. doi: 10.1007/s00330-023-10493-7

引言

计算机断层扫描(CT)是日常临床实践中最重要诊断成像工具之一,需要足够的图像质量(IQ)。然而,通过降低图像噪声来提高IQ意味着更高的辐射剂量,这可能导致终生归因癌症风险增加[1]。优化研究试图在辐射剂量和IQ之间找到平衡。然而,IQ的可靠评估仍然是一个挑战[2, 3]。

IQ通常使用固定的(通常为5点)Likert量表进行主观评估[4]。主观评估可以提供关于IQ的全面信息,因为它考虑了人的感知。然而,由于对量表各点的不同解释,它容易产生变异性[5–7]。IQ也通常使用客观参数进行评估,如特定感兴趣区域的信噪比和对比噪声比。尽管这些参数是可量化的,但它们可能并不总能准确反映放射科医生对诊断IQ的感知[8]。更先进的自动化算法可能更适合评估IQ,因为其客观性且不需要人类观察者的时间[9–11]。然而,自动化算法的开发需要使用主观IQ评估进行验证,而相比于标准Likert量表方法,这可以从更可靠的方法中受益。

在成对比较(PC)方法中,观察者被反复要求从成对扫描中选择偏好的扫描,直到所有扫描被排序[12]。其他学科的先前研究表明,Likert量表的观察者间和观察者内一致性较低,而PC方法可能更准确和敏感,即使对于扫描内的微小差异也是如此[5, 13–16]。当使用Likert量表方法时,观察者通常在地数据集上接受训练或被提供参考扫描以给出绝对评分。然而,研究表明这并未提供显著的附加价值[13, 14]。在PC方法中,扫描是相互参照进行评分的,同样避免了训练或额外参考扫描的需要[12–17]。此外,观察者往往不愿选择极端Likert评分,因为担心之后会出现更好或更差的扫描[16]。这导致偏向量表中间,提供的评估分类不如PC方法精细。

本研究旨在表明,在腹部CT检查中,使用PC方法代替Likert量表方法可以提高主观IQ评分的可靠性。

材料和方法

由于回顾性数据以匿名方式分析,当地伦理委员会和机构审查委员会提供了书面知情同意豁免(参考号METC 2017-0250)。

研究设计

使用先前发表文献中收集的数据[18],包括30名独特患者的腹部CT扫描,这些患者是在2019年9月至2020年2月期间回顾性选取的。所有扫描的参考管电压和管电流分别为120 kVref和150 mAsref,切片准直为192 × 0.6 mm,机架旋转时间为0.5 s。扫描以90 kV采集,对比剂剂量因子为0.4 g I/kg,并采用迭代重建(IR)2级进行重建。运动伪影作为排除标准。为了获得扫描图像质量(IQ)的更多变异,通过模拟原始(100%)管电流的60%、70%、80%和90%的扫描,使用专有专用CT重建软件(版本13.0.0.1,原型软件,Siemens Healthineers,软件验证信息见[18])人工插入噪声。此外,模拟扫描使用滤波反投影(FBP)和IR 2、3、4级进行重建。这产生了510次CT扫描(原始扫描及每名患者额外16次重建)。

为了研究主观评估对分别更明显和更不明显的IQ差异的可靠性,从总数据库中构建了两个各包含50次扫描的数据集,方法为(1)纳入原始扫描和(2)选择在重建方法和管电流值上具有更高和更低变异的扫描。原始扫描是兩個数据集的一部分,每个数据集通过从总数据库中随机选择扫描(每名患者不超过一次)来补充,以达到所需构成。

PC方法和Likert量表方法

内部开发了一个基于Python的软件程序,用于使用PC方法和Likert量表方法进行IQ评分,其用户界面设计紧密模拟诊断 viewing 系统并类似操作,例如,可滚动浏览切片和调整窗设置。

PC方法反复向观察者呈现成对的CT扫描,并强制他们选择IQ最高的扫描,持续直到所有扫描均可排序。由于比较50次扫描的所有可能配对需要1225次比较,软件中应用了Ford-Johnson算法,将所需比较次数减少至约220次[13, 19]。该排序算法假设扫描的传递性关系:如果扫描A优于B,且B优于C,则暗示A优于C,从而消除评估后者的需要。根据先前的偏好,算法生成呈现给观察者的下一对;因此,需要评分的配对对每个观察者和评估都是独特的。PC方法为每个观察者产生了扫描的排序(IQ从低到高)。

对于Likert量表方法,扫描以随机顺序逐一呈现,观察者被提示点击总体IQ对应的Likert评分(1,非常差;2,差;3,中等;4,好;5,非常好)[4]。

图像质量评估

五名放射科医师(C.M.、F.Z.、H.G.、B.M.、R.M.)和一名放射科住院医师(B.H.)分别具有12年、12年、10年、7年、13年和4年的经验,参与了本研究。观察者在诊断屏幕上对图像质量(IQ)进行评分,同时对扫描和患者信息设盲。应用腹部CT检查的标准窗位设置(窗位=40 HU;窗宽=400 HU),但允许观察者进行调整。指示观察者根据整体诊断IQ评估扫描图像。所有观察者首先使用PC方法和Likert量表方法对第一个数据集进行评分,然后,在至少2周的间隔后,他们使用两种方法对第二个数据集进行评分。两个数据集中均存在的原始扫描用于评估观察者内一致性。两种评估方法均在无事先培训或参考图像的情况下进行。

数据分析

观察者间和观察者内一致性均使用组内相关系数(ICC)进行量化。ICC是一种信度参数,范围为0至1,1表示观察者之间完全一致[20],使用统计软件(SPSS,v29.0;IBM Corp)计算。对于ICC的计算,使用双向随机方法进行绝对一致性评估。观察者间一致性呈现平均测量ICC,代表多名观察者平均值的信度。对于观察者内一致性,呈现单一测量ICC,代表单个观察者的信度。

使用图形方法可视化不同观察者使用PC方法进行排名时的观察者间一致性。扫描图像按所有六名观察者排名得分的中位数排序。每张扫描图像,观察者所赋排名的范围通过箱线图可视化,箱线图越小表示一致性越高。箱线图中添加颜色表示观察者所给Likert评分的中位数。对于观察者内一致性的ICC,使用两个数据集中均存在的原始扫描,因为它们被评分了两次。对于每名观察者,重复测量时所赋排名在图中以连线方式可视化。

使用混淆矩阵可视化使用Likert评分时的观察者间和观察者内一致性。Likert评分标示在横轴和纵轴上,矩阵中的每个单元格代表由两名观察者或重复测量时所赋特定Likert评分组合的扫描数量。对角矩阵将表示完全一致。

结果

五名患者的数据因明显的呼吸伪影而被排除(图1)。人群的基线特征见表1。高IQ变异和低IQ变异数据集的最终组成分别见表2a和b,两个数据集均包含25张原始扫描,此外还包含25张具有高或低管电流和重建技术变异的扫描。

自主研发软件的用户界面分别在图2a和b中呈现,对应PC方法和Likert量表方法。图2c显示了观察者5对图像的排名,而该观察者对所有三张图像均赋予了Likert评分4分。

图1 高变异和低变异数据集选择流程图 查看原图 ↗
表1 基线特征 查看原表 ↗
表2 高变异数据集(a)和低变异数据集(b)的组成。两个数据集均包括25次原始扫描,并补充25次扫描,每位患者各一次,在重建水平(IR,迭代重建水平;FBP,滤波反投影)和模拟管电流(原始管电流的60%–90%)上具有高或低变异。 查看原表 ↗
图2 自主开发软件的用户界面,(a)配对比较法;(b)Likert量表法。(c)由观察者使用配对比较法对3幅CT图像进行排序的示例及相应的Likert评分。 查看原图 ↗

观察者间一致性

PC法和Likert量表法的ICC均呈现在表3中。当使用PC法而非Likert量表法时,高变异数据集的ICC从0.665(95%CI 0.396–0.814)增至0.785(95%CI 0.676–0.867),低变异数据集的ICC从0.276(95%CI 0.034–0.500)增至0.562(95%CI 0.337–0.729)。此外,对于两种方法,高变异数据集的ICC均高于低变异数据集。

图3a和b分别呈现了高变异和低变异数据集PC法结果的箱线图。通过箱线图的颜色可以观察到,大多数扫描(超过90%)被赋予的Likert评分中位数为3或4。根据PC法对IQ的排序显示与IQ的Likert评分存在一定相关性。例如,在图3a中,获得Likert评分中位数为3或更低的18次扫描中有15次在PC法中被排在最低的一半(图的左侧),而在图3b中,所有6次评分为3或更低的扫描均被排在最低的一半。

图4展示了高变异(图4a–d)和低变异(图4e–h)数据集数据中若干观察者对的Likert量表法混淆矩阵的代表性选择。没有任何矩阵显示出可表明高度一致性的清晰对角线。经常观察到偏离对角线的现象,例如图4a中观察者1大多数时候评分低于观察者2。此外,一些观察者使用1–5的整个评分范围,例如图4c中的观察者5,而其他观察者主要使用Likert评分3和4,例如观察者3。有时观察到评分差异很大,其中一位观察者将一次扫描评为2分,而另一位观察者将同一次扫描评为5分,例如图4e。从混淆矩阵中无法观察到高变异数据与低变异数据之间的明显差异。

表3 观察者间一致性。两种图像质量主观评分方法(配对比较法和Likert量表)在高变异和低变异数据集上的平均值的组内相关系数(ICC)。 查看原表 ↗
图3 箱线图表示全部六名观察者使用配对比较法进行图像质量评估时排名的分布。箱体按观察者获得的六个排名的中位数排序,并按观察者给出的Likert评分中位数着色。结果分别给出(a)高变异和(b)低变异数据集。 查看原图 ↗
图4 高变异数据集(a–d)和低变异数据集(e–h)中两名观察者随机组合的Likert评分混淆矩阵。横轴和纵轴给出观察者所给的Likert评分。对角矩阵将表明完全一致。 查看原图 ↗

观察者内一致性

表4显示,当使用PC方法而非Likert量表方法时,六名观察者中有四名的观察者内一致性ICC大幅增加。观察者3在两种方法下的ICC大致相等,而观察者4的ICC下降。

图5显示了每位观察者在两个测量时刻使用PC方法的排名结果。可以观察到,中位排名极端的扫描在重复评估中的离散度小于中位排名不那么极端的扫描,表明在对极端排名的评定上一致性更高。此外,由于颜色代表每位观察者两次评估的中位Likert评分,可以明显看出大多数扫描获得的中位Likert评分为3或4,且与观察者无关,同时显示出不同的排名。颜色还显示某些观察者的评分始终低于其他观察者。

使用Likert量表方法对IQ进行重复评估的混淆矩阵见图6。可以观察到,尤其是观察者6和观察者3的Likert评分变化很小,因为大多数CT扫描在IQ上获得了相同的评分(分别在两次评估中有64%和72%获得评分4)。

表4 观察者内一致性。两种主观图像质量评分方法(成对比较法和Likert量表)在每位观察者重复评估中的组内相关系数(ICC) 查看原表 ↗
图5 每位观察者使用成对比较法两次评估之间的一致性。对于每个扫描,显示两个点,分别对应评估1和评估2中的排名。颜色代表观察者在两次评估中给出的平均Likert评分。扫描按中位排名排序。例如,对于观察者5,几乎每个扫描都获得了Likert评分4(紫色),尽管这些图像在两次评估中始终具有不同的排名 查看原图 ↗
图6 每位观察者重复评估的混淆矩阵(观察者内一致性)。水平(上方)和垂直轴给出观察者所给的Likert评分。对角矩阵将表示完全一致 查看原图 ↗

讨论

本研究表明,在腹部CT扫描评估中,使用PC方法替代标准Likert量表方法可提高主观IQ评估的可靠性。使用PC方法时,观察者间一致性的ICC大幅增加,与扫描间IQ的差异无关;观察者内一致性在六名观察者中有四名大幅增加。

Likert量表评估经常使用参考标准或在接受预先培训后进行,因为有人可能认为这有利于准确性。然而,文献表明提供参考标准或预先培训似乎并未产生显著的附加价值。Phelps等[14]发现,让观察者重复其Likert评估并向其提供参考最佳和最差图像并未明显提高准确性。同样,Mantiuk等[13]未发现向Likert评分方法添加参考扫描有任何益处。为了对两种方法进行公平比较,决定对两种方法均不使用额外的参考扫描或预先培训。

对诊断图像质量(IQ)的主观评价是诊断影像学中检验假设的常用方法,通常采用李克特量表法进行,例如在[6, 8, 10, 18, 21–27]中。Mantiuk等[13]在照片和视频质量上比较了四种最常见的评估方法(包括PC法),发现PC法最准确且最省时。他们还研究了在PC法基础上增加在连续量表上指示IQ差异程度的方式,但并未改善结果。在医学IQ评估中,仅有有限数量的研究报告了与PC法相关的研究。Phelps等[14]在一组10张具有不同图像锐度(数字模糊)的临床胸部X线片上比较了PC法与李克特量表法。他们评估了两种方法与实际锐度的一致性,发现PC法优于李克特量表法。此外,Ellman等[28]在其CT剂量优化研究中使用了PC法,并发现了高观察者间一致性。据我们所知,我们的研究是首个在CT扫描中比较这两种方法的研究。

本研究使用腹部CT扫描进行,但我们预期结果可推广至其他解剖部位和成像方式,因为使用PC法改善IQ评估已在非医学环境[13]和胸部X线片[14]中得到显示。未来研究可通过评估PC法在不同成像方式中的有效性来验证这一观察。在本研究中,观察者被给予一般性指导,即根据整体诊断IQ对扫描进行评分,但两种方法也可用于更具体的诊断问题,例如“评估辨别局灶性肝脏病变的图像质量”。这可能提高观察者间的一致性水平,尤其是对PC法而言。而对于李克特量表法,无论诊断问题的特异性如何,相同的问题仍将存在,例如缺乏参考材料以及倾向于避免极端评分;而正如Ellman等[28]所展示的,具体诊断问题在使用PC法时可能简化扫描之间的选择。

PC法受限于需要一个排序算法,该算法大大减少了需要评估的比较次数,因为观察者评估所有可能的扫描配对是不可行的。然而,排序算法通常更适合处理数值或词典序数据,当应用于诸如诊断IQ之类的主观数据时可能不那么有效,因为此类数据可能出现循环关系且没有金标准[5, 13]。在不使用排序算法的情况下应用PC法将避免因传递性假设而导致的错误,因此会带来更可靠的结果,但需要显著额外的时间投入。

尽管使用排序算法大幅减少了执行时间,但观察者使用PC法完成评估所需时间约为李克特量表法的三倍。因此,应仔细考虑执行时间与可靠性之间的权衡。在许多情况下,更可靠的主观评估和更精细分类所带来的益处将超过额外的时间投入。

需要注意的是,PC方法捕捉的是相对偏好和排序;因此,它不能用于CT扫描的绝对评价。另一方面,Likert量表尽管属于有序量表,但允许为诊断上足够的图像质量建立预定义的阈值。

总之,本研究的结果表明,与Likert量表法相比,使用PC方法提高了临床CT扫描主观图像质量(IQ)评估的可靠性,即使对于IQ的微小差异也是如此。这可能极大地有益于未来的优化研究以及自动确定的IQ参数的研究,因为这些参数需要与主观感知的IQ进行验证。此外,以可靠方式对IQ进行主观评分的大型数据集可能可作为自动IQ确定中机器学习算法的训练数据。作为质量保证计划的一部分时,自动确定的IQ可以持续监测,从而能够在早期阶段观察到IQ的微小变化。

引用

  1. Hoeijmakers EJI, Martens B, Hendriks BMF, et al. How subjective CT image quality assessment becomes surprisingly reliable: pairwise comparisons instead of Likert scale. Eur Radiol. 2024. PMID: 38165429. doi:10.1007/s00330-023-10493-7
  2. 全文:PMC11213789(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11213789/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。