常规孕晚期生长超声中的期望值偏倚
前瞻性收集272例孕晚期生长超声的全程视频及操作者眼动追踪,评估期望值偏倚的发生率及其对头围、腹围、股骨长测量的影响。偏倚见于91.4%的测量,操作者更倾向于将测量值调整向期望值而非远离(47.7% vs 19.7%,P<0.001),可使估计胎儿体重不一致度达10.1%±6.5%,并可能改变小于/大于胎龄儿的判定。
要点
- 孕晚期生长超声中期望值偏倚普遍存在,见于91.4%的标准生物测量,腹围和股骨长更易受累(分别为92.9%和94.9%)。
- 操作者更倾向于将卡尺调整向期望值(47.7% vs 19.7%,P<0.001),调整后测量值更接近期望孕龄(头围2.3±5.6天、腹围2.4±10.4天、股骨长3.2±10.4天)。
- 偏倚可致估计胎儿体重不一致度10.1%±6.5%,在17%(95%CI 12-21%)的扫描中可改变小于胎龄儿与适龄儿的判定。
核心结论
- 常规孕晚期生长超声中期望值偏倚频繁发生,并显著改变所获得的标准生物测量值。
- 当基于偏倚测量值估算胎儿体重时,临床决策者应意识到估计胎儿体重可能不准确。
- 超声操作者在进行生物测量时应意识到这一潜在偏倚。
研究设计与样本
- 前瞻性研究,纳入2018年5月至2019年8月在英国牛津大学医院NHS信托基金会产科超声单元由16名操作者(9名认证超声技师和7名胎儿医学医生)实施的272例单胎妊娠常规孕晚期生长超声。
- 使用Voluson E8 BT18(GE Healthcare)超声仪及标准凸阵和三维/四维探头,同步Tobii Eye-tracking Eye Tracker 4C眼动仪追踪操作者注视。
- 以定孕扫描确立的预产期计算扫描时孕龄作为期望值,以测量框显示孕龄作为观测值;期望值偏倚定义为保存测量前调整卡尺过程中操作者注视测量框。
- 通过逐帧视频分析软件(Python 3.7.0、OpenCV 3.4、Tesseract 3.05)检测测量框出现及≥100 ms的连续注视。
- 参考标准为定孕扫描确定的预产期;共分析1409次标准生物测量(头围354次、腹围703次、股骨长352次,含重复测量)。
诊断标准与关键数值
- 期望值偏倚总体发生率为91.4%,头围85.0%、腹围92.9%、股骨长94.9%。
- 操作者将测量调整向期望值 vs 远离期望值的比例:总体47.7% vs 19.7%,头围49.5% vs 16.4%,腹围51.5% vs 26.3%,股骨长38.9% vs 9.6%(所有比较P<0.001)。
- 偏倚后测量值向期望孕龄靠近的幅度:头围2.3±5.6天、腹围2.4±10.4天、股骨长3.2±10.4天(所有比较P<0.001)。
- 偏倚后测量方差降低(Levene检验P=0.0255);不同操作者的偏倚发生率范围为56%至100%。
- 最低与最高可能估计胎儿体重的不一致度为10.1%±6.5%,Z-score差为0.83±0.58;17%(95%CI 12-21%)的扫描可因使用最小或最大偏倚测量而分别判定为小于胎龄儿或适龄儿,13%(95%CI 9-16%)可分别判定为大于胎龄儿或适龄儿。
临床应用与阅片要点
- 临床决策时应意识到期望值偏倚可能使估计胎儿体重不准确。
- 超声操作者在进行生物测量时应意识到这一潜在偏倚。
- 操作者获得的标准生物平面测量值可能因知晓孕龄而被调整向期望值,重复测量也更可能发生在初始测量远离期望值时。
- 偏倚可影响小于胎龄儿或大于胎龄儿与适龄儿的判定,并可能影响基于常规临床数据采集的研究及人工智能模型训练。
局限性
- 仅一台超声仪配备眼动追踪和记录设备,限制了研究期间招募的患者数量。
- 所有胎儿生长扫描均为常规评估,大多数胎儿为适龄儿,偏倚在小于胎龄儿和大于胎龄儿妊娠中可能更明显。
- 期望值偏倚效应的量级难以确定,需要比较盲法与非盲法胎儿生物测量的研究。
全文中译9 节 · 点击展开
贡献 本工作有哪些新发现?
对完整孕中期常规胎儿生长超声扫描和超声医师眼动追踪进行的详细、新颖分析表明,操作者在获取胎儿生物测量数据时存在期望值偏倚的风险。
本工作的临床意义是什么?
在做出临床决策时,临床医生应意识到,由于期望值偏倚,估计胎儿体重可能不准确。超声操作者在进行生物测量时应意识到这种潜在偏倚。
引言
在科学中,测量的准确性是正确解读结果的关键前提。测量不准确的原因有很多,其中相对容易克服的一种是观察者偏倚,即倾向于看到我们预期看到的结果1。观察者偏倚也称为期望值偏倚、检测偏倚、观察者-期望效应、期望偏倚、观察者效应或确定偏倚。如果观察者对某项测量应该是什么已有先入为主的观念,从而导致对读数进行调整,就可能产生这种偏倚。Hróbjartsson及其同事2进行了一项系统综述,通过比较结局评估者对干预设盲的研究与结局评估者未设盲的研究之间的估计值,量化了观察者偏倚的影响。对于使用测量量表结局的临床试验,非盲法结局评估将效应量夸大了高达68%2。在随机试验中,设盲用于减少偏倚,通常包括使研究参与者不知道正在接受哪种干预或对照3, 4。Day和Altman5强调,设盲在其他类型的研究中也很重要,例如评估诊断试验的性能和测量技术的可重复性。设盲使有意或无意地使结果产生偏倚变得困难,从而有助于确保测量的可信度5。最近,一篇关于产科超声中系统误差和认知偏倚的综述提出,期望偏倚与产科超声研究相关6。
与试验不同,日常临床管理中通常不实施测量盲法。这在胎儿生长评估中可能尤为重要,因为该评估旨在发现偏离正常预期生长模式的情况;然而,为避免临床医生偏倚的影响而对检查者设盲以隐藏孕周的做法很少实践。在宫底高度的临床评估中,指南建议照护者应以无法看到测量值的方式持握卷尺7。然而,在超声评估中通常并非如此;在常规生长扫描中,包括头围(HC)、腹围(AC)和股骨长度(FL)三个标准生物测量平面的测量8,超声机器通常会显示读数(周长或长度,以mm或cm为单位)以及与该测量相对应的观测孕周(以周+天表示)(图1)。这可能导致观察者(或预期值)偏倚,即操作者可能调整周长或长度以使观测孕周与先前通过孕龄推算计算出的孕周相匹配。反过来,这可能导致胎儿生长估计偏倚。在此情境下使用盲法将克服此类偏倚。尽管在一些研究中已在生长扫描评估期间对操作者实施了对实际孕周或机器显示值的盲法9, 10,但测量盲法在常规临床实践中很少使用11。
本研究旨在评估常规胎儿生长扫描中预期值偏倚的发生率,并评估其对标准生物测量指标的影响。
方法
这是一项前瞻性研究,纳入2018年5月至2019年8月期间在英国牛津郡牛津大学医院国民健康服务体系(NHS)基金会信托产科超声科由超声技师和胎儿医学医生对单胎妊娠女性进行的常规超声扫描。在该中心,所有女性均接受三次常规超声扫描:约孕12周时的早孕期头臀长孕龄推算12,其中包括用于早孕期非整倍体筛查的颈项透明层测量;20周畸形筛查扫描;以及36周生长扫描,其中计算估计胎儿体重(EFW)13。此外,根据危险因素或临床指征,女性可能在 other 孕周接受额外扫描14。超声检查由认证超声技师或胎儿医学医生使用标准超声设备执行或监督。作为质量控制措施,存储的图像和测量的可靠性使用INTERGROWTH-21st质量控制标准定期评估15。纳入标准为母亲年龄 > 18岁且能够用英语提供口头和书面知情同意。
本研究是一项名为“通过学习超声检查经验感知超声”(Perception Ultrasound by Learning Sonographic Experience,PULSE)16项目的一部分。这是一个创新的跨学科项目,旨在应用机器学习和计算机视觉的最新理念,从真实世界的视频数据和其他感官数据中构建计算模型,以描述专家超声医师如何根据多种感知线索对受试者进行诊断性检查。通过深入了解专家如何学习和进行诊断性超声检查,我们相信能够构建出比目前可能实现的更为强大的辅助判读方法。作为PULSE项目的一部分,我们采集并记录了全长常规超声扫描视频,记录了探头运动,并追踪了超声医师在超声扫描仪显示器上的注视点。
本研究纳入的所有超声扫描均使用商用Voluson E8 BT18版(GE Healthcare,奥地利Zipf)超声机完成,配备标准曲阵探头(C2-9-D、C1-5-D)和三维/四维探头(RAB6-D)。同步眼动追踪使用附着于超声机的眼动仪(Tobii Eye-tracking Eye Tracker 4C,瑞典Danderyd)进行;眼动追踪的有效性此前已有报道17。值得注意的是,该中心仅有一台超声机配备了眼动追踪和记录设备,这限制了研究期间招募的患者数量。
本研究经英国研究伦理委员会批准(编号18/WS/0051),所有参与的孕妇均签署了书面知情同意书。超声医师也在研究开始时同意参与,但在检查过程中没有任何视觉或其他信号使其知晓追踪设备正在运行。
本研究经费由欧洲研究委员会(ERC-ADG-2015 694 581,项目PULSE)和工程与物理科学研究委员会(EPSRC EP/M013774/1,项目Seebibyte)资助。
生物测量数据采集
获取三项标准生物测量值(即HC、AC和FL)是一个三阶段过程。首先,操作者获取标准生物测量平面的最佳图像并将其冻结在屏幕上。接下来,操作者通过在图像上放置卡尺来测量生物测量变量;在我们单位使用的超声机上,自动卡尺放置默认开启。操作者通常会调整卡尺位置以获得最佳视觉拟合。在卡尺放置和调整过程中,超声机在屏幕上显示一个测量框,其中显示测量的长度或周长(以cm或mm为单位)以及与测量值对应的孕龄(以周+天为单位),并实时更新(图1)。最后,操作者通过保存带有可见测量值的图像来确认标准生物测量平面测量结果。
数据提取
每次扫描均使用基于Python(http://www.python.org,版本3.7.0)编写的专用软件程序,结合OpenCV(http://www.opencv.org,版本3.4)和Tesseract(http://www.github.com/tesseract-ocr,版本3.05),在视频逐帧基础上进行自动分析。对于每个扫描视频片段,软件程序首先通过测量框的出现来检测测量标准生物测量平面的片段。接下来,对于每个标准生物测量,程序检测操作者眼睛在测量框上持续≥100 ms的不间断注视,这是公认的眼注视下限18。如果眼注视被中断,若中断持续时间≤400 ms,则视为单次眼注视片段;若持续时间>400 ms,则视为独立的眼注视片段18, 19。此外,我们通过随机查看超过50次检测到的注视来验证眼注视阈值,确保该阈值不会产生假阳性。
同时,软件程序存储了卡尺初始放置时和操作者接受测量时测量框中显示的数值。此外,软件程序还存储了每次检测到眼注视测量框时测量框中显示的数值。测量框数值和参数通过光学字符识别提取。
Voluson E8 BT18机器在设计上,当没有可用于该测量的标准曲线或可用曲线不覆盖妊娠龄极值时,会在测量框中将观察(测量)到的妊娠龄显示为“OOR”(超出范围)。在本次分析中,当出现这种情况时,妊娠龄数值使用相应的原始公式计算。
期望值定义为胎儿生长扫描时的妊娠龄,基于在确定孕龄扫描时建立的估计预产期计算。观察值定义为测量框中显示的基于标准生物测量的妊娠龄。
期望值偏倚定义为在保存标准生物测量之前,操作者在卡尺调整过程中查看测量框时发生(图1和视频片段S1)。
在保存特定的标准生物测量(HC、AC或FL)后,同一次检查中保存的任何额外的相同标准生物测量被视为重复测量。
为评估期望值偏倚的发生率,我们评估了操作者在保存标准生物测量平面之前是否查看了测量框。为评估期望值偏倚的影响,我们:(I)测量了操作者将卡尺朝向或远离期望值调整的频率;(II)评估了期望值偏倚发生前后(即操作者首次查看测量框时和保存测量时)观察值与期望值的偏差;(III)比较了重复与未重复的标准生物测量中观察妊娠龄与期望妊娠龄之间的偏差;(IV)通过分别使用期望值偏倚发生前后最小和最大的HC、AC和FL测量值计算最低和最高可能的EFW,评估了期望值偏倚对EFW的影响。
统计分析
我们报告描述性统计结果。连续变量采用Student t检验、Wilcoxon符号秩检验(配对)或Mann–Whitney U检验(非配对)进行比较。对保存(接受)的测量值与操作者首次查看测量框时所记录的测量值之间的比较,采用多元线性回归模型进行分析。为评估重复测量次数与实际孕龄(预期值)绝对偏差之间的独立关系,我们进行了多因素方差分析。分析中对孕妇体重指数(BMI)及操作者扫描年限进行了校正。P值<0.05认为差异有统计学意义。分析使用R(http://www.r-project.org,版本3.5.2)、Python(http://www.python.org,版本3.7.0)、Pandas(http://pandas.pydata.org,版本0.24.0)、SciPy(http://www.scipy.org,版本1.1.0)和Matplotlib(http://www.matplotlib.org,版本3.0.0)进行。
结果
研究期间,共招募272名接受常规妊娠晚期胎儿生长扫描的孕妇。参与者的人口学特征见表1。胎儿生长扫描时的平均孕龄为34.6 ± 3.1周。检查由16名操作者完成,其中9名为认证超声技师,7名为胎儿医学医生,认证后超声临床经验中位数为3年(范围,4个月至14年)(表2)。
在272次扫描中,共进行1409次标准生物测量平面测量,包括354次头围(HC)、703次腹围(AC)和352次股骨长(FL)测量。我们观察到91.4%的测量存在测量偏倚风险,其中HC、AC和FL测量分别为85.0%、92.9%和94.9%(表3)。重要的是,有证据表明,在卡尺调整过程中查看测量框很可能源于偏倚而非其他原因,因为操作者更倾向于将测量值调整至接近预期孕龄,而非调整至偏离预期孕龄(总体47.7% vs 19.7%;HC 49.5% vs 16.4%;AC 51.5% vs 26.3%;FL 38.9% vs 9.6%;所有比较P < 0.001)(表3)。
预期值偏倚风险适用于所有操作者,但不同操作者的测量比例从56%至100%不等。操作者扫描年限与易发生偏倚的测量百分比之间的相关性无统计学意义(P = 0.34)。
观察到的孕龄(基于生物测量)与预期孕龄的偏差,以妊娠天数表示,在预期值偏倚发生前后的情况见图2。我们发现,在操作者查看测量框前后,平均观察孕龄存在统计学显著差异,头围(HC)、腹围(AC)和股骨长(FL)测量值分别向预期孕龄靠近了2.3 ± 5.6、2.4 ± 10.4和3.2 ± 10.4个妊娠天数(所有比较P < 0.001)。此外,我们注意到测量偏倚发生后数值更接近均值(方差减小,Levene检验,P = 0.0255)。在进行多变量分析、将母亲BMI和操作者扫描年资作为混杂变量进行调整后,这些相关性仍具有统计学显著性。此外,当存在偏倚证据时,我们比较了操作者首次查看测量框时的测量值与最终保存的测量值。我们注意到,初始测量值偏离预期值越远,卡尺向预期值的调整幅度越大(AC、HC和FL的P < 0.001)。在调整操作者经验和母亲BMI后,这种相关性仍然显著。
我们还比较了重复测量与未重复测量之间观察孕龄与预期孕龄的偏差。HC、AC和FL分别共有82、431和80次测量被重复。当测量值远离预期值时,操作者更倾向于重复测量。未重复测量的观察孕龄显著更接近预期孕龄。这意味着,如果初始测量值远离预期值,操作者更可能重新获取同一标准生物测量平面的另一幅图像并再次测量。重复测量与未重复测量相比,观察孕龄与预期孕龄的平均偏差分别为:HC测量15.1 ± 8.4 vs 10.2 ± 10.9个妊娠天数(P < 0.001);AC测量12.4 ± 14.3 vs 11.5 ± 12.3天(P = 0.036);FL测量13.3 ± 11.1 vs 7.7 ± 9.7天(P < 0.001)(图3)。在进行多变量分析、调整母亲BMI和操作者经验后,这种相关性仍具有统计学显著性。
最后,为了估计这种潜在预期值偏倚的影响,我们分别使用最小和最大的存在偏倚的HC、AC和FL测量值计算了最低和最高估计胎儿体重(EFW)。不一致性以百分比表示,为10.1% ± 6.5%。最高与最低可能EFW之间的Z评分差异为0.83 ± 0.58。这意味着46例胎儿(17%;95% CI,12–21%)在使用最小可能测量值时可被认为小于胎龄,而在使用最大可能测量值时可被认为适于胎龄。同样,在34次扫描(13%;95% CI,9–16%)中,如果分别使用最大或最小可能测量值,胎儿可被认为大于胎龄或适于胎龄。
讨论
本研究表明,胎儿生长超声检查期间进行的测量常因对孕龄及对应孕龄预期测量值的了解而产生偏倚。操作者在扫描时倾向于将卡尺放置位置向实际孕龄的预期测量值方向校正。校正量与实际值偏离预期值的程度相关。此外,我们注意到,当首次测量值远离预期值时,操作者更有可能重新采集图像并重复测量。我们未发现进行此类校正的倾向与操作者临床经验年资或认证类型之间存在相关性。
很难将我们的发现与既往报道进行比较,因为观察者偏倚/预期值偏倚在产科超声中尚未得到充分研究。然而,无偏倚且准确的测量是科学的基本原则。这种偏倚不仅限于产科超声,在许多其他医学领域也会遇到,并且已知会显著改变临床测量值以及实验结果1。例如,在血压测量的情况下,对血压应当为多少抱有预期,可能导致对非自动读数进行随意调整20。
预期值偏倚效应的幅度难以确定,需要一项比较盲法与非盲法胎儿生物测量的研究。然而,我们发现偏倚对EFW的影响可能高达10%,并且在17%的扫描中,根据使用的是最小还是最大的可能偏倚测量值,胎儿可被视为小于孕龄或适于孕龄。胎儿可被视为大于孕龄或适于孕龄的相应数字为13%。这可能导致生长受限的错误诊断,从而导致不必要的干预、母亲焦虑和医源性围产期并发症,或者可能导致将小于孕龄胎儿归类为正常,使妊娠面临不良围产期结局的风险21。因此,在做出产科决策时,还应考虑到胎儿体重估计中存在偏倚的可能性。此外,在临床实践中,已知筛查期间生长受限的检出率仍然有限,可以假设预期值偏倚可能是原因之一。
我们的研究结果对基于常规临床数据采集的研究也具有明显而重要的意义,例如在研究正常胎儿生长时。测量中的偏倚意味着,超声系统中预设的、将孕龄与胎儿测量值相关联的任何公式,在汇总数据时都会产生重要影响。正因如此,在建立正常参考范围时,对操作者设盲使其不知晓测量值是如此关键的一步9, 10, 11。此外,本研究是PULSE项目的一部分,该项目旨在应用人工智能、机器学习和计算机视觉的最新理念,构建描述专家超声医师如何进行扫查的计算模型。我们的研究结果强调了在训练计算机模型执行任务时尽量减少偏倚的重要性。这是因为人工智能是由人类训练的,而人类可能将自身的偏倚引入学习过程,从而导致模型存在偏倚。基于当前实践,用于测量标准生物测量平面的算法训练可能在自动计算胎儿生物测量时产生内置偏倚。这种偏倚甚至可能被算法放大22, 23。
在我们的研究中,所有胎儿生长扫查均为常规评估,大多数胎儿为适于孕龄。在小于孕龄和大于孕龄胎儿的妊娠中,这种偏倚可能更为明显,因为可以预期会向期望值进行更大的测量校正。这可能因小于孕龄和大于孕龄胎儿估测胎重误差较大(已有充分文献记载)而进一步加剧24。
胎儿生物测量值的准确性和可靠性取决于标准化生物测量平面获取25和卡尺放置的准确性。在本研究中,为评估卡尺放置过程中的偏倚效应,我们追踪了操作者的眼动,考虑到当操作者在调整卡尺放置或保存图像时看向测量框,即存在偏倚风险。然而,有偏倚的测量并不一定意味着测量是错误的。极端值更可能代表采集质量低下,而非胎儿生长问题。因此,操作者通常会查看显示的测量值,以确保其测量符合预期后再调整卡尺。同样,将测量值调整至偏离实际孕龄并不一定代表无偏倚测量。例如,如果操作者知晓妊娠期糖尿病,操作者可能无意识地认为胎儿偏大,从而将其测量为大于孕龄。尽管如此,我们的研究结果表明,平均而言,操作者会将测量值调整至接近孕龄的期望测量值。类似地,重复进行标准生物测量平面获取和测量可能代表良好实践8。然而,操作者可能因自我评分质量保证不满意8或测量值与期望值不够接近而选择额外获取一次标准生物测量。我们注意到,未重复的测量值更接近期望值。
我们的研究存在一些局限性。研究在单一产科单位进行,可能不能代表其他中心的实践;尽管如此,我们纳入了16名操作者,并且在所有人中均观察到相同的发现,这使得外部有效性更有可能。此外,尽管操作者知道扫描及其眼动正在被记录,但他们并未被告知当前分析的目的,这意味着他们在参与本研究时不太可能表现出不同的行为。另一个局限性是,预期值偏倚的影响只能被估计。要准确检验偏倚的影响,需要开展一项将操作者随机分配至测量盲法的研究。然而,本文所展示的原理表明,预期值偏倚既常见又具有临床意义。我们最近报道,操作者在扫描时很少查看安全指数26。这表明操作者的眼动追踪在检测注视点方面是精确的。操作者查看测量值而不查看生物效应的发现与我们的假设一致。最后,我们使用实际孕龄作为参考(预期)值,然而,在我们的环境中,这是基于在确定孕龄扫描时进行的测量,该测量也可能存在偏倚27。
总之,观察者偏向胎儿测量预期值的偏倚在常规妊娠晚期生长扫描中普遍存在。进一步研究应评估消除该偏倚对生长扫描总体准确性的附加价值。为克服该问题,超声制造商应考虑纳入允许操作者在保存或结束超声检查前进行盲法的设置。
支持信息
视频片段S1 在36 + 5周妊娠测量腹围期间预期值偏倚的发生。初始观察(即自动计算)的孕龄为38 + 6周。调整卡尺后,操作者查看显示孕龄为38 + 0周的测量框。然后,操作者调整卡尺并再次查看测量框。最终保存的测量值等于37 + 2周孕龄。请注意,为便于理解预期值偏倚,视频中以绿点标示眼动追踪;然而,操作者在测量期间并未在屏幕上看到此或任何其他眼动追踪功能的指示。
点击此处获取补充数据文件。
视频片段S2 在第29届ISUOG世界妇产科超声大会上对本研究的展示。
点击此处获取补充数据文件。
引用
- Drukker L, Droste R, Chatelain P, et al. Expected-value bias in routine third-trimester growth scans. Ultrasound Obstet Gynecol. 2020. PMID: 31763735. doi:10.1002/uog.21929
- 全文:PMC7079033(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7079033/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。