通过报告校对过程的数据挖掘揭示最常见的报告错误
该研究通过报告比较工具对2017年9月至2018年12月本科室78,625份放射学报告进行词级追踪,分析住院医师初步报告中最常见的修改错误。结果显示最常见的修改词为右、左、一、无,结构化报告使所见部分的总体修改率降低约10倍(结构化报告平均每份0.2处 vs 散文式报告2.0处),但不影响上述最常见错误的发生。
要点
- 住院医师初步报告中最常见的错误是左右侧别混淆和语音识别导致的「一/无」描述符误配。
- 结构化报告使所见部分的总体修改率降低约10倍(平均0.2 vs 2.0处/份),但不影响最常见错误的发生频率。
- 横断面影像(CT 6.4、MRI 6.7处/份)的修改量明显高于X线片(0.2处/份)和超声(2.8处/份)。
诊断标准与关键数值
- 最常见的四个修改词(右、左、一、无)在所有亚组中几乎相同,发生频率范围为每份报告0.072–0.117次,即平均每9–14份报告出现一次。
- 这四个词仅占分析词的0.02%,却占所有观察到修改的8.0%–9.7%。
- 结构化报告亚专科所见部分的修改率平均为每份0.2处(心胸0.1、体部0.3),散文式报告亚专科平均为每份2.0处(范围0.5–4.1)。
- 结构化报告所见与印象部分的修改比例分别为体部0.3 vs 3.3、心胸0.1 vs 2.0;散文式报告的比例差异为1.3倍(神经放射学4.1 vs 5.1)至3.6倍(核医学1.1 vs 4.0)。
临床应用与阅片要点
- 作者认为上述错误提示存在不限于特定检查的系统性根本错误,需要在住院医师教育和放射学实践中加以解决。
- 作者指出需要提高错误意识以及采取措施改进报告正确性和确保患者安全。
- 作者提到审阅行为在不同放射学亚专科之间明显不同。
局限性
- 原文未报告局限性。
全文中译13 节 · 点击展开
引言
每个放射科住院医师培训项目都建立在若干支柱之上,以期为住院医师提供最终能够作为独立放射科医师工作所需的必要技能。这些支柱包括对疾病影像学表现的知识、执行适当诊断检查的技术专长,以及将影像检查信息传达给转诊医师和患者的沟通技能。虽然诊断和技术技能在图像解读、与主治医师的病例回顾以及与放射科技师的协作过程中不断得到训练,但沟通技能,尤其是放射学报告的撰写,并不总是住院医师教育的主要关注点。
鉴于放射学报告是放射科医师传递信息的主要沟通工具,报告撰写的培训对于使住院医师具备成为临床医师可靠合作伙伴的能力至关重要。此外,与许多其他医学专科不同,放射科医师的报告错误容易被追溯,无论是语音识别错误、遗漏的发现,甚至是左右侧别标记的混淆。最后,放射学报告是一份法律文件,可能被用于医疗事故索赔。
在放射科住院医师培训期间,住院医师的报告由主治放射科医师审核签署以确保准确性。这一审核过程旨在识别和纠正多种不同类型的错误。然而,住院医师就其报告风格和准确性所获得的反馈数量和方式因机构和主治医师而异。目前,尚无标准化的方法来追踪报告修正过程。仅有少数定制工具通过追踪住院医师初步报告与主治放射科医师最终定稿文件之间的修改来填补这一空白[1–5]。此外,我们科室于2017年引入了一种自主开发的报告比较工具,以促进针对住院医师初步报告修改内容的个性化反馈。
本研究的目的是基于报告校对过程中单词级别修改的数据挖掘,评估住院医师初步报告中最常见的报告错误,以及不同报告标准(结构化与非结构化)之间错误类型和数量的差异,以了解反复出现的错误并推导可能的教育启示。
材料与方法
机构审查委员会批准及知情同意要求均被豁免,因为我们的回顾性研究任何部分均未使用患者标识符。数据仅由我科创建的放射学报告的纯文本组成,既无法追溯至个体患者,也无法追溯至放射科医师。
数据获取
2017年,我们这家三级医疗放射科引入了一种自主开发的报告比较工具,以帮助住院医师追踪主治放射科医师在审核签署期间对其初步报告所做的修改。该工具每15分钟从机构放射信息系统(RIS)自动查询所有报告的内容。报告内容修改的追踪基于文档在RIS工作流程中不同状态之间的变化。我们的RIS(CentricityTM RIS-i 6.0,GE Healthcare)区分以下报告状态:已撰写、初步和已批准。
在使用SpeechMagic 8软件(Nuance)口述初始书面报告并与主治医师共同进行病例回顾后,住院医师将修正后的初步报告发送给相应的放射科医师进行校对和编辑。通过签署修正后的报告,其状态变为已批准(图1)。
报告比较工具通过颜色编码将放射科医师对住院医师初步报告最新版本的编辑进行可视化(图2)。添加和删除内容可以在单词级别提取。
未经事先保存为书面报告或初步报告而直接批准的报告(即由主治医师口述并立即签署的报告)因缺乏不同的报告状态而未被追踪。
数据
2017年9月1日至2018年12月31日期间,我科共创建了142,888份报告。其中共有78,625份被报告比较工具追踪并可进行分析(图3)。所有亚专科部门(神经放射学、肌肉骨骼成像、心胸成像、体部成像、乳腺成像和核医学)和成像模式(X线摄影、CT、MRI、超声、乳腺钼靶、闪烁显像、SPECT和PET-CT)的数据均在无预选的情况下进行分析。此外,还记录了亚专科是否使用结构化报告(体部成像和心胸成像)或以散文风格报告(所有其他部门)。体部成像和心胸成像亚专科无一例外地使用结构化模板报告所有检查,模板要么包含身体区域和特定器官的副标题及预填的正常表现(例如,腹部/盆腔CT),要么包含用于标准化报告特征的检查表(例如,直肠癌分期MRI)。
数据分析
从报告比较工具中提取住院医师初步报告中添加和删除的单词,以及以下元数据:所见或印象报告部分、亚专科和成像模式,并存储在数据表中。停用词,如be、as、the、a和an,因不传达信息而被排除。因此,数据表的每一行代表对特定亚专科内某种成像模式报告中添加或删除的特定单词的定量评估(例如,单词bleeding在神经放射学MRI报告的所见部分被删除了100次)。
随后,根据词干(词位)对单词进行汇总。词位是单一词根词(词元)所呈现的一组词形。词根词是引用形式。在英语中,这一过程似乎并非特别必要;然而,我们的研究基于德语报告。受其语法复杂性的影响,这一步骤对于获得真实的词数很重要,因为单词的形式会因语法性别、数和格而不同。例如,单词right(德语为rechts)可能呈现为rechte、rechten、rechtem、rechter和rechtes等形式。如果仅考虑词元rechts而忽略所有其他形式,词数将不准确。
每种词位的添加或删除总数分别针对所见和印象报告部分、各亚专业和成像模态单独计算。最后,创建最常添加和删除单词的排名。对于乳腺成像和核医学,将可用模态的报告汇总。在乳腺成像中,报告常规使这一步骤成为必要,因为患者常在一次预约中同时接受乳腺X线摄影和超声检查,而这些检查被口述在同一份报告中。在核医学中,这一步骤对于收集足够数量的报告以供分析是必要的。
数学与图形分析
使用市售软件(JMP® 14.0,SAS Institute Inc.)对添加、删除和报告数量的总和以及排名进行分析并以图形方式可视化。计算了每个报告部分、成像模态和亚专业部分的添加与删除比率。评估了所有亚组比率之间的相对和绝对差异。最后,调查了报告标准之间的差异。
结果
各亚专业和成像模态贡献的报告总数列于表1。平均而言,最终报告由131.1个单词组成(X线摄影:50.6;超声:131.0;CT:195.8;MRI:134.4)。总体而言,我们发现每份报告有2.2处添加(174,760个单词)和1.9处删除(146,012个单词),即4.1处更改(320,772个单词)。所见报告部分的更改比率较低,每份报告为0.6处添加和0.8处删除,而印象部分平均为1.7处添加和1.1处删除。所有亚专业和成像模态的比率列于表2,并以图形方式呈现于图4。
最常更改的词语
在发现和印象报告部分中,“one、none、right和left”这些词始终是总体上最常添加和删除的词语。这些词的更改发生率为每次报告0.097次(one)、0.117次(none)、0.074次(right)和0.072次(left),或平均每9-14次报告发生一次。对亚专科和成像方式的分析证实了这一观察结果,因为这四个词几乎在每个亚组中都是最常添加和删除的词语之一。报告标准对这些词的更改频率没有影响。
仅在少数情况下,例如在乳腺成像报告的发现部分中,其他词语的更改频率更高。发现和印象报告部分最常添加词语的频率表列于表3和表4。删除词语的类似表格可在补充材料中找到。
上述四个词占不同报告部分添加或删除总数的8.0%至9.7%,这意味着例如所有不同词语的0.02%(19,746个词中的4个)导致了印象部分所有删除的近10%。
无论从图形还是数值上看,在none、one、right和left之后,添加/删除频率均出现急剧变化。例如,这四个词占报告印象部分所有添加的8.6%(131,434次中的11,332次),这一比例是频率排名前十中其余六个词(4.1%;131,434次中的5419次)的两倍。以图形方式绘制不同词语和更改频率时,分布呈指数型,大量不同词语具有较低的添加/删除计数,少量词语具有较高的添加/删除计数(图5)。
报告部分和报告标准分析
在所有亚专业和成像方式中,所见部分的修改数量显著低于印象部分,总体比率为所见部分每份报告1.3个词,而印象部分为2.8个。报告部分之间比率的最大净差异见于躯体成像,为3.0(所见部分每份报告0.3处更改,而印象部分为3.3处)。
在采用结构化报告的两个亚专业中,所见部分的更改比率明显较低,平均每份报告0.2处(心胸成像0.1处,躯体成像0.3处),而采用散文风格报告的亚专业(平均值:2.0,范围:0.5–4.1)。这在两个具有大量横断面成像的部分中均有观察到(例如,躯体成像每份报告0.3处,而神经放射学为4.1处),以及在具有大量X线摄影的亚专业中(例如,心胸成像0.1处,而肌肉骨骼成像为0.8处)。对于印象报告部分,未注意到此类差异(结构化报告为2.0–3.3,而散文报告为0.9–5.1)。
按报告部分比例比较更改比率时,结构化报告在所见部分的更改量分别比印象部分低十一倍和二十倍(躯体成像每份报告0.3处对3.3处,心胸成像0.1处对2.0处)。对于散文风格报告,比例差异明显较不显著,范围从1.3倍(神经放射学,4.1对5.1)到3.6倍(核医学,1.1对4.0)。
亚专业部分分析
修改量最高见于神经放射学,每份报告9.2处更改(所见部分4.1处,印象部分5.1处)。神经放射学的更改占数据集中所有更改的71.5%(所见部分)和42.3%(印象部分),而该亚专业的报告数量仅占数据的22.9%。相比之下,肌肉骨骼成像贡献了27.8%的报告;然而,该部分仅进行了16.2%(所见部分)和13.2%(印象部分)的更改。
乳腺影像的变化率最低(1.5)。其他亚专业组每份报告的变化率从2.1(肌肉骨骼和心胸影像)到5.1(核医学)不等(图4)。
影像 modality 分析
总体而言,断层影像的变化率(CT:每份报告6.4;MRI:6.7)高于X线摄影(0.3)和超声检查(2.8)。
在所有对所见部分的修改中,91.2%发生在CT和MRI报告中;在对印象部分的修改中,88.5%发生在CT和MRI报告中。然而,这两种模态合计仅占数据集中报告的55.5%。相比之下,X线摄影报告的修改数量较少,占所见部分总修改量的2.2%,占印象部分总修改量的1.7%,而其在报告总数中的占比为31.4%。
讨论
本研究旨在分析报告校对过程中纠正的住院医师初步报告中最常见的错误。最常被修改的词语(one、none、right和left)几乎保持不变,与亚专业、影像模态或报告标准无关,尽管结构化报告的整体错误频率较低。这提示存在不限于特定检查的基本性、系统性错误,需要在住院医师教育和放射学实践中普遍加以解决。
总体而言,考虑到报告平均长度为131.1个词,我科住院医师报告的被修改量似乎较低,每份报告修改词数的中位数为4.1。然而,我们未找到可与本研究结果相比较的研究。断层影像检查的变化率显著较高,可能归因于其复杂性。这一结论也得到CT和MRI检查量大的亚专业变化率较高的支持。X线摄影量大、报告据推测更短且影像检查更易解读的亚专业,其变化率明显较低。其他解释可能包括主治医师在审阅断层影像检查时更加严格,以及校对行为的差异,因为尤其是神经放射科医师的变化率超过了所有其他亚专业。
使用结构化报告的亚专业中,所见报告部分的变化率显著较低。不同报告标准之间,印象部分变化率的差异则小得多。我们将此归因于以下事实:所有亚专业的印象部分均以散文风格口述,以便传达明确的结论,使临床医师能够调整患者管理。预定义模板可能无法实现这一点,因为影像所见虽然以结构化方式呈现,但仍需结合个体患者的适当背景。因此,报告各部分之间由此产生的大比例差异(所见部分变化率低 vs. 印象部分变化率高)证明了结构化报告的益处,即减少错误,从而减少需要放射科主治医师进行的纠正,使其现在能够更侧重于印象部分的最佳措辞。现有的多项研究支持这一结论,显示结构化报告的益处包括更高的诊断准确性、更少的遗漏所见和拼写错误[6–9]。
四个最常添加/删除词的变更率远高于其他任何词。无论亚专业和成像 modality 如何,它们都保持相似。右和左这两个词的高添加/删除计数在一定程度上可以解释为初始报告中的漏读或过度解读的发现,在病例回顾时被放射科员工添加或删除。然而,大量修改必须归因于报告校对期间被替换的左右侧判别词混淆。几项研究试图量化这种错误的数量[10, 11];然而,它们基于最终报告或报告附录。我们的研究相反使用了住院医师的初步报告。这解释了为什么我们观察到的左右侧判别词变更频率(每14份报告一次)比以前报告的错误率高100倍以上,范围从报告的0.048%到0.055%(相当于1/1818到1/2083份报告)[11, 12]。这强调了主治医师病例回顾的重要性,他们通常似乎能防止这种错误出现在最终报告中。
左右混淆频繁的一个可能解释是,影像学研究的回顾对住院医师来说最初是反直觉的,他们必须从患者的角度而不是自己的视觉角度来描述病变。压力、疲劳、分心和时间压力等因素进一步增加了左右混淆的可能性,正如在其他医学领域一样[13]。与普通人群相比,他们注定有更高的错误率,基于调查的研究已经发现高达三分之一的成年人在日常生活中经历左右侧判别混淆[14, 15]。
已经设计了几种旨在减少这种错误类型的定制开发软件解决方案。这些包括报告签署前的颜色编码左右侧判别词交叉检查[16]和将报告内容与患者健康等级7元数据进行比较的算法[17]。然而,没有软件解决方案可用于实时检测发现和印象报告部分之间的差异。随着当前人工智能和自然语言处理的快速进展,这个问题可能在不久的将来得到解决。
在我们的研究中,one和none这两个词的高变更率至少部分是由校对期间添加或删除的内容所决定的。然而,大部分修改可能源于被放射科员工替换的语音识别错误。“one”和“none”这两个词在德语中翻译为“eine”和“keine”,表明这些描述词在两种语言中都容易出现误识别。然而,没有先前的研究调查我们机构使用的语音识别软件的这种特定错误类型。与左右侧判别词类似,放射学报告中的描述词错误可能导致误解,并对患者有潜在危害。
自该技术引入以来,语音识别错误就广为人知,且与人工报告转录相比更为常见[18]。错误的重要性各不相同,从轻微的拼写错误到报告含义的改变及可能的解读变化不等[19]。这影响所有使用语音识别的医学亚专科,据报道总体错误率高达7.4%[20]。尽管语音识别解决方案多年来不断改进,错误检测仍然仅依赖于校对。这一事实支持了系统性错误分析和辅助该过程的软件工具的需求。朝这一方向迈出的第一步是越来越多的定制开发报告比较工具[1–5]。它们促进了审查过程,为住院医师提供关于反复出现错误的个性化反馈,并帮助主治医师在无法进行联合病例审查时传达教学要点。除了提供反馈外,报告比较还可用于在单词层面审查任何错误类型。正如我们所展示的,当聚合来自单个用户的数据时,元级数据集提供了对常见错误或需要在教学课程中解决的不良报告习惯的洞察。
我们的研究有几个局限性。它基于德语报告;然而,由于我们考虑了语法特殊性,我们认为我们的结果可推广到其他语言。分析基于来自单一三级护理大学医院的中等规模数据样本;尽管如此,数据应足以就主要报告错误和结构化报告的影响得出结论。此外,据我们所知,文献中没有我们可以与之比较结果的类似研究。我们的调查仅基于报告校对过程中添加和删除单词的计数。因此数据不仅包括错误的纠正,还可能包含报告各部分之间的文本转移以及在初步报告中缺失重要信息时在校对过程中添加的内容。这可能夸大了添加和删除的计数。尽管如此,我们使用的方法应在其他放射科设置中可重现,以便未来对我们的结果进行比较。
总之,我们证明了最常见的错误是语音识别导致的左右侧别混淆和描述符错配,在所有模态和亚专科中保持相似。结构化报告模板的实施可以降低总体错误率,但不影响两种主要错误类型。由于这两种错误对患者安全具有潜在影响,需要采取教学措施以帮助在未来避免这些错误。这些措施包括对住院医师的定期教学课程,特别是提高新加入项目的初级住院医师的意识,以及完善现有软件解决方案(如报告比较工具)的附加功能(例如,自身错误前十排名),以促进对错误的理解和避免这些错误的策略。
电子补充材料
(PDF 43 kb)
引用
- Vosshenrich J, Nesic I, Cyriac J, et al. Revealing the most common reporting errors through data mining of the report proofreading process. Eur Radiol. 2020. PMID: 32997178. doi:10.1007/s00330-020-07306-6
- 全文:PMC7979672(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7979672/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。