信息技术干预提升放射科医生随访建议清晰度的开发与评估
本研究在学术四级医疗中心开发并内部验证了一套放射科随访建议分类法,并评估了自愿使用强制结构化录入建议属性的闭环沟通工具(ARRC)与建议完整性随时间改善的关联。
要点
- 结构化录入工具可强制包含检查方式、时间框架和理由,使建议完整性提高3倍以上。
- 自由文本报告即使同时使用工具,仍常缺乏完整属性,不能单独依赖其追踪建议。
- 分类法可用于评估和干预放射科医生的报告行为,但需进一步研究其对建议执行率和诊断错误的影响。
研究设计与样本
- 回顾性队列研究,在波士顿一家学术四级医疗中心进行,纳入4个时间段共1008份连续放射科报告(每时间段336份)含随访建议。
- 分类法由多学科专家小组制定,并在247份连续报告上由2名放射科医生独立评分验证,Cohen κ均>0.8。
- 干预为2021年3月27日最终实施的自愿闭环沟通工具(ARRC),强制结构化录入建议属性。
诊断标准与关键数值
- 分类法定义5种建议语言属性:完整(包含检查方式、时间框架和理由)、模糊(模棱两可或含糊语言)、条件性(限定语言)、多重性(多个选项)、替代性(语言倾向于不同检查)。
临床应用与阅片要点
- 日常报告随访建议时应明确包含检查方式、时间框架和理由,避免模糊、条件性、多重性或替代性语言。
- 使用结构化录入工具可强制补全建议属性,但自由文本报告仍可能含糊,需注意两者不一致。
- 自然语言处理工具追踪建议完成情况时,依赖自由文本可能不可靠,除非报告由强制结构化工具自动填充。
局限性
- 单中心设计。
- 回顾性研究。
- 未评估建议执行率或诊断错误的改善。
全文中译14 节 · 点击展开
引言
放射科医生关于额外影像检查的建议往往是主观且多变的。1,2,3,4 这些建议中有四分之一到三分之二未被遵循。5,6,7 如果我们能够确保临床上必要的额外影像检查建议得到及时执行,并减少临床上不必要的额外影像检查建议,我们就能提高医疗质量,并可能减少诊断错误。由此产生两个初始挑战。首先,减少额外影像检查建议的主观性和变异性需要改变放射科医生的行为。例如,我们知道不完整的额外影像检查建议,如未包含建议时间框架的建议,被遵循的可能性较低。8 其次,当放射科医生的语言不完整或含糊不清时,识别和追踪额外影像检查建议是一项挑战。9
美国放射学会(American College of Radiology)已发起一项倡议,旨在改善这些额外影像检查建议的沟通和后续执行率。10 放射科医生的建议语言可能缺乏特异性和清晰度。8,11 这种特异性和清晰度的缺乏部分与放射科医生的诊断不确定性有关。12 遵循美国放射学会倡议的尝试主要集中于推动放射科医生做出更明确的报告。13,14,15 普遍接受的行为理论表明,我们还可以通过识别和缓解诊断不确定性以及其他可能与放射科医生多变且潜在含糊的报告倾向相关的因素来提高有效性。16
目前已开发出多种追踪额外影像检查建议完成情况的工具。11,17,18 这些工具通常依赖于放射科医生一致且全面的自由文本报告,然而我们知道放射科医生的语言是多变且潜在含糊的。8,11,12 在最近一项对放射学报告的研究中,62%的建议仍未包含时间框架,19这使得评估建议完成的及时性具有挑战性。此外,尽管已开发出经过验证的分类体系用于分析病理报告20和医疗错误或事件报告21,22等,但尚未开发出用于对放射学报告进行分类和分析的经过验证的分类体系。分类体系旨在定义和识别可能提供解释力的相关因素,21 使多样性和相似性得以识别,21 并促进系统的组织学习。22 它们是對报告中叙述内容进行分类的一种机制。22 一个针对额外影像检查建议的分类体系将使我们能够评估额外影像检查建议的完整性和含糊性。这种评估机制将使针对这些建议语言及追踪工具有效性的经过验证且可重复的研究成为可能。它还将有助于识别额外影像检查建议完整性和含糊性方面放射科医生特异性和检查特异性的模式,从而识别这些建议中不完整和含糊语言背后的驱动因素。
在本研究中,我们的主要目标是评估自愿使用一种闭环沟通工具(该工具强制结构化录入进一步影像检查建议)是否与随时间推移整体完整性改善相关。其次,我们旨在评估该沟通工具是否促成了相关自由文本放射学报告中未提供的完整性。为实现这些目标,我们开发并内部验证了一套分类体系,用于对进一步影像检查建议中可操作与令人困惑的属性进行分类和分析。
方法
研究设置与参与者
这项针对影像报告数据的回顾性队列研究在一家大型学术四级诊疗中心开展。该研究经Mass General Brigham机构审查委员会批准,因回顾审查的病历数量庞大且分析前数据已去标识化而豁免知情同意,并按照《健康保险携带和责任法案》要求执行。本报告遵循《加强流行病学观察性研究报告(STROBE)》观察性队列研究报告指南。鉴于本研究涉及多个概念和组成部分,图中提供了包含研究结果摘要的研究流程图。
分类体系开发
基于质量和安全领导多学科专家组的反馈,4名放射科作者(J.P.G.、N.K.、R.L.和R.K.)迭代构建了一套分类体系,旨在识别进一步影像检查建议中因缺乏特异性或清晰度而导致困惑的措辞选择。已识别的问题类别包括:影像模态、时间范围或理由不明确(不完整);模棱两可、含糊的语言(歧义);限定性语言(条件性);多种选择而未界定最佳选项(多重性);以及贬低已开具检查、倾向于不同检查的语言(替代性)。反之,我们因此认为,如果进一步影像检查建议完整、明确、无条件且无多重性或贬低性替代语言,则该建议为可直接操作。与其他分类体系一样,每个类别设计为相互独立,且每个类别可独立评分为是或否。一条建议可在所有类别中评为是、在所有类别中评为否,或在各分类中呈是与否的任意组合。更多细节见表1。一旦该组放射科医师就分类体系分类器达成一致,该分类体系即提交医院质量和安全领导层(S.P.D.和S.E.)征求意见、调整并通过共识最终确定。
分类体系验证
该分类法在247份连续的放射学报告印象部分上进行了验证,这些报告包含2019年9月12日和13日检查中提出的额外影像学检查建议。该样本量基于先前未发表的数据计算,这些数据显示某些分类类别的检出率低至3%,零假设为κ = 0.4(表示一致性低于0.4将被视为基本随机),目标κ为0.8(将被视为极好的一致性)。
包含额外影像学检查建议的放射学报告通过内部开发的放射科医师建议提取算法进行识别,该算法基于BERT(来自变换器的双向编码器表示),这是Google于2018年引入的深度学习框架,23以及预训练的BERTBASE模型。每次检索均纳入以下亚专科部门的放射学报告:腹部影像学、急诊放射学、肌肉骨骼放射学、神经放射学、非心脏血管影像学、核医学、胸部放射学和超声检查。其他部门(乳腺、心脏、产科超声检查)的报告使用独特的报告语言,因此被排除在外。如果同一报告中对超过1个发现提供了不同的建议,考虑到数据以报告级别为基础收集,为便于数据管理,本研究仅考虑第一个建议。
两名获得委员会认证的诊断放射科医师,分别具有7年(N.K.)和3年(J.P.G.)培训后经验,独立对247条额外影像学检查建议的每个分类类别进行评分(是或否)。观察者间一致率和Cohen κ相关系数在RStudio(版本2022.02.3 build 492)中使用R(版本4.2.1,R Group for Statistical Computing)和IRR包对每个分类类别进行计算。
闭环沟通工具干预
一项名为“协作处理放射科医师建议”(Addressing Radiologist Recommendations Collaboratively,ARRC)9的医院级质量改进计划作为关键结果闭环沟通系统24,25,26的扩展而开发,旨在传递明确的放射科医师额外影像学检查建议,并追踪这些建议的接受和完成情况。ARRC的早期版本于2019年10月开始在我们胸部影像学组中试用,用于肺结节的报告。11
简而言之,强烈鼓励放射科医生使用ARRC闭环沟通工具(ARRC工具)向转诊临床医生传达追加影像检查的建议。ARRC工具界面要求放射科医生明确指定具体的时间间隔、成像方式和追加影像检查的理由(补充材料1中的eFigure,A)。随后,追加影像检查的建议通过ARRC自动生成的电子邮件通知发送给转诊医生(补充材料1中的eFigure,B),结果在临床医生的电子病历收件箱中标记。ARRC工具独立于放射科医生的口述记录软件。因此,虽然要求放射科医生在报告中加入一句标准化语句,注明建议已提交至闭环沟通工具,但报告中的其他措辞则由放射科医生自行决定。开发了科室级汇总报告,以展示放射科医生层面的进一步影像检查建议提交率,包括通过ARRC工具提交的和未通过ARRC工具提交的。这些汇总报告包括按放射科医生列出的所有包含追加影像检查建议但未通过ARRC工具提交的报告印象列表。因此,这些汇总报告使科室中的所有放射科医生能够看到其建议措辞和ARRC工具使用情况与同行的比较。
ARRC倡议于2019年10月21日当周在胸部影像科内宣布并启动,随后于2020年4月至12月期间逐步推广至其他科室。首批科室级报告于2021年2月24日至3月27日期间分发。强烈鼓励使用ARRC工具,但为自愿性质。
统计分析
我们使用该分类法评估沟通工具是否与建议完整性的提高相关,对3组各336份包含追加影像检查建议的放射科报告印象部分进行评分,共评分1008份印象。提取过程与验证报告所用过程相同。样本量按单侧Fisher精确检验计算,显著性阈值设定为P < .05,检验效能设定为0.9,以检测25%的组间差异。我们假设至少25%的行为变化将构成相当大的且可能有意义的行为改变。
分析的追加影像检查建议来自以下时间段的放射科检查报告:2019年10月14日至17日,即ARRC工具初步实施前一周(时间点1);2021年4月5日至7日,即首批科室级汇总报告发布后一周(时间点2);以及2022年4月4日至7日,即1年后(时间点3)。关于这些建议是否通过ARRC工具提交的信息从ARRC数据库获取。一位拥有3年培训后经验的委员会认证诊断放射科医生(J.P.G.)对3组共336条追加影像检查建议的每个分类法类别进行评分(是或否)。
放射科医生可以生成不包含所有完整属性的自由文本建议,但他们可以将该建议归档到ARRC工具中,该工具强制要求包含建议的所有完整属性。换言之,如果自由文本建议缺少1个或多个完整属性,但同一建议通过ARRC工具归档,则由于ARRC工具的强制功能,该建议在定义上是完整的。因此,我们评估了自由文本建议完整性的变化(完整自由文本)以及整体完整性的变化,包括具有完整自由文本语言和/或通过ARRC工具归档而完整的建议(整体完整)。
为评估ARRC工具是否与额外影像检查建议完整性的改善相关这一主要结局指标,采用单侧Fisher精确检验比较时间点1与时间点2以及时间点1与时间点3具有完整额外影像检查建议的报告比率。显著性设定为P < .05。
此外,次要结局指标是与ARRC工具相关的放射科医生语言的定性变化。对每个分类类别(完整、模糊、条件性、替代性和多重性)独立进行单侧Fisher精确检验,再次比较时间点1与时间点2以及时间点1与时间点3。鉴于这些为探索性次要结局,未对多重计划比较进行数学校正。另一个次要结局指标——ARRC工具的强制功能是否与自由文本建议语言相比改善了建议的完整性——在时间点2和时间点3采用单侧Fisher精确检验和原始百分比差异进行评估。显著性设定为P < .05。统计分析在RStudio(版本2022.02.3 build 492)中使用R(版本4.2.1)进行。
结果
患者招募
从放射科数据仓库收集了4个时间段连续放射学报告的放射学相关信息,该数据仓库不包含患者人口学特征数据或其他非影像学患者医疗信息。
分类系统的验证
2名放射科医生之间一致性极好,所有类别的一致率均超过90%,Cohen κ均大于0.8,从而验证了该分类系统(完整:一致率96.8%,κ = 0.87;模糊:一致率94.3%,κ = 0.88;条件性:一致率98.0%,κ = 0.94;替代性:一致率99.2%,κ = 0.85;多重性:一致率98.8%,κ = 0.92)。分类系统应用的精选说明性示例见表2。分类系统类别不涉及诊断不确定性,仅涉及额外影像检查建议中所表达的语言。
使用ARRC工具的建议完整性
归类为整体完整的额外影像检查建议百分比从实施前的14%(46/336)显著增加至实施后1周的34%(113/336)(P < .001)以及实施后1年的46%(153/336)(P < .001)。
使用ARRC工具后语言的变化
推荐进行额外影像检查且自由文本语言被归类为完整的建议百分比,从实施前的14%(336条中的46条)显著增加至实施后1周的20%(336条中的66条)(46/336 vs 66/336;P = .048)以及实施后1年的25%(336条中的85条)(46/336 vs 85/336;P < .001)。归类为模糊、有条件、替代性和多重性的推荐进行额外影像检查的建议百分比均无显著变化。然而,后3类似乎呈下降趋势(表3)。
ARRC工具的强制功能
与自由文本报告语言相比,使用该工具在干预后1周(113 vs 66;P < .001)和干预后1年(153 vs 85;P < .001)提高了完整率。在实施后1周期间的113条完整的推荐进行额外影像检查的建议中,87条(77%)归档于ARRC工具中。这87条推荐进行额外影像检查的建议中,仅40条(46%)在相关自由文本报告中包含完整语言。在实施后1年期间的153条完整的推荐进行额外影像检查的建议中,124条(81%)归档于ARRC工具中。这124条推荐进行额外影像检查的建议中,仅56条(45%)在相关自由文本报告中包含完整语言。在两个时期中,与归档于ARRC工具的推荐进行额外影像检查的建议相关的自由文本报告中均存在模糊、有条件性和多重性语言,包括这些自由文本报告中87份中的32份(37%)存在模糊语言。结果见表4。
讨论
为评估自愿使用一种强制结构化录入放射科医生推荐进行额外影像检查建议的信息技术工具,与自由文本报告语言相比,是否与推荐进行额外影像检查建议的整体完整性改善相关,我们开发并内部验证了一个分类体系。使用该分类体系,我们证实闭环沟通工具(ARRC工具)的实施与推荐进行额外影像检查建议的完整性(定义为包括时间范围、检查方式和原因)显著提高相关,从实施前14%的建议提高至实施后1年46%的建议。此外,该分类体系阐明,ARRC工具内的强制功能相对于相关自由文本报告增加了完整的推荐进行额外影像检查建议的数量。然而,归档于ARRC工具的完整建议中近三分之一在相关自由文本放射科医生报告中仍包含模糊语言。
我们构建该分类法的方法基于一个用于对病理报告进行分类和评估的分类法20,以及一个用于对家庭医学错误报告进行分类和评估的分类法。21 使用分类法对追加影像检查建议进行分类和分析的概念最近已有探讨。19 该分类法未经验证,而本文提出的分类法较为简单,因为它不包含多个领域。在本研究中,我们应用我们的分类法来追踪干预措施与追加影像检查建议之间的关联。然而,该分类法也适用于探索哪些情况与不明确的建议相关(然后评估针对这些情况的干预措施)。该分类法也适用于识别经常提供不明确建议的特定个体(并追踪针对这些个体的干预措施的结果)。
在本研究中,我们发现这些建议的自由文本语言往往缺乏完整性,即使放射科医生同时通过ARRC工具提交了建议——该工具强制放射科医生包含推荐的检查方式、时间范围和理由。自由文本口述和ARRC闭环沟通工具是分开存在的,因此口述语言和工具中的建议提交均取决于放射科医生的自行决定。这一发现表明,不能依赖自由文本放射学报告包含足以实现最佳患者诊疗的充分信息,除非有某种强制完整性的功能(明确包括时间范围、方式和理由)。因此,除非报告由具有特异性强制功能的工具自动填充,否则搜索自由文本报告的自然语言处理和人工智能工具不太可能在识别和追踪适当的建议完成或落实方面完全有效。
此前已有研究表明,在追加影像检查建议中明确提及推荐间隔与推荐追加检查被执行的可能性高出3倍相关。8 我们假设,因此对于完整建议以及明确无歧义的建议,追加影像检查建议的落实率将高于不完整和模糊的建议。需要进一步研究来评估落实率是否确实增加,无论是由于完整报告的增加,还是由于当建议本会包含模糊语言时推荐追加影像检查的频率降低而导致总体建议减少。还需要进一步研究来评估由此产生的更高落实率是否对患者有益。有条件建议在某些情况下可能有价值,但我们怀疑它们可能被过度使用。包含替代语言(备选方案)的建议具有挑战性,因为它们暗示开单临床医生开错了检查。包含多种选择的建议将影像检查的选择权推迟给另一位临床医生,而后者可能不了解各影像检查方案的利弊,这使得监测建议的落实和适当性变得困难。9
由于语言使用多样,放射科医生将关于何时以及是否获取更多影像的决策推回给申请临床医生。在我们的讨论中,申请临床医生对这种行为有不同的解读,包括因感知到的模糊性而感到沮丧。同样,虽然我们知道放射科医生的建议在诊断特定异常结果方面具有临床重要意义,例如对门诊胸部X线异常结果建议进行胸部计算机断层扫描,27但即使这种意义也可能很低,而且大多数临床表现缺乏此类数据。我们的分类法提供了一种机制,使我们能够研究更明智的建议实践。
局限性
本研究存在一些局限性,主要是其单中心设计和回顾性性质。我们未确立或评估建议的临床必要性,也不知道每条建议是如何被满足的,或属于各类别的建议是如何被满足的。此外,干预1年后,半数额外影像检查建议仍未完成;可能需要多方面的质量改进举措(如反馈报告、学术详细说明,以及若提出额外影像检查建议则对完整语言给予激励)来增强放射科医生对该干预措施的采纳。
结论
使用一种新近验证的分类法来分析放射科医生的额外影像检查建议,本队列研究显示,自愿使用闭环沟通工具与额外影像检查建议的完整性(包括时间范围、检查方式和原因)显著提高相关,并且除了自由文本口述外,可能还需要强制功能来确保完整性。此外,即使在闭环沟通工具中提交了完整的建议,模糊的自由文本建议语言仍然存在。
引用
- Guenette, Kapoor, Lacson, et al. Development and Assessment of an Information Technology Intervention to Improve the Clarity of Radiologist Follow-up Recommendations. JAMA Netw Open. 2023. PMID: 37000450. doi:10.1001/jamanetworkopen.2023.6178
- 全文:PMC10066458(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10066458/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。