基于人工智能的应用程序在医疗分诊建议方面与医疗保健提供者的共识决策相比准确
该研究将基于人工智能的分诊应用程序MayaMD与急诊医学提供者及内科医生对50个临床情景的分诊决策进行比较。MayaMD与共识B的一致率为92%(46/50),与共识C的一致率为88%(44/50),与共识A的一致率为85%(22/26);个体急诊医生与共识A的平均一致率为82%(21/26)。MayaMD的表现与个体临床医生相当或更好,但研究使用的是模拟临床情景,作者指出未来需在真实患者中开展研究并设计良好的随机试验评估现实世界结局。
要点
- 在26个未达成一致分诊决策的案例中,MayaMD与六名急诊医生共识A的一致率为85%(22/26),个体急诊医生平均为82%(21/26),范围69%至92%。
- 在全部50个临床情景中,MayaMD与共识B的一致率为92%(46/50),与共识C的一致率为88%(44/50)。
- 研究第一阶段急诊医生与MayaMD的一致率为74%(37/50),急诊医生助理与MayaMD的一致率为60%(30/50),急诊医生与急诊医生助理之间的一致率为56%(28/50)。
- MayaMD仅有9例决策与至少一个共识组不同,其中6例差异为分诊至紧急护理还是急诊服务,个体提供者对这些病例也存在类似差异。
- 作者认为基于人工智能的分诊决策支持可能有望改善患者结局并降低医疗成本,但这些主张仍需通过未来研究加以评估。
适用人群与场景
- 研究使用50个选自急诊室、紧急护理和初级保健服务最常见临床表现的临床情景,包括患者的年龄、性别、病史和就诊症状,附有数量不等的相关阳性和阴性症状,情景不与明确诊断、预期诊疗标准或可获得的体格检查相关联。
- 提供者包括急诊医学医生、急诊医学医生助理和内科住院医师,来自犹他大学、密歇根大学圣约瑟夫梅西医院急诊医学住院医师项目、加州大学洛杉矶分校健康系统以及通过美国医学会医师创新网络招募的医生。
诊断标准与关键阈值
- 分诊决策选项为:去急诊室或拨打911(危及生命的损伤或需要立即治疗的征状);24小时内去紧急护理(非危及生命,但需要当天治疗);三天内去看初级保健医生(非立即危及生命,可以在看初级保健医生或专科医生之前等待三天);自我护理,留在家里,仅在病情恶化时报告初级保健或紧急护理。
- MayaMD算法将任何危及生命的状况(基于症状、危险因素和鉴别诊断)分诊至急诊室;将需要立即干预(如抗生素或雾化呼吸治疗)但无预定的可能提示危及生命状况的危险信号的病例分诊至紧急护理;将未与任何危及生命的鉴别诊断相关联的慢性症状分诊至门诊服务。
研究设计与关键结果
- 研究为比较性研究,将基于人工智能的应用程序MayaMD的分诊决策与七名急诊医学提供者(急诊科医生和急诊科医生助理)及五名内科医生的分诊决策进行比较,共使用50个临床情景。
- 研究第一阶段:急诊科医生和MayaMD在37例(74%)中分诊决策一致,急诊科医生助理和MayaMD在30例(60%)中一致;急诊科医生和急诊科医生助理仅在28例(56%)中一致;三者均在仅24例(48%)中一致。
- 研究第二阶段:从第一阶段选取26个未达成一致分诊决策的案例,呈现给六名其他急诊科医生;六名医生在九例(35%)中对同一分诊决策达成一致;MayaMD在22例(85%)中做出与共识A相同的分诊决策,个体急诊科医生与共识A决策相同的平均为21例(82%),范围18至24例(69%至92%);只有一名医生与共识A决策匹配的次数多于MayaMD。
- 利用共识A决策和研究第一阶段的24个一致决策制定共识B:与共识B分诊决策相比,研究第一阶段的急诊科医生、研究第一阶段的急诊科医生助理和MayaMD分别在39例(78%)、30例(60%)和46例(92%)临床案例中做出相同决策。
- 研究第三阶段:将全部50个临床案例呈现给六名其他提供者并达成共识C;个体医生的初始分诊决策与共识C决策平均在40例(80%)中匹配,范围31至45例(62%至90%);MayaMD在44例(88%)中做出与共识C相同的分诊决策。
- 在50个临床情景中,MayaMD共有9例决策与至少一个共识组不同:4例(16、25、41、48)与共识B不同,6例(7、26、35、37、42、48)与共识C不同;其中6例(7、25、26、35、42、48)差异为分诊至紧急护理还是急诊服务;只有病例48中两个共识组均与MayaMD做出不同决定,差异为紧急护理服务与急诊服务之间。
证据类型、等级与局限
- 证据类型为比较性研究,使用50个由临床医生团队开发的临床情景案例,将基于人工智能的应用程序与多名医生的共识决策进行比较。
- 局限:研究使用了由临床医生团队开发的临床情景案例,限制了研究的现实世界意义;真实患者与基于人工智能应用的互动可能不会产生与模拟相同症状表现的临床情景案例相同的分诊决策;未来需要开展基于人工智能应用面对真实患者的研究,以确保本研究中观察到的准确分诊决策能够推广到现实世界环境;进一步开展设计良好的随机试验研究也应评估利用基于人工智能的分诊决策支持可能带来的现实世界结局。
对床旁实践的改变
- 作者认为利用基于人工智能的分诊决策支持可能有望改善患者结局并降低医疗成本,但这些主张仍需通过未来研究加以评估。
- 作者指出在紧急护理服务和急诊服务之间进行适当的分诊区分,对于健康保险公司和卫生系统节省成本以及高效提供医疗服务具有重要意义。
- 作者指出基于人工智能的应用还可能能够在传统分诊护理服务可及性可能有限的更多农村或服务不足地区提供分诊辅助。
- 作者认为尽量减少分诊决定中的变异性依赖于用户提供的详细输入,以帮助缩小与用户症状相关的鉴别诊断,尤其是降低潜在危及生命诊断的可能性。
提炼说明
- 原文未涉及「处置流程与药物剂量」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译5 节 · 点击展开
引言
对各种医疗状况进行及时、准确的分诊对于改善患者预后和提高医疗服务提供系统的效率至关重要[1,2]。不准确的分诊可能导致流程延误和低价值医疗。例如,高达三分之二的急诊科就诊是不必要且可避免的,导致全国医疗支出额外增加320亿美元[3]。
人工智能(AI)在改善医疗保健方面具有巨大潜力,包括医学分诊优化[4-6]。急诊科使用的机器学习算法已被证明比传统方法能更好地预测临床结局[7]。然而,相当大比例的分诊发生在到达急诊室之前,且由患者自行决定。患者目前使用搜索引擎、聊天机器人和基于AI的个人健康助手应用程序来获取可能有助于初步分诊决策的医疗信息,这凸显了这些服务准确性的重要性。
既往研究表明,在线症状检查器往往为用户提供不准确或不完整的诊断或分诊建议[8,9]。一项审计研究发现,在标准化患者评估中,仅在57%的情况下给出了适当的分诊建议[10]。更近期的研究表明,一种基于AI的虚拟助手对呈现给它的90%的临床案例进行了适当分诊[11]。然而,这一准确性判定由一名人类临床医生做出,显著限制了该发现的强度。
我们旨在通过直接将另一种基于AI的应用程序MayaMD的表现与在 various 临床环境中执业的多个医学专科的医生和医师助理进行比较,来衡量其提供的分诊决策的准确性。
材料与方法
MayaMD是一款基于AI的应用程序,患者可使用它来帮助确定应前往何处就医以处理任何医疗状况。使用该应用程序时,患者输入症状并回答后续问题,随后获得可能的诊断以及是继续自我护理还是寻求初级、紧急或急诊护理服务的建议。
MayaMD结合使用贝叶斯统计和模式识别。监督式和非监督式机器学习的多层结构位于核心算法之上,以识别通常由地理或人口统计数据变化产生的新模式。MayaMD的数据库和核心算法建立在公认的循证临床知识基础上,包括超过7,000种诊断、8,500项初始输入(症状、体征和实验室检查)、40,000条推断以及2,200种药物和相互作用。类似的基于AI的应用程序此前也有描述[11-13]。
MayaMD引导用户回答各种问题,这些问题最终作为算法的输入以推荐最佳分诊方案。个人输入症状及其性质、持续时间以及缓解和加重因素。MayaMD还会询问用户与输入症状相关的各种风险因素。例如,如果用户表示自己有胸痛,MayaMD会询问用户是否曾吸烟或腿部是否有过血栓。图1展示了用户与MayaMD应用程序交互的示例。
MayaMD算法利用这些输入来确定鉴别诊断,并据此指导最佳的分诊决策。任何危及生命的状况(基于症状、危险因素和鉴别诊断)均分诊至急诊室。任何需要立即干预(如抗生素或雾化呼吸治疗)但无预定的可能提示危及生命状况的“危险信号”的病例,均分诊至紧急护理。MayaMD未将其与任何危及生命的鉴别诊断相关联的慢性症状,分诊至门诊服务。
我们旨在测量MayaMD所提供的分诊决策的准确性。我们将该基于人工智能的应用程序所作出的分诊决策与医疗保健提供者针对各种医疗状况所作出的分诊决策进行了比较。我们通过开发50个独特的临床情景模拟了呈现各种医疗状况的患者,类似于既往研究[9,11]。这些情景选自急诊室、紧急护理和初级保健服务最常见的临床表现列表。情景包括患者的年龄、性别、病史和就诊症状,并附有数量不等的相关阳性和阴性症状。情景不与明确诊断或预期诊疗标准相关联。情景不与可获得的体格检查相关联。研究中使用的其中一个情景示例如下:“80岁男性,有冠状动脉疾病病史,表现为呼吸短促2-3周。他主诉夜间醒来时喘不过气。他还感到平卧(不用枕头)时不适。所有症状始于几周前。”完整的临床情景列表作为补充材料呈现(见附录)。
提供者分三个阶段招募。在第一阶段,犹他大学生物信息学系协助招募了参与研究的急诊室(ER)提供者。在第二和第三阶段,医生通过美国医学会医师创新网络招募,该网络发布了一则调查机会的广告并附有现金报酬。在第二阶段,来自密歇根大学圣约瑟夫梅西医院急诊医学住院医师项目的六名医生参与了研究。在第三阶段,五名在加州大学洛杉矶分校(UCLA)健康系统执业的内科住院医师参与了研究。
在所有三个阶段中,提供者被要求阅读每个情景,然后为每个情景选择以下选项之一:(1)“去急诊室或拨打911(危及生命的损伤或需要立即治疗的征状)”;(2)“24小时内去紧急护理(非危及生命,但需要当天治疗)”;(3)“三天内去看初级保健医生(PCP)(非立即危及生命,可以在看初级保健医生或专科医生之前等待三天)”;或(4)“自我护理,留在家里,仅在病情恶化时报告初级保健或紧急护理。”MayaMD根据患者输入应用程序的信息,为患者提供这四种分诊决策之一。
在研究的第一阶段,我们比较了急诊科医生、急诊科医生助理和MayaMD对50个独特临床案例的分诊决策。我们记录了MayaMD和每位提供者对每个案例的分诊决策。
在研究的第二阶段,我们仅选取了第一阶段研究中两位提供者和MayaMD未给出相同分诊决策的案例。随后将这些案例呈现给在密歇根大学圣约瑟夫梅西医院执业的六名急诊科医生。我们再次记录了每位医生的分诊决策。随后要求所有六名医生对每个案例进行讨论,并为每个临床案例制定共识分诊决策。
在研究的第三阶段,我们将全部50个临床案例呈现给在加州大学洛杉矶分校健康中心执业医院医学的五名内科医生。每位医生提供分诊决策,然后该小组讨论病例以制定每个案例的共识分诊决策。在研究的第二和第三阶段,随后将个体提供者和MayaMD的分诊决策与共识分诊决策进行比较。
结果
在研究的第一阶段,我们比较了急诊科医生、急诊科医生助理和MayaMD对50个临床案例的分诊决策。急诊科医生和MayaMD在37例(74%)中分诊决策一致,而急诊科医生助理和MayaMD在30例(60%)中一致。急诊科医生和急诊科医生助理的回答存在显著差异,他们仅在28例(56%)中分诊决策一致。急诊科医生、急诊科医生助理和MayaMD三者均在仅24例(48%)中分诊决策一致。
对于研究的第二阶段,我们从第一阶段研究中选取了26个未达成一致分诊决策的案例,并将这些案例呈现给在不同卫生系统执业的六名其他急诊科医生。六名医生在九例(35%)中对同一分诊决策达成一致。随后要求医生们对所有26个案例达成共识分诊决策,本文称为“共识A”。MayaMD在22例(85%)中做出了与共识A中医生相同的分诊决策。个体急诊科医生与共识A决策相同的平均为21例(82%),范围为18至24例(69%至92%)。只有一名医生与共识A决策匹配的次数多于MayaMD与共识A决策匹配的次数。
利用共识A决策和研究第一阶段的24个一致决策,我们制定了第二个分诊决策共识,本文称为“共识B”。与共识B分诊决策相比,研究第一阶段的急诊科医生、研究第一阶段的急诊科医生助理和MayaMD分别在39例(78%)、30例(60%)和46例(92%)临床案例中做出了相同决策。
在研究的第三阶段,我们再次将全部50个临床案例呈现给六名其他提供者,然后要求他们为每个案例达成共识,本文称为“共识C”。平均而言,个体医生的初始分诊决策与共识C决策在40例(80%)中匹配,范围为31至45例(62%至90%)。MayaMD在44例(88%)中做出了与共识C决策相同的分诊决策。
MayaMD 以及共识 A、B 和 C 对全部 50 个小插曲的分诊决定见表 1。各个提供者对全部 50 个小插曲的决定以表格形式列于附录中。
讨论
我们的结果表明,在为临床小插曲确定分诊决定时,基于人工智能的应用程序 MayaMD 的表现与个体临床医生相当或更好(图 2)。在我们的研究中,基于人工智能的应用程序的分诊决定与由六名执业人类医生组成的两个共识的分诊决定准确匹配。基于人工智能的应用程序的决定与共识决定的一致率,与个体人类医生的决定与共识决定的一致率相似。
在 50 个临床小插曲中,共有 9 例基于人工智能的应用程序作出的决定与至少一个共识组不同。有 4 例(16、25、41、48)MayaMD 的决定与共识 B 不同,有 6 例(7、26、35、37、42、48)MayaMD 的决定与共识 C 不同。在这些病例中的 6 例(7、25、26、35、42、48)中,差异是由于分诊至紧急护理还是急诊服务所致。在这些病例中,个体提供者的决定也存在类似差异,表明任一分诊都可能是适当的。这种差异也可能是由于基于不同紧急护理机构实践模式的个体偏倚,因为美国各地紧急护理机构所处理的医疗状况存在很大差异 [14]。对于病例 16,一名有重度吸烟史的 45 岁男性表现为腿痛,基于人工智能的应用程序推荐初级保健服务,而共识 B 推荐急诊服务。共识 B 很可能作出这一决定是为了考虑 Critical limb ischemia(危重肢体缺血)的鉴别诊断;然而,根据该病例的其他细节,基于人工智能的应用程序和共识 C 都推荐初级保健服务。病例 37 和 41 也发现了类似差异。基于这些病例,显然,尽量减少分诊决定中的变异性依赖于用户提供的详细输入,以帮助缩小与用户症状相关的鉴别诊断,尤其是降低潜在危及生命诊断的可能性。有趣的是,只有一个病例(48)中两个共识组都与基于人工智能的应用程序作出了不同决定,而在这个病例中,差异是在紧急护理服务与急诊服务之间。除这一例外,基于人工智能的应用程序的分诊决定与至少一个共识组的决定一致,证明了基于人工智能的应用程序作为医疗分诊工具的有效性。
我们的研究建立在既往研究基础之上,这些研究已证明基于人工智能(AI)的应用能够确定适当的诊断,并对各种临床表现进行适当的分诊。虽然早期关于各种症状检查器准确性和安全性的研究提供了混杂且不利的结果[8-10],但近期针对此类用途的基于AI应用的研究则更为积极。例如,Barriga等人证明,一种基于AI的应用能够根据患者在到达急诊室时输入的症状准确预测出院诊断[15]。另一项研究表明,一种基于AI的虚拟助手对其接收的90%的临床情景进行了适当分诊,并且Gilbert等人证明,与全科医生相比,三种可用的基于AI的应用在200个临床情景中提供了安全的分诊建议[11,16]。
据我们所知,我们的研究是首个将AI分诊决策与由来自多个专科、在不同执业地点(包括学术和非学术环境)工作的提供者组成的共识小组的决策进行比较的研究。通过使用由多样化、活跃执业临床医生组成的共识小组,我们的发现得到了显著加强。据我们所知,我们的研究也是首个证明AI能够区分急诊(ER)和紧急护理分诊的能力的研究,因为既往研究仅评估了基于AI的应用确定紧急与非紧急分诊的能力。在紧急护理服务和急诊服务之间进行适当的分诊区分,对于健康保险公司和卫生系统节省成本以及高效提供医疗服务具有重要意义。
在研究的不同阶段,个体提供者之间的决策存在高度变异性,这与既往研究相似[12]。在我们的研究中,急诊提供者对于需要急诊护理的临床表现总体上意见一致,但对于更适合紧急护理或门诊护理的临床表现,其分诊决策变异性更大。在内科提供者中,其分诊决策的大部分变异性源于少数提供者倾向于采取总体上更为保守的分诊方法。医师助理与医生之间分诊决策的变异性,很大程度上是因为医师助理未能像医生那样形成同样严谨的鉴别诊断。个体提供者之间的这种变异性可能反映了偏倚和认知错误,模拟了当前现实医疗实践,并证明了依赖AI进行分诊决策的潜在益处。个体决策的变异性也证明了使用单个人类个体来确定基于AI应用决策准确性的局限性,正如既往研究所做的那样[11]。本研究的一个优势是利用多名医生的共识决策来比较并确定基于AI应用决策的准确性。
我们的发现具有重要意义。利用基于人工智能的应用来提高医疗分诊的适当性和安全性,有可能改善患者的结局和体验,以及医疗服务的效率。支付方、提供方和患者可能从成本节约和更高价值的照护中获益。基于人工智能的应用还可能能够在传统分诊护理服务可及性可能有限的更多农村或服务不足地区提供分诊辅助。
本研究存在局限性。我们使用了由临床医生团队开发的临床情景案例;因此,限制了我们研究的现实世界意义。真实患者与基于人工智能应用的互动可能不会产生与模拟相同症状表现的临床情景案例相同的分诊决策。未来需要开展基于人工智能应用面对真实患者的研究,以确保本研究中观察到的准确分诊决策能够推广到现实世界环境。
进一步开展设计良好的随机试验研究也应评估利用基于人工智能的分诊决策支持可能带来的现实世界结局。可比较有和无基于人工智能应用可及性的患者群体在急诊科就诊率、患者发病率和死亡率以及成本等结局方面的差异。
结论
我们的研究表明,基于人工智能的应用可为患者提供准确的医疗分诊决策支持。利用基于人工智能的分诊决策支持可能有望改善患者结局并降低医疗成本,而这些主张仍需通过未来研究加以评估。
参考来源
- Delshad S, Dontaraju VS, Chengat V, et al. Artificial Intelligence-Based Application Provides Accurate Medical Triage Advice When Compared to Consensus Decisions of Healthcare Providers. Cureus. 2021. PMID: 34405077. doi:10.7759/cureus.16956
- 全文:PMC8352839(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8352839/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。