大语言模型聊天机器人支持PICU家长理解的可行性研究
这项单臂前瞻性可行性研究在四级PICU纳入14名家长,让其与基于患者特定电子健康记录(EHR)数据提示的HIPAA合规GPT-4o聊天机器人进行10分钟无监督对话。主要评估参与度与满意度、提供者看法、准确性与安全性、招募四个可行性标准。结果显示招募率87.5%,家长中位提问6个,实时满意度96%为正性,净推荐值+57;1225句聊天机器人生成语句中99.3%准确,8个错误均为轻微错误,无中重度错误;提供者质量评分中位5.0/6.0。作者认为该可行性研究支持推进以净推荐值为主要终点的随机对照试验。
要点
- 在四级PICU中,14名家长与基于EHR数据提示的HIPAA合规GPT-4o聊天机器人进行10分钟对话,招募率87.5%(14/16)。
- 家长中位提问6个(范围3–13),96%的实时评价(44/46)为好评,净推荐值+57(57%推荐者,0贬损者)。
- 1225句聊天机器人语句中99.3%准确,8个错误均为轻微错误,无中度或重度错误;评分者间信度Gwet's AC2=0.98(95%CI 0.97–0.99)。
- 提供者整体质量评分中位5.0/6.0,医生对床旁常规使用的舒适度高于护士(中位5.0 vs 4.0,p=0.004)。
- 作者计划以净推荐值为主要终点开展RCT,估算需每组54名参与者,允许约20%脱落,拟纳入约135名家长。
适用人群与场景
- 英语流利且能熟练使用笔记本电脑的PICU患儿家长;主要主治医师可自行决定排除家庭。
- 研究在四级PICU(独立儿童医院)进行,非社区PICU场景。
处置流程与药物剂量
- 每次会话由主要研究者输入系统提示词及患者特定临床数据(最新病程记录、实验室和影像结果、当前用药),家长观看3分钟教学视频后进行10分钟无监督对话。
- 会话后主要研究者与家长回顾对话记录以处理潜在错误,并完成交互后调查;开嘱医生和床旁护士分别审阅记录进行质量评估。
研究设计与关键结果
- 单臂前瞻性可行性研究,2024年8月至12月在四级PICU进行,14名家长完成全部流程,招募率87.5%(14/16)。
- 家长10分钟内中位提问6个(范围3–13);96%(44/46)的实时评价为好评;交互后6点Likert量表各领域中位5.0/6.0,易用性6.0(IQR 5.0–6.0),可理解性5.5(IQR 5.0–6.0);净推荐值+57(57%推荐者,0贬损者)。
- 1225句聊天机器人语句中1217句(99.3%)准确,8句(0.7%)为错误,均为轻微错误,无中度或重度错误;30句(2.4%)需第三名PICU医生裁决,其中22句判为准确、8句判为错误;Gwet's AC2=0.98(95%CI 0.97–0.99)。
- 提供者对回答质量、对家长理解的影响和对患者照护的影响中位评分均为5.0(IQR 5.0–5.0);医生对床旁常规使用的舒适度中位5.0(IQR 4.2–5.0)高于护士4.0(IQR 4.0–5.0),p=0.004(Wilcoxon符号秩检验)。
- 基于净推荐值为主要终点、双侧α=0.05、80%把握度、假定标准差55,估算每组需54名参与者;允许约20%脱落,计划纳入约135名家长。
证据类型、等级与局限
- 证据类型:单臂前瞻性可行性研究。
- 局限:单中心四级医疗环境可能不能反映社区PICU经验;10分钟互动限制可能无法捕捉持续使用模式;手动EHR数据录入限制可扩展性;仅招募英语参与者及LLM采用方面已记录的种族和民族差异可能导致西班牙裔和黑人家庭代表性不足,限制普遍性;由于平台HIPAA合规的30天自动数据删除政策,实时满意度(仅46条回复有评分)和时间参与度数据(14次对话中仅8次可用)丢失,限制充分描述用户参与模式的能力;试点数据展示可行性和可接受性,但确定性RCT将受益于更客观的终点,包括观察到的沟通质量、经过验证的知识和焦虑评估以及记录的信息寻求行为;样本量计算依赖对对照组NPS和方差的假设,因标准在线健康资源的已发表基准有限。
对床旁实践的改变
- 作者认为该可行性研究支持推进随机对照试验,以评估基于EHR的LLM聊天机器人是否增强PICU家长理解和沟通。
- 作者设想聊天机器人主要作为面向患者的干预措施,作为床旁沟通的补充而非替代;家长使用聊天机器人回答来学习并在查房时提出更知情的问题,促进更富有成效的临床对话。
- 作者提出RCT必要的技术和安全增强措施包括:通过快速医疗互操作性资源(FHIR)应用编程接口实现自动化EHR集成以消除手动数据录入、自动内容监测以标记可能有害的回答、明确免责声明引导家长就紧急问题直接联系团队、以及研究人员的每日签到和定期审查被标记的对话。
- 作者认为实施研究应评估聊天机器人访问是否提高家长-临床医生互动质量,而不产生虚假安慰或减少与医疗团队的直沟通。
提炼说明
- 原文未涉及「诊断标准与关键阈值」「红旗征与不能漏的情况」「指南或共识出处」,故未列出这些栏目。
全文中译9 节 · 点击展开
问题:一个符合HIPAA要求的大语言模型(LLM)聊天机器人,在输入患者特定电子健康记录(EHR)数据的情况下,能否可行且准确地回答PICU中家长的问题?
发现:在这项单臂可行性研究中,家长表现出持续的参与度(每10分钟会话中位提问数为6个问题,96%的实时评价为正面)和高感知价值(净推荐值+57)。医疗保健提供者对回复质量的评价很高(中位数5.0/6.0)。该聊天机器人达到了99.3%的准确率,评分者间信度极佳(Gwet's AC2 = 0.98),且无中度或严重错误。
意义:这项可行性研究支持推进至一项随机对照试验,以净推荐值作为主要终点,评估基于EHR的LLM聊天机器人是否能增强PICU中家长的理解和沟通。
美国每年有超过240,000名儿童入住PICU,家长必须参与高风险的共享决策(1)。尽管有以家庭为中心的护理举措,如床旁查房和开放电子健康记录(EHR)访问,超过85%的PICU家长报告持续存在信息缺口,并经常使用在线搜索来补充医疗团队提供的信息(2, 3)。然而,传统在线资源缺乏患者特定背景,且通常书写难度高于推荐阅读水平,导致这些搜索使家长的焦虑加倍(3–5)。
大语言模型(LLM)可以通过提供针对家长问题量身定制、以其孩子临床数据为依据的易懂解释来弥补这些缺口。我们此前已证明ChatGPT能够整合患者特定临床数据,对常见的PICU家长问题提供准确、可理解的回答(6)。然而,使用实际患者数据和家长互动的真实世界评估尚未经过检验。因此,我们评估了在PICU中引入面向家长的、符合HIPAA要求的LLM聊天机器人来回答家长问题的可行性。
方法
设计、设置和患者
这项单臂前瞻性可行性研究于2024年8月至2024年12月在一家独立儿童医院的四级PICU中进行。该研究经贝勒医学院机构审查委员会审查和批准(方案H-53797;2023年7月10日批准;研究题目:“大语言模型在医疗保健中的应用:使用生成式预训练Transformer模型增强儿科医院环境中的沟通和理解”)。所有参与者在入组前均获得书面知情同意。所有程序均按照负责机构人体实验伦理委员会的标准以及1975年《赫尔辛基宣言》(2013年修订)进行。这项单臂可行性研究未注册为临床试验,因为其不符合国际医学期刊编辑委员会关于前瞻性注册的标准,该标准要求将参与者分配到健康相关干预措施中进行比较。能够使用笔记本电脑且英语口语流利的家长符合条件。主要主治医师可自行决定排除家庭。
聊天机器人平台和研究程序
入组父母被提供与其孩子PICU照护相关的人工智能(AI)聊天机器人进行的10分钟无监督对话。该聊天机器人为BastionGPT(FortaTech, LLC, Dallas, TX),这是一个符合HIPAA、基于GPT-4o的平台(Generative Pretrained Transformer 4o, OpenAI, San Francisco, CA),仅进行了少量医疗保健相关微调。每次会话中,主要研究者(PI)输入系统提示词(补充表1,https://links.lww.com/CCX/B604),其中包含聊天机器人指令以及患者特异性临床数据,包括最新病程记录、实验室和影像结果以及当前用药。
父母完成互动前问卷(补充表2,https://links.lww.com/CCX/B604),观看3分钟指导视频,然后进行10分钟无监督对话(补充表3,https://links.lww.com/CCX/B604)。互动后,PI与父母一起审阅转录文本以处理潜在错误,并实施互动后问卷。患者的开嘱医生和床边护士分别审阅转录文本以进行质量评估。
结局指标与统计分析
可行性通过四项标准评估,以支持推进至随机对照试验(RCT):1)父母参与度和满意度,2)提供者看法,3)准确性和安全性,4)招募。
父母参与度通过提问数量和频率、问题类型以及每次回答后给出的实时满意度评分(点赞/点踩)评估。对于一部分对话,提取详细时间数据以评估整个会话期间的持续参与度。干预后用户满意度和感知价值使用6点Likert量表问题测量(1=“完全没有”至6=“极其”),评估总体价值、理解改善、与医疗团队沟通能力改善、易用性和可理解性。我们计算了净推荐值(NPS),这是一种经过验证的指标,基于父母以0–10分量表推荐该聊天机器人的可能性。NPS计算为推荐者百分比(评分9–10)减去贬损者百分比(评分0–6),省略被动者(评分7–8)。
审阅对话转录文本后,患者的开嘱医生和床边护士使用6点Likert量表完成四项问卷,评估回答质量、对父母理解和患者照护的预期影响,以及对床边使用的舒适度。
句子层面准确性由PI和开嘱医生评估,他们分别审阅转录文本且不相互商议,使用3点严重程度量表:1)轻微错误,不太可能造成伤害且易于澄清,2)中度错误,可能造成混淆,3)严重错误,可能造成患者或父母伤害(补充表4,https://links.lww.com/CCX/B604)。分歧由第三名PICU医生解决。评分者间信度使用Gwet’s AC2系数计算,这是一种机会校正的评分者间一致性系数,比Cohen's kappa更不易受患病率效应影响。
连续变量以中位数和四分位距(IQR)表示。分类变量以计数和百分比表示。
结果
参与者特征与招募
在筛查的25名家长中,16名符合纳入标准,14名(87.5%)入组并完成了方案。家长的基线理解程度和人口学特征以及患者的临床变量见补充表5(https://links.lww.com/CCX/B604)。与休斯顿人口普查数据相比,我们的研究人群在教育程度(36%拥有学士或更高学位 vs. 31%)和家庭收入(36%低于50,000美元 vs. 35%)方面具有代表性,但非西班牙裔白人家庭的比例较高(约50% vs. 24%),西班牙裔(36% vs. 45%)和黑人(14% vs. 22%)家庭的比例较低(7)。
家长参与度与满意度
家长对聊天机器人表现出积极的参与度,在10分钟的对话中中位提问6个问题(范围3–13)。96%的评分回答(44/46)获得了点赞(满意)评价。在提取了详细时间数据的部分对话中(n = 8),家长持续主动提问直至会话中位9.9分钟(IQR,7.6–10.0分钟),问题间隔中位数为81秒(IQR,58–120秒),反映了持续的来回对话和参与。问题内容最常见的是关于治疗干预(45%)、诊断/监测(17%)和预后(17%)(补充表6,https://links.lww.com/CCX/B604)。
使用6点Likert量表(1=“完全不”至6=“极其”)的互动后调查显示评分一致偏高:总体价值5.0(IQR,5.0–5.0)、理解改善5.0(IQR,4.0–6.0)、与医疗团队沟通能力改善5.0(IQR,4.0–6.0)、易用性6.0(IQR,5.0–6.0)、可理解性5.5(IQR,5.0–6.0;表1)。
净推荐值(NPS)为+57(优秀),57%为推荐者,零贬损者。在12名就若获得持续聊天机器人访问权限后未来信息获取偏好做出回答的家长中,50%表示仅偏好AI聊天机器人,50%会同时使用聊天机器人和其当前信息来源;没有家长仅偏好传统信息来源。
医疗服务提供者的看法
开具医嘱的医生和护士对总体回答质量、对家长理解的影响以及对患者照护的影响均给予高评分(中位数5.0;所有问题的IQR均为5.0–5.0)。与护士相比,医生对常规床旁使用表现出更高的舒适度(中位数5.0 [IQR,4.2–5.0] vs. 4.0 [IQR,4.0–5.0];Wilcoxon符号秩检验p = 0.004;表2)。
准确性和安全性评估
在1225条聊天机器人生成的句子中,1217条(99.3%)最终被归类为准确,8条(0.7%)为错误。30条句子(2.4%)需要由第三名PICU医生裁定以解决评审者之间的初步分歧;其中22条被判定为准确,8条为错误。所有8条错误(0.7%)均被归类为轻微;未发现中度或重度错误。对这些错误的定性分析揭示了临床细微差别、药物适应证方面的不准确以及不恰当的医学细节报告。评分者间信度极好(Gwet's AC2 = 0.98;95% CI,0.97–0.99)。
讨论
本可行性研究表明,符合《健康保险可携性与责任法案》(HIPAA)的大语言模型(LLM)聊天机器人能够有效回答儿科重症监护病房(PICU)患儿家长的问题,支持推进至随机对照试验(RCT)。四项可行性标准均已达到:1)家长参与度高且报告有价值(所有问题的满意度中位数≥5.0/6.0,净推荐值(NPS)+57),2)床旁医护人员持积极看法(质量评分中位数5.0/6.0),3)准确性和安全性高(准确率99.3%,无严重错误),4)招募充分(入组率87.5%)。
为 informing 一项RCT,我们选择NPS作为主要终点,以捕捉家庭对整体价值及采用可能性的评价。RCT的样本量计算需要对对照组表现作出假设,但标准在线健康资源的基线NPS数据有限。因此,我们使用WebMD报告的System Usability Scale(SUS)评分约70来代表标准在线健康资源的基线表现(8)。使用经过验证的SUS-to-NPS转换模型,我们估计这对应于约0的NPS,从而使我们能够为试验提供足够把握度来检测聊天机器人与对照组之间30点的NPS差异(9, 10)。对于试点队列,个体推荐评分(0–10)在按–100(贬损者)、0(被动者)和+100(推荐者)编码时产生的平均NPS编码得分为+57,估计标准差约为51。为考虑更大试验中更大的异质性,我们假设保守的标准差为55。在这些假设下,双侧α为0.05和80%把握度得出每组所需样本量为54名参与者。考虑到约20%的流失率,我们计划入组约135名家长。
这项单中心可行性研究具有重要局限性。四级诊疗环境可能无法反映社区PICU的经验。10分钟互动限制可能无法捕捉持续使用模式。手动电子健康记录(EHR)数据录入限制了可扩展性。仅限英语入组以及LLM采用方面有记录的种族和民族差异可能导致我们队列中西班牙裔和黑人家庭代表性不足,限制了普遍性(11, 12)。由于平台符合HIPAA的30天自动数据删除政策,实时满意度数据(仅46份回复且评分为恢复所得)和时间参与度数据(14次对话中仅8次可用)的丢失限制了我们全面刻画用户参与模式的能力。虽然试点数据证明了可行性和可接受性,但确定性RCT将受益于更客观的终点,包括观察到的沟通质量、经过验证的知识和焦虑评估以及有记录的信息寻求行为。样本量计算依赖于关于对照组NPS和方差的假设,因为标准在线健康资源的已发表基准有限。
需要开展一项随机对照试验(RCT)来确定该技术是否能切实增强儿科重症监护病房(PICU)中家长的理解和沟通。RCT 所需的基本技术和安全性改进将包括:通过快速医疗互操作性资源(FHIR)应用程序编程接口(API)实现自动化电子健康记录(EHR)集成以消除手动数据录入,自动化内容监测以标记可能有害的回复,明确的免责声明引导家长在遇到紧急问题时直接联系其医疗团队,以及每日检查并定期由研究人员审查被标记的对话。我们将聊天机器人设想为一种主要以患者为对象的干预措施,作为床旁沟通的补充而非替代。家长可利用聊天机器人的回复来学习并在查房时提出更有针对性的问题,从而促进更高效的临床医生对话。实施研究应评估聊天机器人的使用是否能在不产生虚假安慰或不减少与医疗团队直接沟通的情况下,提高家长与临床医生互动的质量。
补充材料
参考来源
- Hunter RB, Thammasitboon S, Rahman S, et al. Feasibility of a Large Language Model Chatbot to Support Parental Understanding in the PICU. Crit Care Explor. 2026. PMID: 41860987. doi:10.1097/CCE.0000000000001378
- 全文:PMC13008162(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13008162/
供执业医师抢救与诊疗参考,不替代临床判断;剂量请结合体重、肝肾功能和本院药品规格复核,以指南原文为准。