大语言模型生成影像引导手术保险拒赔申诉信的DENIED-AI初步研究
本研究为模拟临床场景的初步研究，用四种大语言模型（Claude 3.5、Nova Pro、Llama-3.1-70B、ChatGPT-4o）以零样本、少样本和检索增强生成技术生成放射学手术保险拒赔申诉信，由四名介入放射科专科医生盲法评分。生成信件内容与语法评分总体尚可，编辑时间多不足10分钟且多可用作模板，但虚构参考文献与幻觉普遍存在，临床使用前需人工仔细核查。
要点
- 申诉信总体可用性高，71%的回复估计编辑时间不足10分钟，73%被认为可作模板。
- 虚构参考文献与幻觉常见，离线模型80%的参考文献为编造，使用前必须人工核对。
- 不同模型与技术间内容与语法评分无显著差异，但评审者间一致性差，需谨慎解读。
核心结论
- 大语言模型生成的保险拒赔申诉信总体接受度好、可用性高且质量尚可，但虚构参考文献与幻觉仍普遍存在，临床使用前需仔细人工审核。
研究设计与样本
- 本研究为初步研究，针对模拟临床场景生成保险申诉信。
- 使用四种大语言模型：Claude 3.5、Nova Pro、Llama-3.1-70B、ChatGPT-4o，并采用零样本、少样本和检索增强生成（RAG）技术。
- 由四名委员会认证的介入放射科医生在不知模型与技术的情况下盲法评分，评分涵盖内容、语法与结构、可用性。
- 统计方法包括ANOVA、卡方检验及Fleiss Kappa评估评审者间信度。
诊断标准与关键数值
- 内容与语法平均得分分别为3.9±0.95和4.3±0.9（满分5分），不同模型或技术间无显著差异（p>.05）。
- 评审者间一致性差：内容Fleiss Kappa为-0.18，语法为-0.085。
- 评审者在16/48份评估中标记出幻觉，在线模型更常见（ChatGPT-4o 58% vs 离线模型25%；p=.03）。
- 44条参考文献中，离线模型80%为虚构，ChatGPT-4o为29%（p<.001）。
- 71%的回复估计编辑时间不足10分钟，73%的病例中评审者认为信件可用作模板。
临床应用与阅片要点
- 可将大语言模型生成的信件作为申诉信草稿或模板，但须由人工核对全部参考文献与内容真实性。
- 在线模型（ChatGPT-4o）幻觉与虚构参考文献比例低于离线模型，选择模型时可参考。
- 因评审者间一致性差，单人或单次评估不足以判断信件质量，建议多人复核。
局限性
- 本研究为初步研究，采用模拟临床场景而非真实拒赔案例。
- 评审者间信度差（Kappa为负值），评分结果可靠性有限。
- 样本量小（16/48份评估、44条参考文献），统计效能有限。
以上解读依据论文摘要（全文未开放获取或许可不允许翻译转载）。
英文原文（摘要）· 点击展开
RATIONALE AND OBJECTIVES: To evaluate whether large language models (LLMs) can generate accurate, clinically valid, and usable letters to appeal insurance denials for radiology procedures.
MATERIALS AND METHODS: This pilot study generated insurance appeal letters for a simulated clinical scenario. Four LLMs (Claude 3.5, Nova Pro, Llama-3.1-70B, ChatGPT-4o) were used with zero-shot, few-shot, and retrieval-augmented generation (RAG) techniques. Four board-certified interventional radiologists, blinded to model and technique, scored letters for content (accuracy, personalization, references), grammar and structure (readability, tone, persuasiveness), and usability (estimated editing time, usefulness as a template). References were verified for accuracy, and outputs were carefully examined for hallucinations. Statistical analyses included ANOVA, Chi-square, and Fleiss' Kappa for interrater reliability.
RESULTS: Mean content and grammar scores were 3.9 ± 0.95 and 4.3 ± 0.9 (out of 5), with no significant differences by model or technique (p >.05). Reviewer agreement was poor (Fleiss' Kappa -0.18 for content, -0.085 for grammar). Hallucinations were flagged by reviewers in 16/48 assessments, significantly more often with the online model (ChatGPT-4o: 58% vs offline 25%; p =.03). Of 44 references, 80% from the offline models were fabricated compared with 29% from ChatGPT-4o (p <.001). Estimated editing time was less than 10 min in 71% of responses, and the reviewers felt the letters would be useful as templates in 73% of cases.
CONCLUSION: LLM-generated appeal letters for insurance denials were generally well received, with high usability and adequate quality. However, fabricated references and hallucinations remain prevalent, necessitating careful human review before clinical use.
引用
- McCarthy CJ, Ramalingam V, Barash Y, et al. Decreasing Administrative Effort Related to Non-Approval of Image-guidED Procedures Using Large Language Models - The DENIED-AI Pilot Study. Acad Radiol. 2026. PMID: 42097968. doi:10.1016/j.acra.2026.04.021
供执业医师工作参考，不替代临床判断；数值与分级以指南原文为准。