大语言模型与检索增强平台用于牙周病诊疗:11种系统的盲法专家评分比较研究
本研究比较了9种通用大语言模型、1种通用检索增强平台(Perplexity)和1种医学领域检索增强平台(OpenEvidence)在30个牙周临床情景问题上的表现。6名盲法牙周病专家从准确性、安全性、无幻觉和完整性四个维度进行5分制评分。结果显示各平台平均综合评分为3.28-4.86,但至少一个参数被评为危险(≤2分)的比例为3.3%-46.7%,检索增强系统评分最高,但优势与回答长度混杂。
要点
- 检索增强系统(Perplexity、OpenEvidence)与Claude 4.7 Opus构成评分最高梯队。
- 各平台均有3.3%-46.7%的回答至少一个参数被评为危险(≤2分)。
- 模型间差异显著(p<0.001),总体效应量小到中等(Kendall's W=0.17)。
核心结论
- 检索增强系统评分最高,但优势与回答长度混杂,且各平台均存在危险回答,反对不加区分地使用这些工具。
- 这些工具应辅助而非替代专科医生的判断。
研究设计与样本
- 评估11种AI系统:9种通用大语言模型、1种通用检索增强平台(Perplexity)和1种医学领域检索增强平台(OpenEvidence)。
- 每种系统回答30个涵盖急性、慢性和复杂性牙周情景的合成临床情景问题。
- 6名盲法牙周病专家采用5分Likert量表从准确性、安全性、无幻觉和完整性四个维度评分,采用随机区组设计。
- 统计分析采用Friedman检验和Conover-Iman检验(Holm校正),并以混合效应模型和有序模型作为敏感性分析。
主要发现
- 各平台平均综合评分为3.28-4.86,均超过评分标准中点3.0。
- 各平台有3.3%-46.7%的回答至少一个参数被评为危险(≤2分)。
- 模型间差异显著(p<0.001),总体效应量小到中等(Kendall's W=0.17),类别内效应量大(W最高达0.82)。
- Perplexity、OpenEvidence和Claude 4.7 Opus构成最高评分梯队。
关键数值与推荐
- 采用5分Likert量表评分,准确性、安全性、无幻觉和完整性四个维度均以≤2分定义为危险。
- 总体效应量Kendall's W=0.17,类别内效应量W最高达0.82。
- 模型间差异p<0.001。
临床怎么用
- 检索增强系统在牙周病诊疗问答中评分较高,可优先考虑用于辅助决策。
- 因存在危险回答(≤2分)比例高达46.7%,临床使用中需由专科医生审核输出内容。
- 不能将此类工具替代牙周专科医生的临床判断。
局限性
- 检索增强系统的优势与回答长度混杂,无法区分评分优势来源于检索增强还是回答长度。
- 研究使用合成临床情景问题,非真实临床病例。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
AIM: To compare retrieval-augmented systems with general-purpose large language models (LLMs) on standardised periodontal clinical vignettes. MATERIALS AND METHODS: Eleven AI systems were evaluated: nine general-purpose LLMs, one general-purpose retrieval-augmented platform (Perplexity) and one medical-domain retrieval-augmented platform (OpenEvidence). Each responded to 30 synthetic vignettes covering acute, chronic and complex periodontal scenarios. Six blinded periodontists scored responses on a 5-point Likert scale for accuracy, safety, freedom from hallucinations and completeness in a randomised block design. Friedman and Conover-Iman tests with Holm correction were applied; mixed-effects and ordinal models served as sensitivity analyses. RESULTS: At least one parameter scored dangerous (≤ 2) in 3.3%-46.7% of responses across platforms, despite mean composite scores (3.28-4.86) exceeding the rubric midpoint of 3.0. Between-model differences were significant (p < 0.001), with a small-to-medium overall effect (Kendall's W = 0.17) and large within-category effects (W up to 0.82). Perplexity, OpenEvidence and Claude 4.7 Opus formed a top tier. CONCLUSION: Retrieval-augmented systems rated highest, but this advantage was confounded with response length. The dangerous-response spread argues against undifferentiated use. These tools should assist, not replace, specialist judgement.
引用
- Mayer Y, Demetriou B, Rasperini G, et al. Large Language Models and Retrieval-Augmented Platforms for the Diagnosis and Management of Periodontal Diseases: A Blinded Expert-Rated Comparative Study of 11 Systems. J Clin Periodontol. 2026. PMID: 42402252. doi:10.1111/jcpe.70160
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。