文献速递牙周病

大语言模型与检索增强平台用于牙周病诊疗:11种系统的盲法专家评分比较研究

Large Language Models and Retrieval-Augmented Platforms for the Diagnosis and Management of Periodontal Diseases: A Blinded Expert-Rated Comparative Study of 11 Systems.
PubMed 文献 · J Clin Periodontol · 2026-07-05

本研究比较了9种通用大语言模型、1种通用检索增强平台(Perplexity)和1种医学领域检索增强平台(OpenEvidence)在30个牙周临床情景问题上的表现。6名盲法牙周病专家从准确性、安全性、无幻觉和完整性四个维度进行5分制评分。结果显示各平台平均综合评分为3.28-4.86,但至少一个参数被评为危险(≤2分)的比例为3.3%-46.7%,检索增强系统评分最高,但优势与回答长度混杂。

要点

  • 检索增强系统(Perplexity、OpenEvidence)与Claude 4.7 Opus构成评分最高梯队。
  • 各平台均有3.3%-46.7%的回答至少一个参数被评为危险(≤2分)。
  • 模型间差异显著(p<0.001),总体效应量小到中等(Kendall's W=0.17)。

核心结论

  • 检索增强系统评分最高,但优势与回答长度混杂,且各平台均存在危险回答,反对不加区分地使用这些工具。
  • 这些工具应辅助而非替代专科医生的判断。

研究设计与样本

  • 评估11种AI系统:9种通用大语言模型、1种通用检索增强平台(Perplexity)和1种医学领域检索增强平台(OpenEvidence)。
  • 每种系统回答30个涵盖急性、慢性和复杂性牙周情景的合成临床情景问题。
  • 6名盲法牙周病专家采用5分Likert量表从准确性、安全性、无幻觉和完整性四个维度评分,采用随机区组设计。
  • 统计分析采用Friedman检验和Conover-Iman检验(Holm校正),并以混合效应模型和有序模型作为敏感性分析。

主要发现

  • 各平台平均综合评分为3.28-4.86,均超过评分标准中点3.0。
  • 各平台有3.3%-46.7%的回答至少一个参数被评为危险(≤2分)。
  • 模型间差异显著(p<0.001),总体效应量小到中等(Kendall's W=0.17),类别内效应量大(W最高达0.82)。
  • Perplexity、OpenEvidence和Claude 4.7 Opus构成最高评分梯队。

关键数值与推荐

  • 采用5分Likert量表评分,准确性、安全性、无幻觉和完整性四个维度均以≤2分定义为危险。
  • 总体效应量Kendall's W=0.17,类别内效应量W最高达0.82。
  • 模型间差异p<0.001。

临床怎么用

  • 检索增强系统在牙周病诊疗问答中评分较高,可优先考虑用于辅助决策。
  • 因存在危险回答(≤2分)比例高达46.7%,临床使用中需由专科医生审核输出内容。
  • 不能将此类工具替代牙周专科医生的临床判断。

局限性

  • 检索增强系统的优势与回答长度混杂,无法区分评分优势来源于检索增强还是回答长度。
  • 研究使用合成临床情景问题,非真实临床病例。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

AIM: To compare retrieval-augmented systems with general-purpose large language models (LLMs) on standardised periodontal clinical vignettes. MATERIALS AND METHODS: Eleven AI systems were evaluated: nine general-purpose LLMs, one general-purpose retrieval-augmented platform (Perplexity) and one medical-domain retrieval-augmented platform (OpenEvidence). Each responded to 30 synthetic vignettes covering acute, chronic and complex periodontal scenarios. Six blinded periodontists scored responses on a 5-point Likert scale for accuracy, safety, freedom from hallucinations and completeness in a randomised block design. Friedman and Conover-Iman tests with Holm correction were applied; mixed-effects and ordinal models served as sensitivity analyses. RESULTS: At least one parameter scored dangerous (≤ 2) in 3.3%-46.7% of responses across platforms, despite mean composite scores (3.28-4.86) exceeding the rubric midpoint of 3.0. Between-model differences were significant (p < 0.001), with a small-to-medium overall effect (Kendall's W = 0.17) and large within-category effects (W up to 0.82). Perplexity, OpenEvidence and Claude 4.7 Opus formed a top tier. CONCLUSION: Retrieval-augmented systems rated highest, but this advantage was confounded with response length. The dangerous-response spread argues against undifferentiated use. These tools should assist, not replace, specialist judgement.

来源:J Clin Periodontol,查看原文。版权归原作者所有。

引用

  1. Mayer Y, Demetriou B, Rasperini G, et al. Large Language Models and Retrieval-Augmented Platforms for the Diagnosis and Management of Periodontal Diseases: A Blinded Expert-Rated Comparative Study of 11 Systems. J Clin Periodontol. 2026. PMID: 42402252. doi:10.1111/jcpe.70160

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。