通用大语言模型与领域专用自然语言处理工具在胸片报告标签提取中的比较
General-Purpose Large Language Models Versus a Domain-Specific Natural Language Processing Tool for Label Extraction From Chest Radiograph Reports.
PubMed 文献 · AJR Am J Roentgenol · 2024-01-17
该研究比较了GPT-4与放射学领域专用自然语言处理模型在胸片报告影像表现分类中的表现,包括使用和不使用预定义标签两种条件。GPT-4表现优于领域专用模型,针对上下文进行提示工程进一步提升了性能。研究提示大语言模型可通过自动化数据标注加速放射学人工智能模型开发。
要点
- GPT-4在胸片报告标签提取中优于放射学领域专用自然语言处理模型。
- 无论是否使用预定义标签,GPT-4的标签提取表现均更优。
- 针对上下文进行提示工程可进一步提升GPT-4的性能。
核心结论
- GPT-4在胸片报告影像表现分类中优于放射学领域专用自然语言处理模型,使用和不使用预定义标签时均如此,提示工程进一步改善性能。
研究设计与样本
- 比较研究,对比GPT-4与放射学领域专用自然语言处理模型在胸片报告标签提取中的表现,包括使用和不使用预定义标签两种条件。
局限性
- 原文未报告局限性
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
英文原文(摘要)· 点击展开
GPT-4 outperformed a radiology domain-specific natural language processing model in classifying imaging findings from chest radiograph reports, both with and without predefined labels. Prompt engineering for context further improved performance. The findings indicate a role for large language models to accelerate artificial intelligence model development in radiology by automating data annotation.
来源:AJR Am J Roentgenol,查看原文。版权归原作者所有。
引用
- Savage CH, Park H, Kwak K, et al. General-Purpose Large Language Models Versus a Domain-Specific Natural Language Processing Tool for Label Extraction From Chest Radiograph Reports. AJR Am J Roentgenol. 2024. PMID: 38230901. doi:10.2214/AJR.23.30573
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。