放射学中的多模态大语言模型:原理、应用与潜力
本文综述大语言模型(LLM)与多模态大语言模型(MLLM)的能力及其对放射学的潜在影响,涵盖报告生成、图像解读、电子健康记录摘要、鉴别诊断生成和患者教育等应用,并讨论当前MLLM在解读三维医学图像、整合图像与文本信息方面的能力有限及缺乏有效评估方法等关键局限。
要点
- LLM与MLLM可支持报告生成、图像解读、电子健康记录摘要、鉴别诊断和患者教育等放射学工作流程。
- 当前MLLM解读三维医学图像及整合图像与文本数据的能力有限。
- 缺乏有效的评估方法是LLM与MLLM应用于放射学的关键局限之一。
核心结论
- LLM与MLLM有望简化放射学工作流程、减少放射科医生工作量、提高诊断准确性、支持跨学科协作并最终改善患者照护。
研究设计与样本
- 综述,纳入文献范围未在摘要中报告。
临床应用与阅片要点
- LLM与MLLM可能支持报告生成、图像解读、电子健康记录摘要、鉴别诊断生成和患者教育等任务。
- 当前MLLM解读三维医学图像及整合图像与文本数据的能力有限。
- 缺乏有效的评估方法是LLM与MLLM临床应用面临的关键局限之一。
局限性
- 当前MLLM解读三维医学图像的能力有限。
- 当前MLLM整合图像与文本数据信息的能力有限。
- 缺乏有效的评估方法。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
英文原文(摘要)· 点击展开
Large language models (LLMs) and multi-modal large language models (MLLMs) represent the cutting-edge in artificial intelligence. This review provides a comprehensive overview of their capabilities and potential impact on radiology. Unlike most existing literature reviews focusing solely on LLMs, this work examines both LLMs and MLLMs, highlighting their potential to support radiology workflows such as report generation, image interpretation, EHR summarization, differential diagnosis generation, and patient education. By streamlining these tasks, LLMs and MLLMs could reduce radiologist workload, improve diagnostic accuracy, support interdisciplinary collaboration, and ultimately enhance patient care. We also discuss key limitations, such as the limited capacity of current MLLMs to interpret 3D medical images and to integrate information from both image and text data, as well as the lack of effective evaluation methods. Ongoing efforts to address these challenges are introduced.
引用
- Shen Y, Xu Y, Ma J, et al. Multi-modal large language models in radiology: principles, applications, and potential. Abdom Radiol (NY). 2024. PMID: 39621074. doi:10.1007/s00261-024-04708-8
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。