文献速递腹部技术与安全US

基于CNN与多模态大语言模型的肝脏超声标准切面识别系统

A CNN-based liver ultrasound plane recognition system with multimodal large language model-generated interpretable feedback.
PubMed 文献 · Abdom Radiol (NY) · 2026-07-22

本研究构建了结合卷积神经网络(CNN)与多模态大语言模型(MLLM)的混合人工智能系统,用于识别肝脏超声标准切面。多中心研究采用专家共识作为参考标准,比较不同年资医生与AI模型的表现。结果显示该AI系统的诊断性能与高年资医生相当,并显著提升低年资医生的识别能力。

要点

  • 系统可识别13种肝脏超声标准切面及非标准切面
  • AI辅助可显著提升低年资医生的识别准确率
  • 模型在不同中心、设备和临床场景中均显示稳健性

核心结论

  • CNN结合MLLM的混合AI系统在肝脏超声切面识别中性能与高年资放射科医生相当并显著优于低年资医生。
  • AI辅助可显著提升学生、低年资及中年资医生的各项诊断指标。
  • 该模型在多中心、多超声设备及不同临床场景下表现出良好的泛化能力。

研究设计与样本

  • 多中心研究,标准数据集共16782张图像,其中训练集13508张、测试集3274张。
  • 内部验证集3431张图像,外部验证集5253张图像。
  • 以专家共识为参考标准,比较学生、低年资、中年资、高年资放射科医生及AI模型的表现。
  • AI系统由CNN图像识别模块与多模态大语言模型文本解释模块组成。

关键影像表现/征象

  • CNN模块可识别13种肝脏超声标准切面及非标准切面。
  • 该系统在测试集中对肝脏超声切面识别的准确率为88.8%。
  • 模型在多个中心、不同超声设备及多样化临床场景中表现出稳定的识别能力。

诊断标准与关键数值

  • 测试集中CNN对肝脏超声切面识别的准确率为88.8%。
  • 验证集中AI模型的AUC、敏感度、特异度、阳性预测值、阴性预测值、准确率及kappa值与高年资医生相似,所有p值均大于0.05。
  • 除阳性预测值外,AI模型在学生、低年资及中年资医生的其他诊断指标均具有显著优势,所有p值小于0.05。
  • 在AI辅助条件下,各低年资医生的诊断指标有统计学显著改善。

临床应用与阅片要点

  • 该AI系统可作为图像质量控制和标准化培训的有效辅助工具。
  • 日常阅片中可借助该系统辅助低年资医生确认肝脏超声标准切面的规范性。
  • MLLM生成的文本解释有助于理解模型识别依据,提升教学的直观性。

局限性

  • 研究仅基于静态图像,未评估实时超声扫查过程中的动态辅助效果。
  • MLLM生成的解释反馈与临床医生的接受度需要进一步前瞻性验证。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

英文原文(摘要)· 点击展开

OBJECTIVE: To construct a hybrid artificial intelligence (AI) pipeline that combines a convolutional neural network (CNN) for image recognition with a multimodal large language model (MLLM) for textual interpretation, and to evaluate its application value in identifying liver ultrasound standard planes (LUSPs).

MATERIALS AND METHODS: This multicenter study included 16,782 images in the standard dataset (training: 13508; testing: 3274), an internal validation set (3431 images), and an external validation set (5253 images). Using expert consensus as the reference standard, diagnostic performance was compared between students, junior radiologists, intermediate radiologists, senior radiologists, the AI model, and the same readers with AI assistance.

RESULTS: The CNN component of the system recognized 13 LUSPs and nonstandard planes (N-SPs) with an accuracy of 88.8% in the test set. In the validation set, the area under the receiver operating curve, sensitivity, specificity, positive predictive value, negative predictive value, accuracy, and kappa value of the AI model in identifying liver ultrasound planes were similar to those of senior radiologists (all p > 0.05). Except for the positive predictive value, the AI model outperformed students, junior radiologists, and intermediate radiologists in other diagnostic performance and these metrics also showed statistically significant improvement with hybrid AI system assistance under the conditions of this experimental setting (all p < 0.05). The model demonstrated robust generalizability across multiple centers, ultrasound devices, and diverse clinical scenarios.

CONCLUSION: This hybrid AI system, combining CNN-based image identification with MLLM-generated interpretable feedback, demonstrates potential as an effective auxiliary tool for image quality control and standardized training, warranting further prospective validation.

来源:Abdom Radiol (NY),查看原文。版权归原作者所有。

引用

  1. Chen, Li, Zhang, et al. A CNN-based liver ultrasound plane recognition system with multimodal large language model-generated interpretable feedback. Abdom Radiol (NY). 2026. PMID: 42484849. doi:10.1007/s00261-026-05706-8

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。