超声图像联合临床文本的深度学习融合模型鉴别肾肿瘤良恶性
基于单中心回顾性队列(2012年1月至2023年2月,共1008例单发肾肿瘤)及独立前瞻性测试集(2023年3月至2024年10月,82例),构建并验证超声图像结合临床超声文本的多模态融合模型。该模型在验证集AUC为0.89,在前瞻性测试集AUC为0.92,优于不同年资放射科医生。决策曲线、控制消融及SHAP分析支持其作为临床决策辅助工具的潜力。
要点
- 多模态融合模型(超声图像+临床超声文本)鉴别肾肿瘤良恶性的AUC在前瞻性测试集达0.92。
- 该模型在前瞻性测试集中诊断表现优于高、中、低年资放射科医生。
- 模型融合灰阶超声、彩色多普勒图像及临床超声文本信息,可用于日常阅片参考。
核心结论
- 基于超声图像和临床超声文本的深度学习多模态融合模型在鉴别肾脏良恶性肿瘤方面具有潜在应用价值。
- 该模型在验证集和前瞻性测试集中的诊断表现均优于单一模态模型及不同年资放射科医生。
研究设计与样本
- 回顾性数据集来自2012年1月至2023年2月一家三甲医院,随机分为训练集(740例)和验证集(186例)。
- 独立前瞻性测试集来自2023年3月至2024年10月,纳入82例单发肾肿瘤患者。
- 图像特征提取采用ResNet50,文本编码采用BERT,多模态分类采用ViT。
- 共纳入1008例单发肾肿瘤患者,全部具有超声图像及临床超声文本资料。
诊断标准与关键数值
- 验证集中,Model-UT(超声图像+临床超声文本)的AUC为0.89(95% CI, 0.86-0.93),优于Model-G、Model-GC和Model-T(均P<0.05)。
- 前瞻性测试集中,Model-UT的AUC为0.92(95% CI, 0.86-0.97),优于高、中、低年资放射科医生(均P<0.05)。
临床应用与阅片要点
- 灰阶超声图像、彩色多普勒血流图像与临床超声文本信息的联合输入方式可为肾脏肿瘤良恶性鉴别提供参考。
- 文本模态涵盖临床和超声描述信息,提示结构化报告文本对模型性能有增益作用。
局限性
- 回顾性数据集来自单中心三甲医院,存在选择偏倚和外部泛化性不确定的风险。
- 训练集与验证集为随机分配,前瞻性测试集样本量仅82例,结论需在更大样本中进一步验证。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
英文原文(摘要)· 点击展开
OBJECTIVES: To develop a deep learning multimodal fusion model based on ultrasound (US) images and clinical-US texts to differentiate benign and malignant renal tumors.
METHODS: The retrospective dataset from January 2012 to February 2023 in a tertiary hospital was used for model development and randomly allocated to training and validation sets. An independent prospective test set was obtained from March 2023 to October 2024. We developed Model-G using grayscale US (GUS) images, Model-GC using GUS and color Doppler flow imaging images, Model-T using clinical-US texts, and Model-UT using US images and clinical-US texts. ResNet50 was used for image feature extraction, BERT for text encoding, and ViT for multimodal classification.
RESULTS: In total, 1008 patients (740 in training set, 186 validation set, and 82 prospective test set) with a single renal tumor were included. In the validation set, Model-UT achieved the highest diagnostic performance in comparison to Model-G, Model-GC, and Model-T with an area under the receiver operating characteristic curve (AUC) of 0.89 (95% CI, 0.86-0.93) (all p-values < 0.05). In the prospective test set, Model-UT yielded an AUC of 0.92 (95% CI, 0.86-0.97), outperforming high-level, mid-level, and low-level radiologists (all p-values < 0.05).
CONCLUSIONS: The multimodal fusion model presents promising potential in differentiating benign and malignant renal tumors.
ADVANCES IN KNOWLEDGE: Deep learning model integrating US images with clinical-US texts improved benign-versus-malignant renal tumor differentiation. Decision-curve, controlled ablation, and SHAP analyses support its potential use as a clinical decision-support tool.
引用
- Cao, Shi, Yu, et al. Deep learning multimodal fusion model based on ultrasound images and clinical-ultrasound texts for differentiating benign and malignant renal tumors. Br J Radiol. 2026. PMID: 42922188. doi:10.1093/bjr/tqag238
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。