放射学基础模型——健康影像人工智能(AI4HI)网络的立场
AI4HI网络汇集5个欧盟资助联盟的专家,讨论基础模型在放射学中的潜力与局限。基础模型可减少标注负担并改善公平性与泛化性,但仍面临透明度、可解释性和残余偏倚等挑战。作者主张在开发基础模型的同时建立去中心化跨机构临床验证与持续训练框架。
要点
- 基础模型基于大规模无标注数据预训练,可减少放射学AI对数据标注的依赖。
- 基础模型仍存在透明度与可解释性不足、幻觉输出、灾难性遗忘和偏倚等局限。
- 作者主张建立去中心化跨机构框架,对基础模型进行持续临床验证与训练。
核心结论
- 基础模型可能缓解放射学AI中的偏倚和泛化不良问题,但挑战依然存在。
- 作者主张建立去中心化跨机构框架进行持续验证与训练,以提升模型可靠性、安全性和临床效用。
- 基础模型只是解决方案的一部分,整体可信验证和持续学习同样关键。
研究设计与样本
- 本文为AI4HI网络的立场文章,基于EuCanImage、CHAIMELEON、INCISIVE、ProCAncer-I和PRIMAGE五个欧盟资助联盟的经验与结果形成共识。
- AI4HI网络汇集技术和临床背景的专业人员,讨论基础模型在放射学中的潜力与局限。
- 文章未报告系统检索范围、纳入文献数量或证据分级。
诊断标准与关键数值
- 基础模型定义:在大数据上训练的大型模型,可适配下游任务,预训练阶段可使用极少或无标注数据。
- 基础模型已知局限包括缺乏透明度与可解释性、虚构/幻觉、灾难性遗忘和偏倚。
- 示例:基础胸部X线模型在女性无异常胸片和黑人胸腔积液胸片识别中性能下降。
- 系统研究显示,性别和种族偏倚在基础模型预训练方法中普遍存在,增加预训练数据或在平衡数据集上微调仅部分缓解偏倚。
- RETFound在西方人群训练后对亚洲人群未显示优于自然图像训练基础模型的优势。
临床应用与阅片要点
- 作者主张基础模型的开发应伴随去 decentralized 临床验证与持续训练框架的建立。
- 作者提出可借鉴Cancer Image Europe联邦网络、瑞典VAI-B项目、德国RACOON网络等去中心化数据管理和联邦学习模式。
- 作者建议整合人在回路方法和临床专家反馈,并部署不确定性估计技术使AI在高不确定性时请求人工干预。
- 作者提及FUTURE-AI可信框架的6项原则:公平性、通用性、可追溯性、可用性、鲁棒性和可解释性。
- 原文未据此给出具体阅片操作推荐。
局限性
- 基础模型缺乏透明度与可解释性,因参数极多且训练数据中的概率关联难以解释。
- 基础模型可能产生虚构/幻觉,输出看似真实但不符合事实,在多个应用中导致高错误率。
- 基础模型在小数据集上微调时可能出现灾难性遗忘,在原本表现良好的样本上性能下降。
- 基础模型可能对特定类别或特征存在偏倚,性别和种族偏倚在预训练方法中普遍存在,增加数据或平衡微调仅部分缓解。
- 临床图像基础模型训练面临数据集规模、维度、信号分布及标注者间变异等困难。
全文中译4 节 · 点击展开
引言
医学图像提供了关于患者的大量相关信息,临床医生利用这些信息来更好地诊断和治疗患者。由于医学图像在诊断中的核心地位,多年来获取的扫描数量稳步增加[1, 2],这对受过培训的专业人员在图像采集、解读和结果整合方面产生了巨大需求,而这种高工作量需求目前难以充分满足[3–5],并导致放射科医生的职业倦怠率不断上升[6, 7]。更糟糕的是,放射技师和医学物理师也面临全球性短缺[8, 9],使得这一问题贯穿于图像排程、采集、质量控制、解读和报告的全过程。
医学影像人工智能(AI)系统近年来作为潜在的辅助工具出现,不仅能减轻放射科医生的负担,还能改善患者诊疗流程和医疗保健。例如,AI可在乳腺癌检测中通过捕获放射科医生遗漏的病灶来提高灵敏度[10–15],在胸部X线中通过结节判读[16, 17],在CT扫描中通过颅内出血检测[18]来提高灵敏度。在使用深度学习工具进行前列腺MRI显著性癌症检测时也观察到性能提升,同时降低了假阳性的可能性[19, 20];在使用MRI影像组学诊断结直肠癌病理完全缓解[21]中,以及在使用卷积神经网络观察和勾画胸部CT肺结节[22, 23]中也有类似发现。在放射治疗中,AI可辅助勾画(即通过半自动或自动分割危及器官或临床靶区),并 consistently 缩短时间[24, 25]。AI还可利用现实生活中获取的不同CT图像集,为仅基于MRI的放射治疗计划生成合成CT数据[26]。
AI在放射学中的潜力,包括基础模型和生成模型,已在AI for Health Imaging(AI4HI)网络的专家和利益相关者中进行了讨论。AI4HI网络连接了5个由欧盟资助的大型联合体,致力于开发、验证和部署用于健康影像的AI(EuCanImage、CHAIMELEON、INCISIVE、ProCAncer-I和PRIMAGE),并汇集了技术和临床背景的专业人员[27–30]。基于这些项目的经验和结果,共识是:虽然新兴AI解决方案前景可期,但需要对其稳健性、泛化性、长期性能和伦理合规性给予密切关注。AI驱动的预测有时可能导致错误诊断,进而可能促使临床医生做出错误的治疗决策[31, 32]。这些问题主要源于临床AI模型无法泛化到外部数据集或代表性不足的人群[33, 34]。
在使用临床AI模型进行胸部X线分类方面,Rudolph等人强调了患者体位如何影响AI系统在外部数据集上的性能[35],而Kim等人表明,部署队列与训练队列之间疾病患病率的偏移可能导致性能显著下降[33, 36]。当性能差异不成比例地影响特定人口群体时,如某些国家、种族、性别或年龄组,这种差异尤其令人担忧[37, 38]。对特定群体表现不佳的有偏模型可能导致过度治疗或诊断不足,具体取决于偏倚的方向。
此外,传统AI系统对大数据的需求可能导致其在诊断相对罕见的疾病时表现不佳[39]。例如,一个基于面部识别训练用于诊断罕见综合征的模型在非白人人群中表现不佳[40]。隐藏分层——即存在潜在但不可观测的、具有不同性能水平的数据子集——也可能导致模型在不可预见的情况下表现不佳[41]。这些差异不仅影响患者,也对医疗服务提供者产生影响,因为性能下降可能使机构和临床医生因预测不准确而面临法律责任[42]。
最后,系统性和局部评估表明,AI系统可能在发布时及随时间推移难以保持一致的性能,从而阻碍其作为临床工具的可行性[43, 44]。此外,数据集之间在中心、采集方案和扫描仪制造商方面的差异可能阻碍模型性能[33, 36]。这些现象可能涉及数据谱、采集软件和临床目标的变化,导致AI模型在未定期监测和更新的情况下随时间推移而退化[45, 46]。持续评估和重新校准对于确保AI系统在临床实践中保持调优和有效至关重要,尤其是当医疗状况、成像技术和患者人口统计学特征不断演变时。为严格验证AI模型并考虑偏倚,需要具有注释的大型人口统计学平衡数据集;由于经济、法律和伦理限制,这往往不切实际。
基础模型:潜力和局限性
基础模型是在多样化的非特定任务(如语言生成、图像描述或图像重建)上预训练的大规模AI模型,作为专业应用的可适应起点[47]。一些基础模型属于生成式AI的范畴,生成式AI是AI的一个子集,专注于合成新内容,无论是文本、图像、视频、语音还是其他信息模态。生成式AI利用这些基础架构来产生新颖的输出,而基础模型更广泛地作为生成式和非生成式应用的基础。例如,在医疗保健领域,由基础模型驱动的生成式AI支持罕见病研究的合成数据生成或个性化治疗模拟等任务[48],而非生成式应用则包括临床决策支持系统、诊断辅助和工作流程优化,有助于提高诊断准确性和临床效率[49]。为帮助读者,我们提供了一份词汇表,包含本文中使用的与基础模型相关的有用定义(表1)。
基础模型通过利用通常未经标注或以其他方式整理的极大量数据,提升人工智能在特定任务中的性能。此类训练数据集具有优势:它们不仅能更好地反映真实世界数据中观察到的质量变化,而且在人群以及采集条件或参数方面也更为多样。重要的是,此类数据更容易获取,因为收集并使其可用于人工智能模型训练所需的工作量和时间更少。通过利用这些庞大、易于获取且未经整理的数据集,可以训练出强大的基础模型。
许多基础模型以大语言模型(LLM)为基础的聊天界面形式使用,大语言模型是基础模型中较早的形式之一[50]。大语言模型是极其复杂的模型(通常超过10亿个参数),通常基于Transformer架构[51],能够生成类似人类的文本。训练大语言模型通常很直接:该过程侧重于预测下一个词或标记(句子或词的一部分)可能是什么[51]。通过在计算和数据方面大幅扩展这一过程,这些模型已被证明能够准确再现类似人类的文本。基础模型不仅为基于文本的任务开发,也为其他模态开发,例如图像,或信息源的组合,例如视觉语言模型(VLM),其将图像和文本纳入其处理能力。
构建基础模型通常涉及“预训练”过程,即模型在可能具有极少或没有标注的大量数据上进行训练的过程(表2)。基础模型的这一核心方面——预训练阶段的存在——对于基础模型适应执行特定任务时的下游性能至关重要(图1)。例如,在聊天机器人中,预训练之后通常会进行某种形式的优化,使其更具对话性并降低这些模型产生有害输出的可能性[52]。医学领域的大语言模型(LLM)可能在非常大的医学文本数据集上进行预训练,如电子健康记录(EHR)、临床笔记和科学文献。在其他情况下,更倾向于使用高质量的精选医学数据对通用(非医学)用途的LLM进行微调的解决方案[53],以避免与预训练相关的高计算费用。在医学图像分析中,预训练之后通常会对通用模型进行提示或微调,以在特定解剖结构和疾病上执行特定任务,如医学图像分割、癌症诊断或疾病预测。当预训练不使用标签时(如LLM的情况),该过程也可称为自监督学习,因为“监督”(通常是分割或分类标签)就是输入数据本身(对于LLM而言,句子中的下一个词元或单词提供监督)。一些较新的方法聚焦于所谓的“AI智能体”(对能够相互交互以及与计算工具、功能或软件程序交互的专用LLM、视觉语言模型(VLM)和其他机器学习模型的称呼),并在肿瘤学诊断和研究方面显示出应用潜力[54, 55]。多智能体框架协调多个AI智能体,已被进一步认为是推进临床医生与AI系统协作的重要一步,通过自动或半自动方式自动触发专科AI智能体[56, 57]。
在放射学领域,无标注预训练已被广泛开展。这些方法包括为医学图像生成报告或说明文字(使模型能够学习图像的哪些部分对放射科医生具有相关性;图2)[58, 59]、掩码自编码器(移除图像的部分内容,训练模型预测缺失部分;图3)[60]以及对比学习(模型学习如何在图像内容发生变化的情况下仍能一致地对图像进行数值表征[61–64];图4)。其他方法利用标注来推导基础模型。例如,MedSAM[65]是一个用于通用辅助医学图像分割的高性能模型。基于分割一切模型(SAM)[66],MedSAM经过训练,使用边界框(包围给定解剖区域的矩形或立方体,因此可以以高准确度进行半自动分割)为不同解剖相关区域生成分割掩码。
视觉基础模型的一个特别优势在于,它们应用于外部数据集时通常表现良好[58, 65, 67]。与仅使用监督学习训练的模型相比,它们还需要更少的标注数据即可实现更好的性能[61, 64, 67]。对于基于文本的任务,一些基于预训练大语言模型(LLM)的应用在放射学报告的印象和所见生成方面已显示出潜力[68–70]。特别是,通过少样本学习——即使用预训练模型仅用少量示例进行图像分类——通用基础模型可以适配于医学图像分类任务[71]。零样本学习——即训练数据中不提供任何示例——也已被证明与监督替代方案相比更具数据效率(即需要更少的训练示例)[72, 73]。
然而,与任何人工智能工具一样,基础模型的性能受限于其人类创建者和训练数据双方的错误、局限性和偏见。基础模型的已知局限性包括:缺乏透明度和可解释性:由于参数数量极其庞大且训练数据中发现的概率关联难以解释,模型变得更难以解释。
虚构/幻觉:模型输出可能看起来逼真(即遵循真实数据的典型结构),但并非事实。这包括生成虚假信息[74, 75],并导致在若干不同应用中出现高错误率[76]。
灾难性遗忘[77]:当模型在小数据集上进行微调时,在模型曾经表现良好的样本或数据集上测试时,其性能或与人类价值观和安全原则的一致性可能会下降[78–80]。换言之,试图将基础模型适配于特定任务可能导致它们在先前表现良好的任务上丧失性能。
偏见:基础模型可能对特定类别或特征存在偏见。例如,基础胸部X射线模型可能在性别和种族方面表现出偏见,使其通用应用存在问题;指示性地,在识别无异常发现和胸腔积液的胸部X射线片时,女性个体和黑人个体的性能分别出现下降[81]。一项关于医学图像基础模型的系统性研究表明,尽管使用了大量数据,性别和种族偏见在基础模型预训练方法中普遍存在,并且增加预训练数据量或在平衡数据集上进行微调只能部分缓解偏见[82]。作为说明性示例,我们引用RETFound——一种视网膜图像基础模型[53]。尽管其性能卓越,但随后一项关于在多样化西方人群上训练的RETFound能否泛化至亚洲人群的分析表明,该基础模型与在自然图像(即非医学影像)数据上训练的基础模型相比并未提供优势[83]。
此外,尽管自然图像与临床图像在许多方面相似,但两者之间存在关键差异,这使得训练临床图像基础模型更加困难:数据集规模:ImageNet是一个广泛可用的自然图像数据集,包含超过1400万张图像[84],而像Meta所拥有的私有数据集则达到数十亿张[85]。相比之下,最大的胸部X线数据集——MIMIC-CXR[86]——约有35万张标注X线片。已有研究致力于弥合这一差距。为缩小这一差距,SA-Med2D-20M等数据集汇集了460万张2D医学图像(其中58.4%来自临床影像)中的2000万个掩膜[87–89]。这些数据集通过汇集公开可用来源构建——SA-Med2D-20M和IMed-361M汇集了100多个来源,UMIE汇集了20个来源。尽管取得了这些进展,获取和标注新的临床图像数据仍然是主要挑战。
维度:如前所述,大型数据集通常通过将临床图像视为2D来实现。然而,许多临床图像本质上是3D的,这种维度承载着对训练临床影像基础模型至关重要的上下文信息。现有一些大型3D数据集:CT-RATE包含超过25,000例CT检查[90],英国生物银行(UK Biobank)正在采集多达100,000人的心脏、腹部和脑部MRI[91]。在分割方面,BraTS挑战赛提供的数据集包含数千例标注的脑肿瘤检查[92]。用于训练TotalSegmentator(超过1200例CT检查)和TotalSegmentator MRI(超过500例CT和600例MRI检查)的数据集使用了针对100多个解剖结构的高质量标注[93, 94]。
信号分布:与变化广泛的自然图像(例如,不同动物易于区分)不同,由于多年的临床方案开发,医学图像往往高度标准化且个体间相似。此外,具有诊断相关性的特征——腹部CT中的肝细胞癌、多参数MRI中的前列腺病变或头部CT中的颅内出血——通常仅占据每张图像的一小部分。尽管尚未得到充分研究,这种细微性和有限变异性可能使模型优化复杂化。
标注者间变异性和标注质量:不同的人可能以不同方式标注目标和图像。虽然这在自然图像中未受到特别讨论,但标注中的标注者间变异性在临床影像中至关重要。Shwartzman等人最近表明,在脑MRI中,基于单个人标注训练模型会放大模型输出的标注者间变异性[95]。同样,在组织病理学中降低细胞分割的标注者间变异性,尽管数据集较小,却带来了性能提升[96]。
最后,当研究人员评估大语言模型(LLMs)以及近年来兴起的视觉语言模型(VLMs)在医学执照考试中的表现时,其成绩相当引人注目[97–99]。这自然在放射学领域引发了大量研究和发表,利用商业LLMs执行广泛的任务(如诊断、报告摘要或印象生成)。然而,结果参差不齐[76, 100, 101]:LLMs在医学[102, 103]和非医学语境[104, 105]中会产生有偏见的回答。此外,某些医学LLM应用在印象生成[106, 107]和医学证据总结[108]方面已被证明不如同等人类专家。
基础模型作为临床实践中AI未来的一部分
要回答“我们如何获得在当前数据上表现良好的模型”,基础模型很可能就是解决方案。然而,如果我们问的是一个稳健且一致的临床AI支持生态系统如何在未来几年蓬勃发展并切实服务于患者和临床医生,基础模型只是解决方案的一部分。
基础模型确实可以通过利用海量数据集中已有的医学知识,在一定程度上弥合机器学习应用在临床泛化方面现有的差距。然而,它们仍可能受到某些相同局限性(上文所述)的影响,导致非基础模型在临床实践中仍基本未被采用。虽然开发性能良好的模型很重要,但从可信赖性和持续学习角度进行整体验证同样至关重要,以确保在不断演变的医疗环境中具备实际临床效用和患者安全。
现代去中心化医学数据策管与联邦存储方法,例如应用于Cancer Image Europe联邦网络的方法——该网络旨在为医学研究和实验提供大量数据以及联邦学习/联邦数据处理方法[109]——可以作为基础模型一致性训练、验证、监测和持续改进的开创性基础。此类框架可以通过提供广泛验证和再训练所需的数据量、多样性、多模态性和质量,同时保护患者隐私,从而成为最先进人工智能建模方法的赋能因素,包括基础模型和生成式人工智能工具。
近期文献也可以为一致、多中心且连续的临床模型验证和训练框架可以呈现何种形态提供重要见解。VAI-B是一个专注于模型外部验证的瑞典国家项目,从多个机构收集数据,并通过仔细协调不同模型及其输入/输出要求,能够为多个模型的外部性能提供准确估计[110]。类似地,RACOON是一个专注于为联邦学习收集数据的德国医学中心网络[111],在协调计算资源良好的机构进行模型训练与计算资源较少的机构进行模型验证之间显示出有前景的结果。这种安排确保每个机构都能参与模型训练和验证。类似的持续数据收集以及去中心化模型验证和/或训练方法可以被部署用于不仅训练而且验证有前景的基础模型。
在将基础模型用于解决特定任务时[113],整合人在回路方法并从临床专家用户的反馈中学习[52, 112]以持续改进人工智能工具,使其动态适应并可泛化到不断变化的临床实践操作条件,尤为重要。同样重要的是在基础模型中构建“自我意识”,即整合对模型局限性和不确定性的意识,例如通过部署不确定性估计技术[114, 115],并提供机制使人工智能在高不确定性时能够请求人工干预或反馈,例如通过澄清问题[116]。
整体人工智能可信度框架,如FUTURE-AI——该框架为遵循6项主要可信度原则(公平性、普适性、可追溯性、可用性、鲁棒性和可解释性)提供建议和指南[30]——也可以在可信赖且更有可能用于临床实践的基础模型的开发、验证和部署中充当关键指导。可信度的一个重要障碍在于大型公司开发的大语言模型(LLM)——如OpenAI的ChatGPT或Google的Gemini。这是因为这些模型预训练的数据文档有限或完全不存在,而当模型使用基于人类反馈的强化学习[52]或类似方法进一步优化时,数据集可能是专有的且难以探究。这与FUTURE-AI框架的可追溯性原则直接冲突,该原则建议模型的整个生命周期——包括其训练过程和 data——都应得到充分的记录和监测。这也与欧盟的《人工智能法案》直接冲突,该法案要求高风险人工智能系统(包括临床人工智能模型)对其训练过程和 data 完全透明[117]。
解决专有模型缺乏透明度的问题可能涉及使用开放大语言模型,这些模型公开记录 data——LLaMa模型最初准确记录了训练期间使用的 data 来源[118],而Pythia等项目则更进一步,提供了完整复现所需的代码[119]。模型可解释性的技术发展也可以使模型输出更容易理解并增加对其输出的信任——正如最近一篇综述所强调的,大语言模型的可解释性可以在多个不同层面实现,其中一些模仿了易于理解的解释[120]。
结论
在此,我们概述了围绕使用医学影像的现代临床机器学习模型方法的问题,并考虑了更大范围的基础模型的发展如何能够部分解决这些问题。然而,基础模型本身不足以解决固有偏差或欠佳的泛化能力,特别是如果存在一种倾向,即假设这些问题在没有适当的计算和数据基础设施的情况下完全可以解决。因此,我们建议应集中努力构建多样化、记录良好的数据集,这些数据集涉及临床专家,同时实现协作式和去中心化的训练。最后,临床和研究界应努力确证基础模型是透明的、临床相关的且广泛适用的。我们在表3中进一步阐述了这些努力。
我们假设这些建议可以使基础模型更加透明、稳健和高效,同时增加医学专业人员和患者的信任。
引用
- de Almeida JG, Alberich LC, Tsakou G, et al. Foundation models for radiology-the position of the AI for Health Imaging (AI4HI) network. Insights Imaging. 2025. PMID: 40770121. doi:10.1186/s13244-025-02056-9
- 全文:PMC12328884(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12328884/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。