公众号 / 文章技术与安全

医学机器学习运维:促进放射学临床人工智能开发与部署的框架

Medical machine learning operations: a framework to facilitate clinical AI development and deployment in radiology.
PubMed 文献 · Eur Radiol · 2025-05-08

该文提出医学机器学习运维(MedMLOps)框架,将MLOps理念引入放射学MedML系统,围绕可用性、持续监测验证与再训练、患者隐私与数据保护、易用性四大支柱展开,旨在保障模型持续可靠、安全且符合欧盟法规,并帮助放射科医生在临床中可控地使用机器学习工具。

要点

  • MedMLOps四大支柱:可用性、持续监测验证与再训练、患者隐私与数据保护、易用性。
  • 模型性能随时间下降,需持续监测与验证;诊断模型可作第二读者辅助验证。
  • EUAI将医疗应用归为高风险类,要求明确范围、代表性训练数据、人类监督等。

核心结论

  • MedMLOps通过适配MLOps概念改善MedML生态,提升互操作性、自动化监测与验证并减轻临床医生和医学信息学人员的部署负担。
  • 实施这些方案可加速先进MedML模型更快速、更安全的采用,确保持续性能并减少临床医生工作量,通过简化诊断流程惠及患者。
  • 文章建议将MLOps作为解决MedML部署问题的务实视角,并提出四个支柱:可用性、持续监测验证与再训练、患者隐私与数据保护、易用性。

研究设计与样本

  • 本文为框架性文章,提出MedMLOps概念并围绕四个支柱进行阐述,未报告系统检索范围或纳入文献数量。
  • 文中引用一项2024年报告调查34个医学中心,显示73%希望部署临床AI系统,仅16%有AI与数据使用的治理政策。
  • 文中引用一项对300余名数据科学家的调查,强调MLOps对需要训练、验证、监测或部署多个模型的应用至关重要。

诊断标准与关键数值

  • EUAI将医疗应用归为高风险类别,要求:明确定义的范围、有代表性且有记录的训练数据、人类监督(含可推翻AI决策)、模型预期寿命、计算需求。
  • 诊断模型验证可将MedML模型作为第二读者,若表现良好,可仅对随机抽取的小部分病例手动标注以估计性能下降。
  • 预测模型连续验证仅评估模型的真阳性率(或敏感度);高风险预测应引导确认性或更频繁的随访。
  • 连续验证应跨多个中心开展,并可作为MedMLOps附加服务集成到放射学工作流中,对随机选取病例请求标注。

临床应用与阅片要点

  • MedMLOps确保放射科医生始终使用同一模型,保证患者获得一致的临床服务。
  • 自动化框架检测MedML系统失效可降低表现不佳系统成为医学中心和患者负担的风险。
  • 自动化知情同意收集与数据去标识、策展和存储机制是保护患者隐私与数据保护所必需的。
  • 标准化MedMLOps系统与协议可降低更换MedML供应商/产品的负担,提高模型互换性与互操作性。
  • 作者指出,若连续验证发现性能下降但缺乏合适训练数据(因伦理限制或患者量低),放射科可能不得不完全放弃MedML模型,医院与供应商应提前规划。

局限性

  • 原文指出,目前没有任何商业MedML解决方案实施连续验证策略。
  • 原文指出,从监管角度看,自动选择最适合各中心的「模型池」目前尚不可行。
  • 原文指出,连续学习在放射学MedML中已有应用,但可能因医疗实践性质而受灾难性遗忘影响。
  • 原文指出,模型的迭代分支可能导致模型过多,难以管理和监测。
  • 原文指出,绩效下降检测不一定导致再训练,若缺乏适当训练数据,放射科可能不得不放弃MedML模型。
全文中译10 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2025 May 8;35(11):6828–41. doi: 10.1007/s00330-025-11654-6

引言

机器学习(ML)模型一直处于医学、特别是放射学中计算机辅助诊断系统最新进展的前沿[1, 2]。这些医学机器学习(MedML)模型是数学和计算构建体,能够从患者数据中生成诊断或计算风险评分。这些模型已在各种放射学应用中展现出显著潜力,包括疾病管理方面,如筛查[3]、诊断、预后和治疗监测[4]。它们在早期检测[5]和偶然发现[6, 7]方面显示出潜在应用。最近一篇预印本提出,MedML模型还可用于患者分诊,仅在MedML系统不确定时建议进行人工诊断[8]。其他MedML系统可以改善放射科医生的工作流程。深度学习辅助的CT[9]和MRI图像[10, 11]重建可以减少采集时间。此外,自动分割[12–14]可通过促进解剖体积量化来加速诊断,或应用于放疗治疗计划[15, 16]。与医学专业人员结合,MedML有潜力提高常规医学检查的准确性[3, 17],同时降低成本并减少工作量[15, 18–20]。

放射学中典型的MedML工作流程(图1)包括:i.患者咨询和检查后的数据收集。

使用经过训练和验证的模型,在去标识化后(如果预测发生在医疗中心之外)进行预测(或推理)。

在重新标识化后(如有必要),由经过培训的医学专家确认模型输出的结果。

与患者讨论结果或将结果应用于患者管理。

我们将这一工作流程的编排称为MedML系统,其整合一个或多个MedML模型以提供临床预测。

图1 使用MedML的医学机器学习工作流程。患者照常就诊于其临床医生并接受给定数量的检查。医生使用这些检查运行MedML工作流程,产生一个预测。临床医生随后确认并讨论来自模型的预测 查看原图 ↗

医学机器学习(MedML)部署中的障碍

尽管前景广阔,MedML的潜力难以实现。一份2024年调查了34个医疗中心的报告显示,虽然73%希望部署临床人工智能(AI)系统,但只有16%制定了关于AI和数据使用的治理政策[21]。一项关于联邦学习——即模型在多个医疗中心之间同时优化而无需集中数据——的研究强调,如果医院在预测期间无法将数据外化,则有必要建立协调的计算基础设施[22]。此外,更新数字医疗实践可能耗时较长[23]。在临床实践中实施AI工具较为复杂,因为它需要常规性能评估以及包括医疗、技术和财务团队在内的各利益相关方之间明确表达需求[24]。一项对卫生专业人员的调查强调了需要替代性和创新性方法来促进持续模型评估[25]。研究还表明,相当一部分医护人员和学生缺乏关于MedML系统的充分教育[26–31]。一项关于MedML系统采纳的定性评估反映了类似的发现[32]。

此外,正如一项针对机器学习工程师的调查所指出的[33],机器学习模型的部署具有高度实验性。当将模型从数据科学转化为现实世界中可用的模型时,机器学习工程师会积极进行实验,以理解模型的行为方式以及持续验证/调优如何影响性能。一位受访者提供了一句具有说明性的引述——“在生产环境之前,我们对模型在生产中的表现没有很好的把握。”最后,机器学习学术研究往往夸大主张并聚焦于无关的验证,通过降低可重复性和制造不切实际的期望,使研究和公共采用更加复杂[34, 35]。

上述问题并非放射学医学机器学习(MedML)所独有,但会因处理临床图像和数据而加剧,或因医学背景而加重。医学数据根据各医院特定的医学数据库系统以不同方式格式化和存储,在严格的患者保密和匿名方面增加了法律/伦理约束。这阻碍了开发一致、高性能且能够确保患者隐私的跨机构流水线,使自动化持续验证复杂化。因此,持续的数据收集和标注受到阻碍,使持续监测、验证和(再)训练更加复杂。这一点至关重要,因为协议和扫描仪制造商的变化[14, 36–39]可能影响性能。虽然是推测性的,但在MedML系统中模型再训练可能变得必要,因为机器学习模型性能随时间推移而下降[40],这一效应在MedML中也可观察到[41, 42]。

在此,我们并不试图声称临床机构没有能力实施MedML系统。相反,我们提供了一个框架——概述如下——它不仅促进MedML系统在放射学实践中的部署,而且使医学、技术、法律和财务利益相关者受益。事实上,目前没有商业MedML解决方案实施持续验证策略。

日益增长的机器学习运维(MLOps)领域

为解决影响机器学习模型开发和部署的问题,MLOps领域变得越来越受欢迎。MLOps将软件开发运维实践(DevOps;表1)应用于机器学习开发。MLOps附带额外要求:数据模型的开发(自动检查和清理数据的方式)、持续监测/验证(确保模型性能不会随时间推移而下降),以及有时自动模型再训练(如果性能降至给定阈值以下)。许多公司利用MLOps框架在银行(用于信用卡欺诈检测、贷款审批或信用评分)、零售(用于产品推荐或化妆品的自动视觉识别)和配送(预测特定时间所需的配送员工和动态定价)等领域自动化数据收集和模型服务、训练和验证[43]。重要的是,一项对300多名数据科学家的调查强调了MLOps对于组织有兴趣训练、验证、监测或部署多个模型的应用至关重要[44],正如MedML的情况一样,特别是在放射学中。

然而,实施这些平台并非易事。两个真实案例的阐述聚焦于数据集成和人工智能/机器学习(AI/ML)系统扩展,凸显了机器学习运维(MLOps)平台在部署和扩展中存在的障碍。第一个案例描述了一个提供与髋关节和膝关节置换手术相关的数据驱动患者层面风险的软件产品如何成功克服了与数据集成和协调相关的挑战。第二个案例聚焦于一个政府发起的项目如何扩展了一款负责将公民与最佳可能的公共服务进行匹配的软件[45]。他们遇到的问题是大规模数据驱动方法中常见的,并且可能与放射学医学机器学习(MedML)中的现代问题相关:数据集成(或协调)在部署期间非常费力,因为这需要将来自多个来源/格式的数据集成到数据湖(一种具有统一格式的集中式数据存储库)中,只有这样才能使机器学习模型的训练/监测成为可能。在放射学中,不同的供应商/模型具有特定的标签,指代数据预处理所需的特定参数。此外,由于扫描仪特定的伪影或被评估人群的偏移,医学中心之间的数据协调具有挑战性。

扩展挑战:该示例凸显了在芬兰为个人用户设计的应用程序在扩展方面的困难。由于它依赖于用户提供自己的数据,鼓励人们共享数据和验证样本真实性是主要障碍。例如,在医学机器学习中,收集知情同意可能很棘手,但远程医疗方法可能有助于解决这一问题[46]。在放射学中,知情同意收集对于前瞻性模型验证至关重要,但很少有中心具备能够实现大规模收集的简单电子方法。

模型部署:在模型部署期间,为模型训练组合数据源变得必要,这需要协调来自多个来源的数据或集成不同的模型。前者额外需要数据共享协议,而后者可能增加机器学习模型中的故障数量[47]。在放射学中,已经有多个用于模型部署/编排的平台,但很少有平台提供不同模型之间的整体集成。

监测问题:监测也变得复杂——监测和验证预测的负担落在最终用户身上,导致验证缺失或数据不准确。为解决医学中心中的这一问题,自动化数据去标识化、收集和组织至关重要。在放射学中,前瞻性数据收集对于模型验证至关重要,但数据收集大多是“手动”进行的:放射科医生投入时间和精力在各机构特定的数据库中收集数据。

这些问题并非机器学习运维所特有,而是说明了扩展应用程序时出现的问题。尽管如此,与开发运维(DevOps)[48]类似,数据质量、计算和模型复杂性等其他问题也可能在机器学习运维部署期间出现[49]。

表1 软件开发运维(DevOps)的定义 查看原表 ↗

医学机器学习运维(MedMLOps)

考虑到MedML开发中的技术挑战,我们建议将MLOps作为一个有根据的视角来解决与部署MedML相关的一些问题。我们将MedML与MLOps的集成称为MedMLOps(医学机器学习运维),并提出四个不同的支柱:i)可用性,ii)持续监测、验证和(再)训练,iii)患者隐私和数据保护,以及iv)易用性1(图2)。通过本文,我们展示了这四个支柱(图3)对MedML系统至关重要的原因,首先对每个支柱进行简短、有针对性的描述,以便从临床放射学的角度更好地说明其重要性:可用性。MedMLOps系统确保放射科医生始终可以使用相同的模型,保证患者始终能够从一致的临床服务中获益。

持续监测和验证确保模型在放射科医生习惯使用后不会意外失效。重要的是,拥有自动框架来检测MedML系统何时失效,可降低表现不佳的MedML系统成为医疗中心和患者负担的风险。

为确保患者隐私和数据保护,需要自动化的知情同意收集以及数据去标识化、策管和存储机制。MedMLOps框架降低了将患者数据暴露给不可信第三方的风险:这可能源于从图像归档和通信系统(PACS)检索/去标识化数据过程中的错误。如果研究人员和临床医生希望进一步开发MedML模型,MedMLOps还能保证数据易于检索和去标识化。

最后,易用性涉及放射科医生如何与这些系统交互以及实施的便捷性:通过标准化的MedMLOps系统和协议,更换MedML供应商/产品所带来的负担得以减轻。

虽然MLOps并非提供这四个支柱的唯一范式,但它特别定位为一个有能力、多样化且日益流行的领域,能够解决与MedML模型开发和部署相关的问题,同时保持临床医生、医师和患者的体验。

在继续之前,我们注意到诊断方法和预测方法之间的区别。诊断模型产生的预测可由专家快速验证。预测模型是风险模型,产生的数量与患者未来发生某种疾病的可能性相关。

图2 带有MedMLOps的医学机器学习工作流程。患者和临床医生的工作流程与典型的MedML工作流程相同。然而,MedML流水线通过MedMLOps基础设施编排匿名化、模型选择、验证、推理和可选的数据存储,这些将用于持续验证和再训练模型。传统MedML工作流程与MedMLOps工作流程之间的关键差异以粉色和紫色突出显示。 查看原图 ↗
图3 本工作提出的四大支柱如何解决MedML应用中的一些问题的示意图。四大支柱各自关注医学机器学习模型部署的一个特定方面:(i) 确保可用性可带来容错能力以及对恶意行为者的鲁棒性,(ii) 确保连续监测、验证和(再)训练可带来始终良好的性能并促进模型再训练,(iii) 确保患者隐私和数据保护可带来数据去标识化、传输和整理/组织的自动化流程,(iv) 易用性确保模型更具可互换性和互操作性 查看原图 ↗

可用性

为确保MedML模型的利用,可用性至关重要。许多MLOps框架通过两个方面来确保这一点——容错性和可扩展性。这两者取决于两种预测范式:“模型到数据”(MTD)或“数据到模型”(DTM)[51]。在MTD中,当需要预测时,模型在本地被访问(或提供服务)。另一方面,DTM涉及将数据移动到远程服务器,在那里执行预测然后返回。前者具有保护隐私的优势,但需要医疗机构拥有专用的计算资源。另一方面,后者仅要求医院具有互联网连接,但会使患者数据暴露于中间人攻击(恶意行为者在数据传输过程中访问数据)[52]或其他数据泄露风险。这些可助长数据窃取或数据篡改,导致错误的预测[53, 54]。

容错性由在系统组件崩溃或无响应时重启这些组件的机制组成,确保服务可用性。诸如Kubernetes2之类的框架能够通过云和在边缘计算场景(即计算资源稀缺时)中提供这一能力[55]。可扩展性是在计算需求增加时自动分配资源的能力。在实际操作中,MTD主要基于将模型传输到医疗中心,对可扩展性要求较低,而DTM则需要持续的网络连接,以及随着需求增加而扩展其可提供的预测数量的能力。分配过多资源会变得昂贵,而分配过少则可能导致模型可用性不可预测。

最终,可用性在数字医疗应用中被认为是重要的[56, 57],而且随着医疗系统越来越依赖数字技术,其重要性只会增加。

连续监测、验证和(再)训练

模型性能会随时间缓慢下降[40],因此需要连续监测和验证。然而,一个具体问题出现了——当将决策委托给MedML时,如何实现验证?评估模型输出的真实性需要真实标签注释。同样,训练MedML模型需要人工注释的数据。然而,如果真实标签由MedML模型生成,这可能导致模型崩溃,当模型在其他模型生成的数据或注释(即合成数据)上训练时就会发生这种情况,并导致模型表现不佳。虽然创造性的方法可以防止这种情况[58],但它对不同模型的影响程度不同[59]。

在本地层面解决这一问题,需要将诊断模型与预测模型分开考虑。诊断模型的验证可以将MedML模型作为第二读者来进行,这是放射学筛查中一种众所周知的方法,对于经验较少的临床医生尤其有用[17, 20, 60, 61]。如果模型表现良好,这一过程可能需要对一小部分随机病例进行手动标注,以估计性能下降情况(即模型性能降至内部或供应商定义的性能阈值以下)。然而,对于预测模型而言,如果这些模型取代了适当的随访和诊断,持续验证就变得自相矛盾。因此,预测模型应被视为风险模型——高风险预测应导致确认性随访或更频繁的随访。这创造了持续评估这些方法所需的数据,但需要注意的是,该验证方案仅评估模型的真阳性率(或灵敏度)。

有效的持续验证应跨越多个中心。这可以通过MedMLOps作为附加服务整合到放射学工作流程中,对随机选择的病例请求标注。这使得能够收集患者同意并促进长期性能记录保存。这可能会增加医生的工作量,因为它需要在预测后将数据引入MedML平台(尤其考虑到预测模型)。然而,MedML模型所节省的时间和成本[62]可以弥补这一点,公司应就额外劳动对医院和个人进行补偿。此外,自动化数据去标识化、收集和组织流程(如下所述)可以促进这一过程。患者自主权也应被优先考虑:知情同意应明确说明其数据是否将用于验证商业模型。

在检测到性能下降后——通常由数据漂移引起,其特征是潜在患者群体数据分布的变化[63]——可以自动或手动触发再训练[64]。这需要额外的考虑。如前所述,必须检索患者数据,并应针对随机病例子集收集患者同意。这就需要仔细平衡旧数据(在受控条件下标注)和较新数据(更接近真实世界数据)用于模型再训练[65]。

更新模型的一种常见方法是用近期数据进行微调 [66]。然而,这可能导致“灾难性遗忘”:随后使用与原始训练数据差异过大的数据进行再训练过程会导致性能下降 [67]。一些方法可以缓解这一问题 [68, 69],但持续的模型评估仍然至关重要。持续学习方法已在放射学 MedML 中实施 [70],但由于医学实践的性质,它们可能受到灾难性遗忘的阻碍(表2)。同一模型的不同版本可能同时需要,所有这些版本都需要持续验证并在必要时进行调整。虽然目前从监管角度尚不可行,但一个自动选择以最适合每个中心的“模型池”可能有助于避免灾难性遗忘的情景。MLOps 的持续集成,结合模型和数据版本管理工具(用于跟踪同一数据和模型不同版本之间的差异)[71],特别适合动态分发这些模型。然而,这种模型的迭代分支可能导致模型过多,难以管理和监控——必须在“为所有人产生输出的模型”和“具有临床实用性的模型”之间取得谨慎的平衡。

最后,在持续验证期间检测到的性能下降不一定需要再训练。事实上,如果没有适当的训练数据(由于伦理限制或患者数量少),放射科可能不得不完全放弃 MedML 模型。医院和 MedML 供应商应牢记这一点并做出相应规划。最终,所有利益相关者都应优先考虑患者安全和照护,而表现不佳的 MedML 模型与此直接相悖。

表2 灾难性遗忘的推测性示例 查看原表 ↗

患者隐私和数据保护

得益于《通用数据保护条例》(GDPR),患者隐私成为一个更加突出的关注点,因为违规行为会成为公司和研究中心的赔偿责任。通过 GDPR,对患者数据的保障措施增加或变得更加明显:数据去标识化和伦理批准/机构审查委员会豁免获得了更多关注,患者能够选择退出数据库,对数据治理(数据如何存储和分发)的关注也有所增加 [72]。此类法规更加繁琐,需要在各医疗中心分配实施资金 [73]。然而,它们对生物医学研究的影响很小 [74]。

《欧洲议会和理事会关于制定人工智能统一规则(人工智能法案)并修订某些联盟立法法案的条例》——通俗地称为欧盟人工智能法案(EUAI)——带来了关于患者隐私以及 MedML 模型应如何行为和使用的额外法规 [75]。特别是,EUAI 将医疗应用归为高风险类别,这意味着 MedML 系统必须遵循一系列要求 [75, 76]:明确界定的范围——高风险应用必须有特定用途和文档,概述预期用例和结果,以及针对潜在和可识别误用的缓解策略。

具有代表性和有记录的训练数据——模型必须使用具有代表性且记录良好的训练数据进行训练,这些数据可供监测机构访问。

人类监督——人工智能系统的设计必须不仅允许人类进行监督,还要允许人类推翻其所作出的决策。

模型的预期使用寿命。

计算需求。

欧盟人工智能法案还提到持续的模型监测、验证和(重新)训练。事实上,如果有关高风险人工智能应用范围和训练数据的随附文档得到充分更新,是可以对其进行修改的[75]。最后,这些要求连同《通用数据保护条例》(GDPR)可以阻止商业大型语言模型(LLMs)在临床中的草率部署。大型语言模型的范围界定不清(即预测下一个词或字符集,或生成被含糊描述为“有用的”或“无害的”文本[77]),并且使用未记录的数据进行训练(若无充分的基准测试,其潜在危害难以量化[78])。此外,这些大型语言模型作为应用程序编程接口(APIs)——会将敏感的患者信息外化——考虑到欧盟近期法规,其使用难以被合理化。尽管存在这些担忧,已有大量学术研究在放射学领域使用商业大型语言模型,从图像解读和诊断[79, 80]到放射学报告中的错误检测[81]。

伦理和法律考量要求患者隐私必须成为医学机器学习(MedML)的核心,尤其是在大型多中心数据集的情况下[82]。因此,隐私保护型机器学习模型日益受到重视[83],将隐私保护融入训练和预测过程。这通常涉及可逆加密方法[84, 85],但可扩展性仍然是一个挑战[86]。

使用来自多个中心的数据进行训练会因数据泄露可能性增加而引发隐私担忧。大型、安全、去标识化的集中式存储库[87]和隐私保护方法[88]提供了解决方案,但伦理问题可能阻碍其实施。去中心化学习在医学领域日益受到关注,通过联邦学习[92]和群体学习[89]在放射学中取得了有前景的成果[89–91]。

MLOps本身并不确保患者隐私。然而,MedMLOps标准可以为MedML平台配备自动化患者匿名化/去标识化和高效匿名化数据存储的工具。此外,它可以支持稳健的模型处理和 serving,将预测结果纳入可解释的报告以供临床医生验证。图像去标识化工具(针对将患者标识符写入图像本身的模态)也可以纳入MedML工具箱。

MedMLOps标准将实现与医学数据库的去中心化交互,并促进退出(opt-out)流程。事实上,将退出机制作为常规做法并告知患者,有助于回顾性和知情同意的数据再利用[93, 94]。通过扩展数据所有权方案,这可以更好地服务于最终用户。电子健康记录(EHR)是一个复杂的生态系统,即使对临床医生而言也是如此,其集中式存储可能导致数据窃取或可用性低下[95, 96]。存在不同的数据所有权模式,一些更侧重于患者权利,另一些则侧重于快速使用医疗数据。虽然患者数据所有权在大数据文献中很少被讨论[97],但一些近期的医疗数据存储/共享范式将患者视为其电子健康记录的合法所有者[96]。

易用性

MedML可用性影响临床医生与它的交互方式。MedMLOps通过改进MedML系统的开发和部署来增强这些交互。在表3中,我们从希望开发、验证或重新训练MedML模型的放射科部门的角度对此进行了强调。在该表中,我们涵盖了MedMLOps如何简化数据收集、数据策管和清洗、模型训练、验证以及模型重新训练。然而,对于开发者而言,可用性取决于数据如何与API交互[98]。

API通过标准化接口简化软件交互。命令或命令集可以定义为脚本或算法,从而创建可重复的工作流程。然而,可能存在多个API,当其中一个被更新或变得过时并需要替换时,就会产生问题。这导致医院IT人员浪费时间和资源。此外,快速发展的开发生态系统可能导致技术债务,次优的实现会阻碍维护和更新[99]。开发和/或使用一致的标准并将其整合到MedMLOps系统中可以解决这个问题。目前,已有一些用于标准化EHR通信和互操作性的解决方案[98],或用于医学图像的解决方案[100–102]。同样,一些MLOps平台提供带有“模型签名”的模型服务标准,指定预期的输入和输出[103]。然而,某些方面仍然缺失。特别是,放射学图像的预测可能取决于不同的序列和临床变量,需要不同层次的预处理。重要的是,模型和医学数据应在相同的通用系统性输入和输出规范下运行。

为解决这一问题,数据模型可能会有所帮助。数据模型关联不同的数据对象[104](医学图像、临床信息、预测)。数据模型可以通过现有标准(如医学数字成像和通信(DICOM))构建在PACS系统之上。然后,这些标准可用于创建一种系统化的方式,为预测准备数据以及进行预测存储和检索。模型推理届时只需要指定和检索特定的数据格式。数据模型在医学数据管理中并不新鲜[105]。事实上,截至2024年8月6日,MDM门户中已有超过25,315个医学数据模型3。然而,它们依赖于不同的机构,并遵循不同的数据存储和报告实践。为统一数据模型,诸如前列腺影像报告和数据系统[106]或乳腺影像报告和数据系统[107]——分别为前列腺多参数MRI和乳腺X线摄影的统一报告标准——等努力是有益的例子。

坚持采用已实施但与现代解决方案相比次优的解决方案是常见的。人们珍视自己已经拥有的产品,并且如果对自己拥有的产品投入了大量资源,就不太可能转向更好的产品(分别由于禀赋效应和沉没成本偏差)[108, 109]。组织可能受到组织惯性的影响,在面对外部变化时降低其内部变革和创新的能力[110, 111]。降低MedML替代方案之间的转换成本将最大化利益相关者的市场收益。MLOps可以强制执行标准化的MedML系统交互,确保最终用户获得一致的接口。这便于开发者在MedML提供商之间进行切换,将复杂的系统设计卸载到预先指定的标准上。

最后,关于可用性,用户体验(UX)对作为最终用户的临床医生很重要。医学软件中的UX指南是可获得的[112],但关注一般临床系统UX的研究表明这方面可以改进[113]。尽管如此,近期的工作已经研究了计算机辅助诊断方法中的UX。例如,经验较少的用户偏好使用全自动软件程序,而专家偏好更加循序渐进的过程[114]。随着已部署MedML产品数量的增加,MedML UX是一个年轻的领域,具有充足的增长空间。

表3 MedMLOps如何在单个机构中改变放射学工作流程以进行MedML的开发、验证和再训练。重要的是,这些改变是针对已经实施了MedMLOps系统的医疗中心而言的 查看原表 ↗

讨论:情境中的MedMLOps

我们引入了MedMLOps作为一个概念,但注意到其他人已经考虑并确定了MLOps在医疗保健中的必要性。例如,Wiesenfeld等人讨论了MLOps如何解决与模型在临床和医疗机构之间可转移性相关的问题[115]。其他人引入了MLOps框架。CyclOps考虑数据标准化和MedML模型的验证[116]。韧性感知MLOps侧重于抵抗对抗性攻击和域漂移作为医疗保健MLOps应用的关键组成部分[117]。FlowEHR侧重于持续验证、标准化和专家监督[118]。在一篇预印本中,Khattak等人引入了医疗保健应用机器学习(MLHOps)作为一个技术框架,侧重于标准化、互操作性、信任和减少偏差[119]。重要的是,近期的多学会立场文件强调了持续验证模型以了解性能如何变化,以及持续/本地训练模型以更好地服务于不同患者群体的必要性[119, 120]。MedMLOps促进了这一点,同时减轻了临床医生和未来MedML开发者再训练和验证模型的负担。现有文献与MedMLOps并不矛盾,并且是对本工作的补充。然而,我们注意到上述每个支柱都可以进一步扩展。

如前所述,实施MLOps系统并非易事。考虑当前的MedML产品和系统,在数据协调、计算基础设施和技术专长方面可能出现问题。关于协调,MedML系统缺乏标准化的输入和输出,并且可能无法在成像条件或扫描仪之间系统性地工作[14, 36, 37]。医疗机构必须获取计算资源(基于云或本地)并培训/雇佣擅长开发和维护MedML及MedMLOps的员工。这一不断扩大的专业网络将加强MedMLOps生态系统,确保MedML系统的持续安全性。

再训练可能进一步阻碍MedMLOps的实施。这在一定程度上从欧盟的监管角度仍不确定。欧盟人工智能法案保证,如果模型和数据文档得到充分更新[121],这在高风险应用中是一种可能性。然而,从监管角度来看这如何运作仍不清楚,导致额外的财务风险。根据医疗器械法规,软件设备(即MedML模型)可以再训练,只要这(i)不显著改变性能、预期用途或风险特征,(ii)遵循为模型批准指定的质量管理协议和上市后监督,以及(iii)有充分记录[122–124]。然而,什么构成显著改变并不清楚。

最后,我们注意到其他行动可以进一步改善MedML在临床中的应用。教育计划——无论是针对医生[26, 31, 70, 122]还是患者[123–125]——对于赋能专业人员至关重要。它们确保每个人都了解流程,并且患者能够提供知情同意。目前,公众仍然不信任临床人工智能应用。弱势群体(教育程度较低、非西方移民、女性)的不信任程度更高[126]。虽然可以理解——医学治疗历史上存在对女性、种族化个体和较低社会经济地位者的歧视[127–132]——但这可能进一步造成差距并阻止真正普遍获得医疗保健。MedML访问的民主化还应考虑全球舞台:AI/MedML产品的临床试验在地理上集中在欧洲、亚洲和北美[133]。MedMLOps可能无法完全解决这些问题。然而,MedML部署的通用框架降低了弱势地区和市场的进入壁垒。缺乏专业人员和资源的地区可能从高质量和广泛可用的MedMLOps系统中获益最多。

结论

我们定义了MedMLOps以及它如何通过使用MedML产品帮助放射科医生,连同其挑战。这些要求扩展了MLOps以解决医疗保健特定问题,通过以结构化和自动化方式系统化模型实施,实现开发商和医务人员之间的沟通。

引用

  1. de Almeida JG, Messiou C, Withey SJ, et al. Medical machine learning operations: a framework to facilitate clinical AI development and deployment in radiology. Eur Radiol. 2025. PMID: 40341975. doi:10.1007/s00330-025-11654-6
  2. 全文:PMC12559124(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12559124/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。