指南与共识技术与安全胸部乳腺CTMR乳腺X线

人工智能在肿瘤影像临床影响中的考量:AI4HI立场文件

Considerations for artificial intelligence clinical impact in oncologic imaging: an AI4HI position paper.
PubMed 文献 · Insights Imaging · 2022-05-10

AI4HI临床工作组总结五个欧盟资助项目经验,提出肿瘤影像AI研究应明确目标人群、样本量、标准与共同数据元素、数据集拆分、验证方法、参考标准和临床终点,并确保公平性、稳健性和可信性,才能在临床路径中产生实际影响。

要点

  • AI肿瘤影像研究需预先明确目标人群、样本量、数据集拆分、验证方法与临床终点。
  • AI模型应公平、稳健、可信,外部验证需使用多中心异质数据以评估泛化性。
  • 病理、分子标志物、治疗反应和患者预后均可作为AI预测的临床终点。

核心结论

  • 若有效设计、实施和验证,肿瘤影像AI工具有潜力革新肿瘤精准医学领域。
  • AI辅助解决方案作为医疗器械,应使用多中心异质数据集开发,并以影响临床诊疗路径为目标。

研究设计与样本

  • 本文为AI4HI立场文件,AI4HI是由五个欧盟资助研究项目组成的网络:Primage(GA 826494)、Chaimeleon(GA 952172)、EuCanImage(GA 952103)、Incisive(GA 952179)和Pro-Cancer-I(GA 952159)。
  • AI4HI临床工作组讨论了各项目正在研究的机器学习决策支持解决方案及AI解决方案应具备的临床考量与要求。
  • 医学影像AI研究多基于观察性、非干预性的计算机模拟研究,使用常规收集的真实世界数据(RWD)。
  • 数据集通常为回顾性收集并匿名化,训练与调优数据集用于构建AI方案,测试数据集用于内部验证(准确性和可重复性),外部验证集使用不同中心和扫描仪的数据进行最终可重复性分析。
  • Chaimeleon项目针对肺癌,目标人群为接受免疫治疗的非小细胞肺癌患者;该项目计划招募近10000例前列腺癌患者以区分低风险与高风险肿瘤。

诊断标准与关键数值

  • 乳腺X线图像先经机器学习分类器分为正常与异常,异常者再由第二分类器判断异常类型(病变、钙化或两者),随后分割模型输出感兴趣区掩膜,并训练分类模型确定BI-RADS评分和乳腺密度。
  • 乳腺病变使用BI-RADS分类系统进行特征描述。
  • Chaimeleon项目中所有诊断检查必须在诊断病理报告后2个月内完成。
  • 图像质量排除标准需在图像纳入去标识研究库前定义,可用MRQy评估分辨率、对比度、噪声或不均匀性等伪影,或用PI-QUAL评估前列腺图像诊断质量。
  • 数据协调化可采用直方图归一化和离散化、ComBat协调化或生成对抗网络及无监督图像到图像转换单元。

临床应用与阅片要点

  • AI研究应明确目标人群并覆盖与预测问题相关的整个疾病谱。
  • 应定义临床和病理诊断的标准标准,数据字典和参考定义也应用于治疗反应和临床终点。
  • 应明确数据收集的时间点及图像采集、诊断与治疗之间的时间间隔。
  • 应遵循数据最小化原则,仅收集对估计结果必要或预期有影响的数据。
  • 图像纳入去标识研究库前应定义基于低图像质量的排除标准,并制定数据策展和质量控制标准流程。

局限性

  • 多数真实世界数据元素常高度非结构化、使用非标准术语且缺乏共同词汇,阻碍多中心数据协调化。
  • 研究库内数据同质性通常是限制因素,因为带有共同数据元素标准的结构化数据仓库通常不可用。
全文中译9 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2022 May 10;13:89. doi: 10.1186/s13244-022-01220-9

要点

欧盟资助的研究项目致力于创建人工智能支持的临床决策支持解决方案。

肿瘤影像中基于人工智能的模型需要具备公平性、稳健性和可信赖性。

适当定义相关研究参数对于确保临床采纳至关重要。

基于人工智能的临床决策支持系统的临床验证阶段需要精心设计。

背景

健康影像人工智能(AI4HI)项目是由五个欧盟资助的研究项目组成的网络,目前致力于基于医学图像及相关临床和分子数据的人工智能(AI)解决方案,以改善临床实践。这些项目包括Primage(GA 826494)、Chaimeleon(GA 952172)、EuCanImage(GA 952103)、Incisive(GA 952179)和Pro-Cancer-I(GA 952159)。尽管这些项目在若干关键方面存在差异,但在利用医学图像并结合相关数据构建经过验证的AI工具以评估日常肿瘤学实践中临床事件的工作方面,可以预见一些共同的策略和架构。基本上,来自电子健康记录和PACS的数据基于定义的共同数据元素进行选择和提取,经过去标识化处理,协调至共同框架,并在AI模型被训练、调优和验证以改善临床路径之前存储在数据库和图像存储库中。在此过程中,研究人员应提取和准备数据(数据科学家)、构建AI模型(AI科学家)并设计研究以最大化临床影响(医学科学家)。

在医学影像中,AI相关研究主要基于观察性、非干预性的计算机模拟研究,通过对常规收集的真实世界数据(RWD)进行计算机模拟来完成。由于患者诊疗事件通常已结束/完成,这些观察性研究中的数据集是回顾性收集并匿名化的,且在这种事后研究招募策略下,患者、数据收集过程与AI研究人员之间不存在可能的关联。非干预性性质得到保证,因为研究人员仅在计算环境中处理AI算法的设计、实现和评估(图1)。这些研究中使用的数据来自参与医院的电子病历(EMRs)或研究生物样本库。AI4HI项目参与构建作为癌症图像及相关数据生物样本库的研究存储库。所创建的数据集包含用例,其收集由临床目标、检索数据和感兴趣的临床终点(CEPs)所定义(图2)。

这些数据集用于训练、调优和测试所开发的AI模型,以提高CEPs事件的可重复性和评估。训练和调优数据集用于构建AI解决方案,而测试数据集用于内部验证分析(准确性和可重复性)。构建来自不同中心和扫描仪数据的外部验证集,并用于最终的可重复性分析,以确保所得模型的稳健性。由不同中心构建的数据集构成外部临床验证的基础[1](图3)。

以下是AI4HI项目中当前正在研究和实施的人工智能模型和机器学习(ML)算法的指示性示例。研究人员正在一个开放式云平台上开发基于人工智能的模型,以支持两种儿童癌症(神经母细胞瘤和弥漫性内生性脑桥胶质瘤)临床管理中的决策。该项目利用诊断和随访时间点的标准护理MR和CT图像,连同临床和分子数据,用于预测相关临床终点,如总生存期、进展/复发时间和治疗反应。此外,特别强调通过构建基于无监督学习技术(聚类)的图像质量控制工具来实现图像准备的自动化,从DICOM元数据创建机器学习模型用于MR序列标记,以及训练卷积神经网络(CNN)用于肿瘤和邻近器官的自动分割。

关于乳腺癌,乳腺X线摄影图像首先通过一个机器学习赋能的分类器,该分类器使用对照和异常图像及相关临床和病理数据进行训练。如果被分类为异常,则训练第二个分类器以确定异常类型(病变、钙化或两者兼有)。根据结果,不同的基于人工智能的分割模型寻找各自的相关感兴趣区域并产生输出掩膜。将训练额外的分类模型以确定BIRADS评分和乳腺密度,这些特征在患者管理中尤为重要。AI4HI针对乳腺癌的机器学习解决方案还处理乳腺MR图像以分割和分类病变,将输出与其他临床数据结合用于精确的疾病分期。

其他挑战包括开发用于数据去标识化、策展、注释、真实性保护和图像 harmonization 的人工智能驱动流程。特别是,图像 harmonization 深度学习(DL)算法的开发基于生成对抗网络(GAN),其中来自不同制造商的图像被转换为参考图像,以及自监督学习技术,其中原始图像和简单变换被用作基于CNN的自编码器的输入数据,然后训练该自编码器以重建原始图像的 harmonization 版本。

经过验证的基于人工智能的解决方案的应用对于精准医学为医生提供可信赖的临床决策支持系统(CDSS)至关重要[2]。对特定临床路径产生影响是由与标准诊疗相比的诊断增益以及算法事件预测与最终金标准之间的强相关性来定义的。确保几个关键方面,如明确界定技术偏倚和临床验证阶段,以及通过预测推断的强度评估影响,对于成功至关重要。为确保临床使用,应明确确定目标人群、数据集划分、验证方法、参考标准和临床性能指标[3]。此外,必须仔细选择临床终点(CEPs),无论是诊断性疾病行为、治疗反应,还是患者预后或结局[4–7]。在人工智能辅助工具作为医疗器械的领域,其临床接受需要有已证明的能力将计算解决方案外推至多中心研究和异质性数据集。

我们的目标是展示我们的AI4HI项目共同拥有和设想的人工智能研究的主要步骤,包括额外的理想验证步骤,如大规模外部验证,这将在研究原型实际部署之前成为强制性要求。任何针对肿瘤影像学特定临床影响的已开发、已验证或已部署的人工智能解决方案都必须监测以下特性:公平性和无偏性、通用性和标准化、稳健性、可靠性和可信性、可追溯性和监测性,以及可用性和可迁移性方面的公平性[8]。

图1 设计因果推断:逐步观察性病例对照研究 查看原图 ↗
图2 临床终点(CEPs)与观察性肿瘤学研究中所获数据的类型 查看原图 ↗
图3 从数据招募和数据集创建到数据可视化的流程图 查看原图 ↗

目标与初步考量

涉及癌症影像数据的基于人工智能的研究的主要总体目标是通过向医生提供疾病侵袭性、预期治疗反应和最终临床结局的估计或预测,从标准诊疗图像及相关临床-分子数据中提供决策支持工具[9]。应考虑数据最小化方法,因为根据数据隐私和法律问题,除非对所设计的研究至关重要,否则不应保留所收集的数据[10–12]。

目标人群的选择取决于主要研究目标和临床输出。为使人工智能模型具有可推广性,所选人群应代表临床疾病谱及相关临床输出。一旦确定了目标人群,为确保最大公平性和通用性,重要的是在开发预测模型之前确保招募足够大的样本量。所需样本量将根据若干因素而变化,如用于表征目标人群的预测因子(变量)数量、结局类型(连续性、二分类或时间-事件)和每个变量的事件数(例如,不同类别的患者)以及模型的预期预测性能[13]。

通过数据数字化以及与医学图像的整合,公共卫生数据登记处的持续改进正在促进在真实世界环境中获取真实世界数据(RWD)。目前,纳入电子病历(EMR)的临床数据、病理和影像报告及图像包含大量数据,可整合到临时定制的数据仓库中。提取后,建立研究数据湖和影像存储库。遗憾的是,大多数RWD元素往往高度非结构化,使用非标准术语且缺乏通用词汇表,妨碍了多中心数据协调[14]。为部分解决这一局限性,处理复杂数据的多中心项目规定了通用数据元素(CDEs)模型,其中包含存储在不同中心的简洁、统一结构化的信息,将使不同数据提供中心管理的不同信息系统之间能够标准化数据交换。这些CDEs包含待登记临床数据的标准单位和定义,用于特定临床目标和终点,促进创建通用数据存储库,这是所有AI4HI项目的主要目标之一[15]。

以下特征可作为肿瘤学中观察性、分析性和计算机模拟预测性研究的示例:研究的观察性性质。研究人员获取并记录事后发生的肿瘤现象,并将其与正在评估的不同结局的关联进行记录(例如,用于估计总生存期的肿瘤影像组学)。

研究人员对所研究个体的临床过程没有任何主动干预,因为暴露和终点在数据收集开始之前已经发生。

观察性研究主要为病例对照研究,研究者仅评估特定计算机化表型暴露与疾病终点之间在时间维度上的关系强度[16]。

受试者特征、背景、暴露、时间、混杂因素和交互作用在数据收集之前已定义。

招募和分析阶段定义为对已知终点的事后分析。

相关事件的数据从现有健康记录中收集,并在临床事件结束、终点已知且数据去标识化后进行分析。

预测模型在大型存储库的数据集上进行计算机模拟构建、测试和验证,将多中心提取的影像组学信息与相关分子和临床数据关联起来。

在存储库内,数据同质性通常是限制因素,因为具有通用数据元素(CDEs)标准的结构化数据仓库通常不可用。

收集的数据经过仔细的多层次(临床、分子、影像)去标识化后以聚合格式使用,以确保患者隐私并符合《通用数据保护条例》(GDPR)。

数据作为去标识化病例存储在影像存储库中,研究人员无法对患者的病史进行任何干预。出于法律原因,ID对应表仅在本地层面保存。为公共利益归档数据、科学研究或其他统计目的,允许处理去标识化数据。

由于研究是基于回顾性收集的真实世界数据(RWD)进行的,数据提供机构的伦理委员会通常会豁免患者知情同意(所有AI4HI项目均如此)。然而,如果在病例结束前前瞻性收集数据,则通常需要患者同意。获取高质量大型数据集用于训练和验证,对于具有临床相关性的AI解决方案是必不可少的。

使用医学影像的临床可接受AI解决方案核查清单

在旨在对真实世界场景产生临床影响的AI研究中,应明确界定一些相关条目。这些包括:明确界定的目标人群。目标人群应涵盖与被预测的具体问题相关的整个疾病谱。示例:在Chaimeleon项目(评估肺癌)中,目标人群包括诊断为非小细胞肺癌并接受免疫治疗的患者。

充分的样本量计算。需要确定获得可靠结果所需的最小病例数,包括健康病例与病理病例之间的最佳平衡[17]。示例:Chaimeleon项目计划招募近10,000名前列腺患者,以提高区分低风险与高风险肿瘤的精确性和可靠性,并为适当的治疗或随访提供依据。

临床和病理诊断考虑的标准准则。数据字典和参考定义也应适用于治疗反应和临床终点。示例:使用指南推荐的标准化放射影像。例如,在乳腺癌中,肿瘤和淋巴结的双侧乳腺X线摄影和/或超声检查是普遍做法。病变采用BI-RADS分类系统(乳腺标准影像报告和数据系统)进行表征。

明确规定的数据采集时间点。癌症患者采集的影像通常处于疾病进程中的不同时间点,如诊断时、局部区域治疗、新辅助治疗、手术、辅助治疗、放疗、复发或再发、末次随访和死亡时。应界定影像采集、诊断和治疗之间的时间间隔。示例:在Chaimeleon项目中,所有诊断检查必须在诊断病理报告后2个月内完成。

应采集的最低数据量。为遵循数据最小化原则,仅应采集和整合必要的或预期会影响所研究估计结局的数据。示例:直接影响诊断、治疗或随访风险分层的变量。

相关合并症。在适当情况下,应纳入与研究疾病并发且可能对测量输出产生额外影响的患者状况。示例:高血压、糖尿病、肥胖症和其他原发癌症。

测量的标准和单位。所有定量变量及其单位应标准化,如有多个单位可选,应选择最国际化且最常用的单位。示例:肿瘤大小使用厘米或毫米,或肿瘤患者在治疗反应研究中使用卡氏功能状态评分[18]。

图像质量标准。在图像被纳入去标识化研究数据库之前,必须定义基于图像质量低下的排除标准。必须定义数据管理和质量控制的标准程序,包括针对提交至数据库的低质量临床、病理和影像数据的处理方案。示例:近期已开发出若干解决方案以帮助审查MR数据集,如MRQy用于评估分辨率或对比度的变化、噪声或不均匀性等成像伪影[19],或PI-QUAL一种用于评估图像诊断质量的前列腺专用工具[20]。

纳入的源图像与提取数据的 harmonization(协调统一)。为尽量减少与不同中心、机器和采集协议相关的偏倚,源图像和提取数据均必须归一化至一个共同框架以确保可重复性。示例:已开发的具体程序如直方图归一化和离散化[21]、ComBat harmonization(ComBat协调方法)[22],或生成对抗网络与无监督图像到图像转换单元[23, 24]。

海量数据提取与数据互操作性。示例:推荐使用观察性医疗结果合作组织(OMOP)[25]作为通用数据模型,并结合肿瘤学和影像学扩展的定义。

数据库的安全与隐私方面。鼓励特别关注去标识化和可追溯性流程。可追溯性通常被认为是可信人工智能的关键要求,与“需要完整记录人工智能模型生产过程中涉及的数据、过程和产物的来源”相关[26]。

用作AI模型输入的主要变量

以下是用于开发和训练AI模型的常见输入变量:人口学 诊断时或临床相关事件时的年龄:以年为单位,并进一步详述主要诊断和治疗措施之间的时间间隔。

性别:患者的生物学性别。

临床-分析性 肿瘤分期:对患者体内癌症数量和扩散范围的标准化描述,主要包括肿瘤大小、数量、位置、血管侵犯、淋巴结存在情况及远处转移存在情况。

患者体能状态:评估患者在没有他人帮助的情况下在日常生活中执行某些活动能力的评分。示例:ECOG体能状态评分。

循环分析生物标志物:可从血液、尿液或软组织样本中准确且可重复测量的 biological state or condition(生物学状态或状况)的指标。通常用于评估患者状态及对特定治疗干预的反应。示例:前列腺特异性抗原(PSA)或癌胚抗原(CEA)。

合并症:患者所具有的、可能影响结局的除主要关注疾病以外的其他疾病。示例:糖尿病或动脉硬化。

病理学(通常用作诊断的参考标准) 肿瘤类型:基于细胞来源或组织学类型的病变分类。

分级:基于癌细胞和组织的异常程度以及癌细胞可能生长和扩散的速度对肿瘤进行的描述。

分期:关于癌症范围的描述,涉及原发肿瘤部位和大小、对局部组织和结构的侵犯程度、向区域淋巴结的扩散以及是否已转移至身体其他区域。

分子标志物:其确切性质和表达水平可被准确且可重复测量的DNA或基因序列。

免疫组织化学测定:使用基于抗原-抗体反应的检测方法,对目标组织中特定蛋白质的分布进行可视化并测定其含量。

突变谱:使用下一代测序或微阵列技术检测肿瘤中存在的分子改变。

液体活检:对循环肿瘤来源物质(如肿瘤DNA或RNA、肿瘤细胞、细胞外囊泡或肿瘤驯化血小板)进行非侵入性分析。

影像源图像:用于诊断和介入放射学目的的身体不同部位的放射学图像。

影像组学:使用数据表征算法从放射学医学图像中提取和增强体素级特征的定量方法[27]。

动态建模:使用同一患者的时间依赖性断层图像的 workflow,重点关注图像特征随时间的变化,并对其进行量化以用于诊断、治疗反应或预后评估。

深度影像组学:使用CNN对放射学图像中的纹理特征进行分析和分类。

合成图像或数据集:人工生成的结果,用于扩充和增强训练集,以及预防偏倚(性别分布、特征分布)[28]。

标注:可以是框(如围绕恶性肿瘤的边界框)、轮廓/分割(如围绕肿瘤的详细3D绘制)或点/圆点(如在乳腺X线摄影中绘制在病变上的点)。

治疗信息(若要将给定模型训练用于治疗反应预测则需要)手术:与整个器官相关的切除范围的手术类型(如全乳切除术或肿瘤切除术),以及所使用的器械(如腹腔镜、立体定向、冷冻手术、内镜)

用于反应预测的化疗、免疫治疗和放疗方案。

所实施治疗方案的顺序(新辅助治疗、手术、辅助化疗、免疫治疗、放疗)。

需定义为AI预测输出的主要变量

AI解决方案必须解决特定临床问题、改善既定临床路径或促进靶向临床决策。从临床角度来看,肿瘤影像学相关AI工具实施中应优先考虑的一些期望输出如下:表型分析——肿瘤侵袭性生长速率:肿瘤体积倍增所需时间。

直接肿瘤侵犯:由于细胞间黏附能力丧失、细胞-基质相互作用改变从而改变细胞运动性,或获得使肿瘤细胞能够侵犯周围基质的迁移能力,肿瘤细胞对周围基质的侵犯。

淋巴播散:肿瘤细胞是否存在于原发肿瘤附近的区域淋巴结中,并最终存在于身体其他部位。

转移:肿瘤细胞已从原发肿瘤扩散至身体不同部位并形成新肿瘤(继发性和三级病灶)。区域转移是指细胞已扩散至原发部位附近,而远处转移定义为原发肿瘤远处的器官或淋巴结已受累。

肿瘤异质性:同一类型肿瘤在不同患者之间或同一患者体内的遗传和表型差异,以及特定肿瘤内不同癌细胞之间的差异。

影像基因组学:癌症影像特征与基因组学(基因表达模式、基因突变及其他基因组相关特征[29])之间的相关性(若存在)。

治疗反应预测局部区域治疗反应:对局部治疗(通常为消融、栓塞或放射栓塞)的反应及治疗后治疗反应的评估。

新辅助治疗反应:对无转移患者手术前给予的全身治疗的反应。当出现其他类别(部分反应、稳定反应或进展)的完全病理缓解时,收集该信息非常重要,因为其意味着预后显著更好。

辅助治疗反应:对无转移患者手术后给予的全身治疗的反应。

转移性治疗反应:对转移患者给予的全身治疗的反应。

手术反应:对局部治疗的反应及手术后治疗反应的评估。

放疗反应:对局部治疗的反应及放疗后治疗反应的评估。放疗可用于根治性目的以完全根除肿瘤或局部控制,也可用于姑息性目的以减缓肿瘤生长和控制症状。

新型或靶向治疗(单药或联合)反应

副作用和毒性效应:与治疗相关的不良事件的发生。

临床终点降期:通过抗癌治疗使原发疾病或转移灶和/或肿瘤淋巴结累及的体积和范围缩小。

肿瘤消退分级:确定接受术前治疗患者残留肿瘤的数量。

切缘受累状态:确定接受手术患者的手术切除切缘是否有残留肿瘤。

总生存期:从诊断日期或癌症治疗开始日期至死亡日期的时间长度。

肿瘤无生存期或无反应生存期:患者初次治疗后无该癌症任何体征或症状的时间长度。

无进展生存期:治疗期间和治疗后疾病仍存在但患者未恶化的时间长度。

至进展时间:从诊断日期或治疗开始日期至疾病开始恶化或扩散至身体其他部位的时间长度。

客观缓解率:在给定时间内对治疗有部分或完全缓解的患者百分比。

完全缓解率:在给定时间段内通过病灶完全消失确定的对治疗有完全缓解的患者百分比。

临床验证

所有AI4HI项目将遵循的主要临床验证步骤主要涉及探索来自真实世界数据的大型存储库的模型。本节讨论在开发的AI工具准备好用于临床实施之前应考虑的一般临床验证过程。任何基于AI的临床决策支持系统(CDSS)的临床验证旨在确定该工具在现实生活中的部署潜力,以及它通过支持临床医生改善患者结局可能对日常临床实践产生影响的程度。从研究到临床实践的转化可以通过使用内部和外部患者队列适当规划和实施的研究来实现。临床适用性应通过在跨供应商系统、场强(针对MRI扫描仪)和机构的稳健验证来促进[30]。

这种临床验证应包括回顾性数据和前瞻性患者验证步骤。在回顾性验证中,算法的输出针对独立临床决策、参考标准和/或“金标准”进行验证[31]。在前瞻性验证中,一名或多名临床医生在查看算法输出后前瞻性地做出临床决策[31–34]。然后该决策针对独立临床决策进行验证,调查是否存在引入决策偏倚的可能[32, 35](图4)。例如,前瞻性验证可以评估产生肿瘤或其他感兴趣区域轮廓的算法(如用于放疗计划),其中输出在前瞻性评估时可能被认为“足够好”,而在回顾性评估时可能揭示差异。

改良的“图灵测试”[36]也可用于进一步的临床验证。在此过程中,来自临床专家和所验证算法的若干输出被汇总并呈现给一位盲法专家,其任务是识别这些输出是由同事还是算法生成的[37]。以类似方式,可以评估外部人类读者对自动或人类生成输出的偏好。此外,这种验证可能涉及基于AI的CDSS对临床医生决策的影响,特别关注经验丰富和经验较少的临床医生在AI使用上的差异,并识别将基于AI的CDSS整合到临床实践中的潜在益处和缺点[38]。或者,可能需要对所评估AI工具的预期用途和人群进行新的定义[31, 33]。

接下来要遵循的步骤将是以针对性对照试验形式进行的外部比较研究,使用大规模、多中心、多供应商的标准化数据集对所开发算法进行相同诊断任务的评估,这些数据集在之前的开发阶段中算法未曾接触过[31]。存在一个问题是,此类验证应由开发该工具的研究团队发起和/或资助,还是应有外部激励措施来验证新开发的工具[30]。这是一项大规模倡议,最好应由客观的外部研究团队或隶属于监管机构的组织在大型数据集上进行,以确保对不同开发者算法的最高质量外部验证。

外部临床评估除了使用受试者工作特征(ROC)曲线下面积、灵敏度、特异度、假阳性和假阴性率以及模型置信水平进行标准准确性评估外,还应解决AI工具对患者结局的影响[31, 33, 35]。与药物开发过程类似,AI工具应进行前瞻性计划、预注册的诊断性试验,具有明确定义的研究人群特征,以患者临床结局为主要结局,以准确性指标为次要结局[31–33, 35, 39]。临床试验应确保有经验和经验较少的医生参与,以在真实世界数据情况下对照“参考标准”评估AI软件作为医疗器械(SaMD)的性能。在此阶段,应评估和处理不同类型的偏倚,以确保在代表性不足的亚组人群中具有适当的性能[33, 35]。

最后,还存在一个问题,即当前使用的验证方法对于从新数据中持续学习的“开放”AI医学决策支持工具的纵向价值(相对于美国食品药品监督管理局(FDA)定义的“锁定”AI算法)[30, 40]。这种“开放AI算法”方法将需要设计临床效用的再评估策略[30]。它还将要求算法具有可解释性,并且其决策具有长期可追溯性[31]。

图4 真实世界数据项目中主要临床验证步骤示意图 查看原图 ↗

临床应用中的伦理和可用性考虑

可信赖、经过验证、伦理正确且可用的AI解决方案与贯穿设计、开发、评估以及最终实际应用和监测全过程的人类监督相关联。毫无疑问,医生需要始终掌控临床决策,在AI将如何支持临床决策的相关事项中拥有首要发言权。临床医生需要参与其中并接受培训,以正确完成这项任务。

目前关于AI在临床实践中的潜力、优势和劣势存在几种误解,例如过高或过低评价AI工具、对AI算法旨在支持的诊断任务过度概括、缺乏对AI工具优势和/或局限性的认识、医疗保健专业人员不熟悉支持医疗实践的IT技术,以及由于缺乏时间和资源而难以将其整合到医疗实践中。即使能够为基于AI的临床决策支持系统(CDSS)定义理想的验证框架并将其应用于特定的AI-based CDSS,与AI相关的误解仍可能是医疗实践中错误且可能有害地使用AI的原因。这是因为AI能够实现的目标以及它能够支持医疗实践的程度始终存在局限性。特别强调针对使医学专家熟悉AI工具并支持他们充分理解其优势和局限性的行动,例如培训活动。这是确保人类始终处于掌控之中、并充分利用AI工具的全部潜力做出知情决策的唯一途径。

目前,当基于人工智能的系统部署于真实临床环境并出现故障或产生意外结果时,问责问题仍然悬而未决且亟待解决[41]。该问题影响任何支持决策的算法应用,在伦理、社会和法律界均引发讨论[42]。

另一个需要关注并与伦理和法律专家进一步合作研究的方面是,在被研究队列的一个亚组中诊断出先前因缺乏适当工具而未获诊断的新健康问题的情况。由于去标识化的技术问题,数据方面的人工智能研究人员不应对患者承担直接责任,唯一可预见的解决方案是通知主管医生。这种情况下可能存在若干临床和法律问题,例如:(1)患者死于未诊断的疾病,(2)疾病在未被发现的情况下进展,(3)疾病因发现较晚而进展,或(4)疾病因发现较晚而未能得到治疗。随着人工智能算法变得更加精确和敏感,例如能够基于细微图像特征预测未来乳腺癌的工具[43],这些方面需要进一步阐述。这些临床问题关系到医生及其为患者提供最佳可能照护的义务。

另一个重要的伦理考量与将用于人工智能训练的训练数据集可能存在的局限性有关,该数据集必须尽可能充分地代表各种人口群体以避免固有偏倚[44]。当这不可行时,供应商应明确告知临床用户对性别、种族、年龄或任何其他差异的潜在偏倚。在临床实践中使用人工智能算法的从业者需要寻求此类信息,并确保在解释其结果时考虑到人工智能算法的任何固有偏倚。

设计清晰性和偏倚控制是发布涉及医学数据和图像的人工智能解决方案时需要报告的关键项目。需要检查的一些最相关方面包括:关于临床问题的科学背景。

关于目标人群和研究样本量的研究设计。

患者招募和数据提取。

数据质量分析。

数据整理和图像准备。

数据匿名化。

数据标注。

数据集划分。

参考标准定义。

人工智能模型、训练程序和超参数。

用于验证的指标。

模型稳健性和可解释性。

拟在日常临床实践中的用途。

结论

在肿瘤影像学中设计基于人工智能的研究时,对几个关键方面进行恰当定义对于确保在当前临床实践中产生尽可能高的影响至关重要。这些方面包括与正确选择目标人群、样本量、临床终点以及恰当定义作为人工智能模型输入和输出的临床变量相关的因素,同时确保安全性和患者隐私以符合《通用数据保护条例》(GDPR)。人工智能辅助的医学解决方案需要稳健且值得信赖,并具备设计良好且执行到位的临床验证阶段。在本文中,我们讨论了与肿瘤影像学中基于人工智能的研究相关的几个关键方面的重要性,为通常开展的研究类型提供了清晰的定义,并提供了一个通用检查清单,用于在执行真实世界数据阶段和真实世界验证阶段时遵循,从而在精准肿瘤医学中产生最终影响 [45]。

引用

  1. Marti-Bonmati L, Koh DM, Riklund K, et al. Considerations for artificial intelligence clinical impact in oncologic imaging: an AI4HI position paper. Insights Imaging. 2022. PMID: 35536446. doi:10.1186/s13244-022-01220-9
  2. 全文:PMC9091068(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9091068/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。