人工智能陷阱与不应做的事:减轻人工智能中的偏倚
该文综述了人工智能在医疗及影像应用中产生偏倚的已知陷阱,按问题定义、数据集选择与整理、模型训练与部署、部署后评估的生命周期框架讨论偏倚来源,并提出在更大医疗企业部署背景下减轻偏倚的策略。文中引用脓毒症模型、COVID-19预测模型等实例说明偏倚可贯穿全生命周期,并强调偏倚是人与机器因素共同作用的结果。
要点
- 偏倚可出现在人工智能全生命周期各阶段,是人与机器因素共同作用的结果。
- 影像人工智能模型可能学习机构来源等非临床特征而非疾病特征,即捷径学习。
- 胸片可被模型学习到种族、保险、年龄等隐藏信号,增加偏倚缓解难度。
核心结论
- 偏倚贯穿人工智能问题定义、数据选择与整理、模型训练与部署及部署后监测全生命周期,需在更大医疗企业部署背景下优先评估与减轻影像应用偏倚。
研究设计与样本
- 本文为更新综述,按人工智能生命周期框架梳理已知偏倚陷阱并讨论减轻策略,未报告系统检索范围与纳入文献数量。
关键影像表现/征象
- 胸片可预测心脏病相关ICD-10编码,准确率高于0.76。
- 胸片可预测保险、自报种族和年龄等人口学信息,以及生物学年龄、心脏病结局和1、3、5年医疗费用。
- 利用Roentgen视觉语言基础模型生成的「带胸管气胸」与「不带胸管气胸」图像经目视检查可见胸管断裂、无胸管图像未见明显气胸。
诊断标准与关键数值
- 密歇根医学院测试中,Epic脓毒症模型仅识别7%被临床医生漏诊的脓毒症患者,67%脓毒症患者未被标记,同时对18%住院患者生成警报。
- FDA截至2021年11月清关的151个影像人工智能产品中,64%使用临床数据验证,4%报告患者人口学信息,5%报告机器规格,34%有多机构验证。
- 86项外部验证研究外部验证中位240例,约47%为阳性病例。
临床应用与阅片要点
- 健康公平考量应从数据收集与整理开始并延续至部署后监测,而非仅在模型开发与验证阶段进行零散偏倚审计。
- 作者强调人工智能开发团队需要认知多样性,并需与临床医生、患者和社区共同确定偏倚对模型意味着什么。
- 在联邦学习中,当本地模型性能重要时应优先个性化联邦学习模型如FedBN,而外部性能则使用FedAvg。
- 数据集类别不平衡可采用对多数类降采样、对少数类升采样及图像增强等技术,但这些技术不解决采样选择偏倚,升采样和降采样可能加重偏倚。
局限性
- 偏倚缺乏统一定义,且偏倚评估常为事后反思而非设计交付物。
- 现有数据集地理区域有限,多数缺乏评估模型亚组性能所需信息。
- 对某些患者群体而言即便大型数据库也有限,如UK Biobank仅6%为非欧洲血统。
- 部分国家禁止收集种族和族裔信息。
- 模型可解释性存在局限。
全文中译8 节 · 点击展开
引言
尽管人工智能(AI)在改善患者诊疗方面展现出前景与希望,但已有若干AI系统在真实世界中失败的记录。除了观察到模型部署后因数据分布差异导致整体性能下降之外,亚组评估还显示不同群体的性能水平存在差异,尤其是对于历史上服务不足的患者群体表现较差。1,2 这些个体由于种族、民族、社会经济地位、地理因素和语言障碍等多种因素,曾经并持续在获得优质医疗服务方面面临系统性和持续性的障碍。医学研究中的偏倚被定义为在抽样或检测中,有意或无意地通过选择或鼓励某一结果或答案而非其他结果或答案,从而引入系统性误差。3 已有多篇文献详细阐述了(主要为统计学)偏倚的类型,更重要的是,如何减轻其对研究结论的影响。4–6 近年来,随着AI和机器学习的引入,人们对(同样主要为统计学)偏倚识别7,8以及辅助减轻偏倚的工具9再次产生了兴趣,尤其是在我们迈向AI系统在各种医疗环境中真实世界实施的背景下。
由于缺乏对偏倚的统一界定10;侧重于偏倚的统计学定义和偏倚的技术中心定义而未让患者和社区参与;以及对偏倚的事后反思而非将其作为设计交付物,减轻这些偏倚的努力具有挑战性。11 模型的偏倚审计往往零散——通常仅在模型开发和验证期间进行;健康公平考量应始于数据收集和整理,并贯穿部署后监测。12 Epic(TM)脓毒症模型曾被代表数百家医院的180家客户使用,其失败及随后撤市为跨谱系研究人工智能失败提供了模板。13,14 在Michigan Medicine测试时,该算法仅识别出7%被临床医生漏诊的脓毒症患者,尽管对18%的全部住院患者生成警报从而导致警报疲劳,却未能标记67%的脓毒症患者。在因该发表(而非某些计划中的部署后评估和监测)导致随后对模型进行全面 overhaul 之前,观察到模型的一个输入变量是医疗服务提供者开具的抗生素医嘱——这是一种数据泄漏,因为此时已在考虑感染。从脓毒症用例中还注意到许多其他教训,包括绕过监管监督(由于将该算法打包为非器械决策支持工具)、缺乏针对不同人群差异和医院特定实践模式的校准、缺乏对专有算法进行错误和偏倚检查的访问权限,以及缺乏模型部署后真实世界评估流程。在部署远程临床医生监测算法输出的情况下,持续中断(高达18%的住院患者生成警报)导致病区护士遮盖摄像头以限制工作流程中断。13,14 一项关于CT扫描和胸部X线(CXR)COVID-19预测模型的系统综述总结了类似结果:由于方法学缺陷以及源于小训练数据集、数据集变异性和非影像数据整合有限等的潜在偏倚,其临床效用有限。方法学缺陷很可能反映了开发团队缺乏多样性,未能让临床医生、数据分析师和患者倡导团体在人工智能全生命周期中并肩工作。15
影像处于住院和门诊照护交付的中心,触及绝大多数患者。此前的文章在孤立于更大医疗照护系统的情况下审视了放射学图像中的偏倚。在本文中,我们提供关于导致人工智能偏倚的已知陷阱的最新综述,并在更大医疗企业中人工智能部署的背景下讨论减轻这些偏倚的策略。我们通过将人工智能开发和部署生命周期框架化为问题定义、数据集选择和整理、模型训练和部署以及部署后评估和监测来描述这些陷阱(图1)。我们强调,偏倚渗透于生命周期的每一步,并且是人、机器和系统因素的后果。
定义任务时的人工智能陷阱
在设计人工智能时,偏见原则往往被考虑得太晚,甚至根本未被考虑。即使与次优医疗相关的属性对神经网络代理隐藏,健康结果预测仍可能存在偏见。例如,Obermeyer等人证明了一种已用于数亿门诊患者的商业预测算法中存在种族偏见。该算法本应根据患者发生并发症的可能性来识别可能从转诊至病例管理团队中获益的患者。与病情负担相似的白人患者相比,该算法转诊的黑人患者更少。1 在此案例中,算法开发者未在模型输入中使用种族变量以避免偏见。然而,通过使用医疗费用作为复杂护理需求的代理变量,模型从一个黑人患者相比匹配的白人患者更不可能寻求和/或获得护理的系统中进行了学习。1
一个类似的例子是用于预测住院时长的算法,该算法用于咨询病例管理者,以便对预测住院时长较短的患者进行管理以最大化周转率。16 该算法(在部署前已被放弃)学习到来自较不富裕邮政编码的患者可能有更长的住院时间,并且可能不会从病例管理促进早期出院的措施中获益。人工智能开发者必须始终考虑他们所预测或优化的目标结果的代理变量是否可能反映系统性偏见。除医疗费用外,此类指标的示例还包括决策输出,如再入院17或患者失约。特别是社会科学家,可以帮助解释所选指标中可能嵌入的系统性偏见。在人工智能背景下定义研究问题或任务时,选择一个无偏见的特征或结果,并在各利益相关方之间对其有精确的共识定义,是至关重要的。人工智能开发团队中对认知多样性的需求再怎么强调也不为过。
数据获取和收集中的陷阱
数据中的偏见是算法结果存在偏见的主要来源之一。18,19 全面的人工智能数据集有限且整理成本高昂。数据集开发中的问题包括患者多样性有限、分辨率和缺失的临床混杂因素有限、注释质量有限或欠佳,以及缺乏数据标准和最佳实践以确保质量和可重复性。现有的人工智能数据集是从有限的地理区域获取的;大多数缺乏评估模型亚组性能所需的信息。图像采集和处理中的差异可能导致“捷径”,即模型从非临床特征中获取线索。例如,严重急性呼吸综合征冠状病毒2(COVID-19)预测模型已被证明学习的是图像来自哪个机构,而不是与基础疾病相关的特征。15 Zech等人展示了类似的发现,即模型通过学习胸部X线摄影(CXR)来自何处来预测肺炎。20 为克服这一混杂因素,必须在改进模型训练、评估和可解释性方面取得进展。21
对2015年至2019年间六个学科已发表的人工智能文章的综述发现,用于影像人工智能模型的数据主要来自三个州——加利福尼亚州、马萨诸塞州和纽约州,而34个州没有任何数据。22 尽管已有从“数据荒漠”构建数据集的举措,但目前人工智能模型仍是在从三级医疗学术机构收集的数据上进行训练的。对23个胸部X线(CXR)数据集的综述发现,尽管大多数报告了年龄和性别,但只有8.7%报告了种族或民族,4.3%报告了保险状况。23 即使是像英国生物样本库这样代表50万名患者前瞻性队列的大型数据库,对某些患者群体也有限制:该队列中只有6%为非欧洲血统。24 目前,很难在这些数据集上进一步评估模型偏倚。事实上,英国生物样本库中只有8%被用于研究,且其中大部分研究集中于欧洲血统的患者。需要注意的是,在一些国家,收集种族和民族等信息是被禁止的。25,26
近期研究表明,人工智能模型可以学习人类专家“看不见”的特征。例如,CXR可用于预测与心脏病(包括传导异常)相关的ICD-10编码,准确率高于0.76。27 更令人担忧的是,这些模型会学习健康社会决定因素(如区域剥夺指数)的信息,并将其编码在CXR上。CXR还可用于预测人口学信息——包括保险、自我报告的种族和年龄。28,29 CXR也已被用于预测生物学年龄、心脏病结局以及1年、3年和5年的医疗费用。30 尽管人工智能模型在检测这些信号方面表现出令人惊讶的性能,但模型可解释性存在局限。为什么这令人担忧?图像中的“种族信号”(或总体上的社会地位)可能被用于指导临床预测和优化,尤其是在这个多模态建模时代。31 即使图像被修改到几乎无法被感知为医学图像的程度,这些模型仍表现出这种卓越能力,这一事实意味着减轻偏倚充其量也将是困难的。
这些在影像学之外持续显现的偏倚背景下的“隐藏信号”构成了挑战,因为偏倚在人工智能生命周期中甚至在建模步骤之前就已存在。例如,偏倚存在于谁接受特定类型的影像检查以及何时接受。黑人、西班牙裔和非白人患者在急诊科接受诊断性影像检查的可能性较低。32 在诊断性影像学的其他领域,已证实历史上服务不足的患者中存在不当使用的情况。33 一项关于目击性心脏骤停旁观者心肺复苏反应的研究发现,无论收入水平或心脏骤停发生的社区如何,黑人、西班牙裔患者或女性接受心肺复苏的可能性较低。34 这意味着这些患者将被排除在评估心脏病结局的影像学队列之外。临床参数中的偏倚,如肾小球滤过率、脉搏血氧饱和度(历史上服务不足的患者存在未确诊的隐匿性低氧血症)、35 ICU严重程度评分的差异36,通过级联效应影响医学影像的开单模式,从而塑造用于机器学习的放射学数据集。近期NIH通过AIM-AHEAD37和Bridge2AI38项目资助的研究将此确定为减轻现有数据集中偏倚的最具挑战性问题;此外还有研究术语缺乏多样性以及缺乏专家就数据局限性提供指导。一些研究组建议采用数据表39,40——一份指导模型开发者如何使用数据的清单——来解决这一问题。
近年来,已采用许多策略来改善医学影像中人工智能的数据可用性。生成对抗网络和潜在扩散模型已被用于创建合成数据集,如基于年龄、性别和脑结构体积的脑MRI。41 我们的初步工作发现,识别种族的信息也包含在合成数据集中。理论上,使用这些受控数据集验证模型可能更容易(因为可以指定特定亚组中纳入多少患者),但需要更多工作来验证这一点。同样,生成特定文本-图像组合的基础模型正越来越多地应用于放射学。使用Roentgen42——一个用于胸部X线的视觉-语言基础模型——我们生成了伴有和不伴有胸管的气胸图像(图2)。对图像进行视觉检查的必要性代表了大规模数据集生成的明显局限性,但由于这些模型越来越多地向公众开放,将需要指南来强调其局限性并指导其适当使用。
2022年,随着RadImageNet的发表,医学影像数据领域实现了一个里程碑,43 这是一个开放的放射学深度学习数据集,包含135万张放射学图像,用于高效的迁移学习。在我们对阅读竞赛论文的实验评估中,我们展示了AI在多种模态下预测自我报告种族的超人能力,我们发现一些迁移学习任务在种族检测方面表现更好。28 放射学专用数据集的可用性以促进迁移学习,是朝着模型开发效率迈出的一步。这样的数据集也将阻止使用弗兰肯斯坦数据集——从其他数据集组装并以新名称重新分发——因为可以在RadImageNet上进行预训练,并在较小的数据集上进行微调。RadImageNet可以而且应该从其非医学影像对应物Imagenet的陷阱中学习,Imagenet的标签由于对象共现而不得不修订,其分布也发生了变化,反映了互联网使用随时间演变的模式。44,45
模型开发中的陷阱
已有大量文章发表关于医学影像中的算法偏见(在增强、损失函数建模、超参数调优和迁移学习期间),因此本主题将不是本文的主要焦点。46–48 在本节中,我们将讨论由人口学和临床混杂因素引起的偏见、联邦学习的教训以及处理类别不平衡的挑战和多模态数据集相关的挑战。偏见检测和缓解的最大挑战仍然是缺乏算法偏见的共识定义,尽管为此目的开发了许多工具包。模型开发者必须与临床医生、患者和社区协商,确定偏见对其模型意味着什么。例如,开发者将不得不在追求群体公平(黑人 vs 白人患者、参加政府医疗保健项目的患者或特定年龄组)与个体公平49(其中两个具有相似特征的个体以相同方式对待)之间做出决定。如果开发者决定追求群体公平,那么可以应用各种方法,包括忽略任何受保护属性如种族(通过无意识实现公平);或均衡各种群体的比例,如黑人和白人图像的平等组成(人口均等)50;或均衡几率或机会的过程。50 尝试做到种族不可知或种族中立是具有挑战性的,因为由于患者和/或提供者因素,去除种族和种族代理变量(如医疗服务利用模式)仍然困难。事实上,这些模型已被证明即使从模型变量中移除保护属性,也会表现出相同的偏见模式。1
当模型能够在数据集中捕捉到开发者可能不易察觉的“隐藏信号”——临床、人口学或技术相关的混杂因素时,问题会进一步复杂化。AI模型学习的是底层数据集的分布,而非疾病特征,从而导致模型失效。51 这一现象也称为捷径学习,可通过多种技术加以缓解,包括特征解耦(当模型学到疾病特征时给予奖励,当模型学到能够区分图像来源的原始数据集的特征时予以惩罚)51;应用直方图均衡化等预处理技术来校正图像间的差异,以及采用肺部掩膜排除预期不会出现病变的区域。52 检测这些捷径并避免捷径学习是一个活跃的研究领域。
联邦学习——即模型在多家机构间进行训练,除模型权重外不共享数据——已被提出作为改善模型在不同患者群体中性能的解决方案。在我们自身的经验中,53 我们观察到图像预处理很重要,并且会影响联邦模型的性能。当我们使用FedAvg算法时,模型提高了在外部数据集上的泛化能力,但代价是内部验证性能有所下降。此外,FedAvg偏向于贡献较大数据集的研究中心,而较小数据集的性能报告较差。总体而言,当本地模型性能重要时,应优先采用个性化联邦学习模型(如FedBN),而对外部性能而言,应使用FedAvg。53 需要注意的是,模型审计和偏倚检测得益于训练和验证过程中的多元视角,而在联邦学习中,由于各组建模者之间仅共享权重,这些工作更加困难。
类别不平衡在放射学中频繁出现。放射学图像往往具有高像素尺寸和高分辨率,但病变仅体现在一小部分像素上。例如,筛查性乳腺X线摄影有四个视图,但异常(例如一小簇钙化)可能出现在不到3%的图像表面积上。除单张图像之外,类别不平衡还因阳性和阴性病例的分布(因为大多数检查为正常)以及数据集内不同人口统计学分布而出现。有多种策略被应用于缓解这种不平衡——包括对多数类进行降采样、对少数类进行升采样、使用图像增强技术——并且可能改变训练数据集的构成,或在特征经过精细筛选的小数据集中导致模型过拟合,从而造成少数类性能不佳。这些技术并未解决采样选择偏倚,例如前文所述示例中黑人和西班牙裔患者院外心脏骤停后存活可能性较低的情况。院外心脏骤停后存活并被纳入数据集的黑人和西班牙裔患者,可能与在到达医院之前死亡并被纳入数据库的患者不同。升采样和降采样可能加重偏倚。需要注意的是,虽然我们不知道训练集和验证集的完美构成以产生公平的算法,但数据集中的性别不平衡已被证明会导致少数群体性能较差。54 由于上述原因,以及患者存在于多个群体表征的交叉点上(例如黑人、黑人男性/女性、黑人男性/女性(年轻或年老)、老年黑人男性/女性(有/无保险)),认为在训练数据集中纳入更多少数群体就足以修正偏倚的假设是不正确的。
结合其他数据来源与医学影像数据(病理学、临床表格数据、基因组学等)的融合模型开发日益增多。55 这些模型具有更大的用于训练的特征空间,需要在训练过程早期进行特征选择。用于检测种族和其他敏感属性的信号在训练期间可能变得更容易学习。确定这些信号不影响AI的预测和优化变得更加困难。
模型评估和验证中的陷阱
模型验证仍然是限制人工智能融入临床实践的障碍。许多因素影响人工智能验证——包括高昂的验证成本(数据集准备和整理的技术流程、由机器学习和临床专家组成的多元团队、监管审批负担),以及对于何为适当验证方案缺乏共识。关键是要为所执行的临床任务确定并报告合适的指标。对截至2021年11月获FDA批准的151个影像人工智能产品的综述显示,这些产品中仅有64%使用临床数据进行验证;而这些临床数据在人口统计学和技术混杂因素方面的信息有限(仅4%包含患者人口统计学信息,5%报告了机器规格)。56 此外,仅34%进行了多机构验证,并报告了使用哪个(些)机构进行验证。56 因此毫不意外的是,这些算法中的大多数尽管获得了监管批准,但在部署到各种临床环境时表现出偏倚,尤其是当目标人群与模型训练时的人群不同时。在这些情况下,人工智能模型会“静默失败”,即当它们无法识别模型输入时,不会向用户提供输出。这些人工智能模型会对错误输入数据做出预测的猜测性估计,而不提供不确定性水平。模型训练与真实世界部署或外部验证之间的数据分布差异也被称为数据“分布外”。
外部验证可以确保模型在不同人群中具有良好的泛化能力。尽管对FDA批准的产品和同行评审文章而言,外部验证不常见甚至不存在,但当进行外部验证时,其范围通常有限。最近的一项系统综述发现,86项研究用于外部验证的病例数中位数为240例,其中约47%为阳性病例。57 即使在被视为外部验证样本量较小的情况下,86项研究中近一半报告外部性能略有提升,近四分之一报告大幅下降,这再次强调了验证的挑战。57
必须指出的是,当前状态的监管批准并不保证模型的公平性。偏倚评估和缓解通常是在事后进行的,并且由于模型更新时审批流程要求重新提交,因此在初始申请阶段没有动力去解决算法偏倚问题。
美国食品药品监督管理局(FDA)、加拿大药物和技术局、欧盟以及英国的数据驱动医疗技术行为准则仅提供了促进公平的高层次指导。例如,这些机构发布的声明如“考虑偏倚评估”,但没有明确说明应如何执行评估,以及不执行此类评估会产生什么后果。11 一项对人工智能报告指南的综述指出,对偏倚的提及要么缺失,要么只是顺带提及,要么包含在指南补充文件中。虽然一些人呼吁开展更多临床试验来验证人工智能,但我们必须承认此类试验的局限性,包括高成本、大多数试验从未达到其招募比例这一事实,以及尽管临床试验严谨,偏倚仍然存在。事实上,一项关于临床试验在医疗保健机器学习中应用的综述仅发现了41项随机临床试验,且大多数未遵循公认的报告指南,少数群体的参与也有限。58 监管格局正在发生变化,美国四个联邦机构近期的行动即为体现,它们发布了一份联合声明,反对有偏倚的模型及其使用,包括非医疗用途如就业歧视。59
专有模型带来了额外的复杂性,因为它们通常在其他人无法访问以评估模型的私有数据集上进行训练和验证。商业人工智能模型这种“黑箱中的黑箱”性质以及对保护知识产权的担忧,是人工智能延续甚至加剧健康不公平的温床。60 对专有算法的评估,在进行时,涉及试图复制模型性能的模拟。需要学术界与产业界的合作来进行包括偏倚在内的全面模型评估。令人鼓舞的是,支持这类实验的技术(包括一些向评估者展示部分数据或对代码设盲的技术)正在作为可信研究环境的一部分被开发。
模型实施和部署中的陷阱
尽管获得了相关的监管批准,将模型从实验室安全地转化到临床甚至比算法开发更具挑战性。供应商必须应对与当前医院IT系统整合的复杂过程,并需要让临床医生和患者参与其中。此外,在许多情况下,模型开箱即用的表现并不理想,需要根据本地站点数据进行一些微调和校准。这些测试数据必须由当地IT团队创建,然后由当地临床医生仔细整理,而这些临床医生可能并不熟悉所需的亚组模型性能评估以及AI偏倚的其他意外后果。61 由于缺乏IT基础设施和持续模型监测的流程,软件或图像采集设备或协议的变化可能导致模型失效,而这种失效可能无法被立即检测到,甚至根本无法检测到。一个有趣的观察是,在影响最终用户偏倚方面,解释的类型很重要。例如,病理学家使用机器学习算法来区分不同的肝癌类型时发现,当模型的预测正确时,病理学家的准确率并未提高;然而,当模型的预测不正确时,病理学家的表现反而恶化。62 人机协作目前正处于提升模型性能的前沿,并且要防止包括自动化偏倚在内的意外后果。
讨论
在本文中,我们重点讨论了AI模型开发每个阶段可能出现的偏倚。此外,我们将这一讨论置于已知AI模型缺陷的背景下,即医学影像AI可能失败的潜在情形。如图1所强调的,模型开发每个阶段的偏倚可能由机器因素、人为因素或两者共同导致。此外,一个阶段的偏倚可以传播到其他阶段,因此检测和减轻偏倚的努力应在每个阶段进行。在本文的每个阶段,我们都提供了关于如何避免偏倚的建议。在以下部分中,我们回顾了减轻医学影像AI偏倚的一些广泛原则。
首先,我们敦促研究者和从业者在收集和选择训练数据时,应避免排除多样化和代表性不足的人群。我们还警告不要将代表性不足的人群广泛归入“其他”类别,这在研究者样本量较小时很常见。忽视各大洲和族裔多样化地区会加剧健康不平等,并阻碍AI模型的成长和适用性。同样,依赖地理和其他多样性维度狭窄的数据集会进一步加深偏见,并限制AI技术的可推广性。结果的可重复性是另一个必须解决的关切。未能提供透明的文档和详细的方法学,尤其是对于商业算法,有可能固化偏见并阻碍批判性分析。遵循研究文档和完整报告的指南可提高透明度。63,64 我们鼓励研究者确保其工作具有可重复性,允许独立验证和偏见检测。我们敦促谨慎对待仅依赖数学方法的公平性评估(例如仅依赖通过无意识实现的公平、人口统计学均等或均衡赔率或机会),因为这些方法可能忽视细微的偏见,且无法解决系统性问题。医学影像中偏见最具挑战性的问题源于处理类别不平衡的技术,以及如何评估和减轻影像数据集中有害的“隐藏信号”,因为它们可能导致捷径学习并强化现有偏见。
为减轻偏见,我们必须继续创建和使用多样化且具有代表性的数据集,开发和测试严格的测试与验证方案,对模型性能进行持续监测和评估。偏见风险评估工具可以促进这一过程。65 偏见缓解尤为重要,因为我们理解人机协作,早期发现显示当专家面对有偏见的模型输出时表现会恶化。最重要的是,我们怎么强调多元化团队致力于这一挑战性主题的必要性都不为过。通过采取全面和多方面的方法来解决AI模型开发中的偏见,研究者和从业者可以帮助确保这些技术以合乎伦理和负责任的方式使用,惠及所有患者。
结论
偏见发生在AI整个生命周期中,因此必须在从问题定义一直到部署后监测的每一个步骤加以解决。放射学AI性能受到其他潜在实践模式的影响,这些模式可能作为隐藏信号出现在AI数据集中。由于AI可解释性有限,这些隐藏信号可能难以检测,并导致了将健康不平等加密到实践中的算法偏见。确保AI对所有人有效将需要多元化团队以及多样化数据集。
引用
- Gichoya JW, Thomas K, Celi LA, et al. AI pitfalls and what not to do: mitigating bias in AI. Br J Radiol. 2023. PMID: 37698583. doi:10.1259/bjr.20230023
- 全文:PMC10546443(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10546443/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。