欧洲胸科影像学会(ESTI)胸部影像人工智能实施指南:是什么、如何做与为何做
该ESTI声明从科学证据、临床效用、实施与成本、培训与验证、对放射科医师培训的影响、实施后评估及法律伦理等方面,系统阐述在胸部放射科临床实践中理解和实施人工智能的要点。声明强调需评估AI系统的训练与验证数据集、制定科室策略与可持续财务计划、并关注AI对新放射科医师培训的负面影响。
要点
- 评估AI系统所用的训练与验证数据集是必要的。
- 包含AI系统持续质量保证和可持续财务计划的科室策略与商业计划对成功实施很重要。
- 需意识到AI对新放射科医师培训的负面影响,AI始终只是支持放射科医师的系统。
核心结论
- 成功在胸部放射科实施AI需要:制定明确的科室AI策略、持续软件质量保证、可持续财务计划、CE/FDA批准、严格审查训练与验证数据集、整合入现有临床工作流程、明确ICT需求与长期成本、了解数据保护合规、对放射科医师进行使用与局限性培训、知晓法律与责任问题、并意识到AI对未来放射科医师培训的潜在负面影响。
研究设计与样本
- 本文为欧洲胸科影像学会(ESTI)发布的声明,总结在胸部放射科临床实践中理解和实施人工智能的要点,涵盖科学证据、临床效用、实施与成本、培训与验证、对放射科医师培训的影响、实施后问题及法律伦理问题。
- 文中引用一项对100个CE标记的临床放射学AI应用的分析,其中64/100无产品有效性的科学证据。
- 文中引用一项对62篇关于机器学习检测和/或预测COVID-19的已发表研究的系统综述,显示无一项研究没有方法学缺陷或偏倚,因此无一项研究被认为具有临床实用性。
诊断标准与关键数值
- 文中引用系统综述显示,62篇机器学习检测和/或预测COVID-19的研究均存在方法学缺陷或偏倚,无一项被判定具有临床实用性。
- 对100个CE标记的临床放射学AI应用的分析显示,64/100无产品有效性的科学证据。
- 在肺结节检测中,CAD作为第二读者相比放射科医师单独判读可显著提高性能,同时显著降低结节测量的观察者间变异。
- Martini等的研究显示,使用CAD软件进行结节检测可提高敏感度并延长阅读时间,尽管假阳性 findings 相对较多。
- Muller等研究AI工具对放射科医师阅读非增强胸部CT时间的影响,发现AI工具未增加阅读时间,但在5/40例中导致额外的可操作发现。
临床应用与阅片要点
- AI系统作为并发读者或第二读者已有商业验证;作为第一读者尚未获临床工作许可。
- 在肺结节检测中,CAD作为第二读者可显著提高性能并降低观察者间变异,但分拣假阳性可能拖慢工作效率。
- 对于大多数其他应用(如胸片辅助判读或间质性肺病量化),接受度将取决于其临床效用和财务足迹。
- 混合放射学报告(放射科医师与AI生成内容结合,如AI预填充的结构化报告表格)可能成为主流;出于法律原因,非人类来源的所有贡献必须可识别。
- AI可用于检查计划、图像采集与处理、急诊检查优先级排序(分诊)以及报告生成。
局限性
- 大多数应用的科学校验目前不足或缺乏,尽管部分应用已商业可用。
- 关于AI效力及其对患者诊疗影响的数据目前有限,尽管正在涌现。
- 对COVID-19 AI模型的批判性评估显示,大多数模型存在系统性错误。
- 系统综述显示62篇机器学习检测和/或预测COVID-19的研究均存在方法学缺陷或偏倚,无一项被认为具有临床实用性。
- 偏倚源于验证用精心整理的多中心数据可得性有限。
全文中译13 节 · 点击展开
人工智能(AI)是计算机科学的一个领域,致力于通过模仿人脑功能来创建解决方案,以执行通常需要人类智能才能完成的复杂任务[1, 2]。
机器学习(ML)是AI的一个子类别,其中算法通过从数据中学习模式来执行活动,无需显式编程,并且随着经验积累而改进[1–3]。ML算法经过训练,基于人类定义的特征来执行任务,而不是由统计工具来组织数据[1–4]。深度学习(DL)是ML的一个子学科,不需要手工设计的特征,而是使用多层层次互联的算法层(人工神经网络),独立提取和学习最佳特征,无论已知或未知,以达到预定义的结果[1, 4]。更多定义可参阅NHS AI词典[5]。
证据评估
AI是胸部影像学中一项有前景的技术。其潜在应用广泛,包括改善图像噪声和降低辐射剂量;基于AI的分诊和工作列表优先级排序;自动化病灶检测、分割和体积测量;病灶空间分布的量化;以及诊断支持。目前大多数应用的科学证据不足或缺乏,尽管某些应用已有商业产品[6]。关于AI准确性和精确性的证据丰富。但由于临床研究较少,关于其疗效和对患者诊疗影响的数据目前有限,尽管这方面正在不断涌现[7]。
对100个获得CE认证(Conformité Européenne)的临床放射学AI应用的分析显示,其中64/100没有产品疗效的科学证明[6]。
在COVID-19大流行期间,开发并发表了无数诊断支持和严重程度预测模型。然而,多项对文献的批判性评价表明,大多数AI模型存在系统性错误[8–10]。一项对62篇已发表的关于ML检测和/或预测COVID-19研究的系统综述显示,没有一项研究不存在方法学缺陷或偏倚,因此没有一项研究被认为具有临床实用性[8]。已识别出与纳入参与者、预测因子或训练数据中的结局变量相关的偏倚。这些缺陷源于经过良好整理的多中心验证数据有限。过去几年已发表了若干指南和清单,可帮助研究人员开展高质量研究[11–15]。随着AI模型进入临床使用,评估其疗效的系统性方法变得相关[7]。表1列出了在规划和实施AI研究时需要定义的AI-specific议题清单。
潜在临床效用
AI旨在与放射科医生和其他临床医生协同工作,一方面减轻繁琐和耗时的任务负担,另一方面通过比目前更快、更高效地整合复杂信息来提高诊断准确性。AI解决方案可能有助于诊断影像的各个环节:检查层面、阅片和报告、将影像发现与临床数据整合,最后在更大患者队列层面[16]。
在阅片和报告方面,AI旨在通过自动检测、特征描述和测量来增强和/或辅助放射科医师[16]。在胸部成像领域,计算机辅助检测(CAD)工具(也称为第一代AI)已经可用数十年。CAD工具可执行肺结节检测、间质性肺疾病模式识别,以及对肺气肿和气管支气管树的复杂分析。AI已显著提升上述系统的性能[17]。然而,医院/放射学界对其接受度出人意料地低。在肺结节检测领域,CAD作为第二读者使用时,与放射科医师单独判读相比可产生显著更优的性能[18],同时显著降低结节测量指标的观察者间变异性[19](图1)。由于经验丰富的放射科医师具有可接受的敏感性,这一步骤被视为“时间窃贼”,因为甄别假阳性以及花费时间处理临床重要性存疑的病灶会降低工作效率。另一方面,Martini等人在一项评估使用与不使用CAD软件时结节检测判读性能的研究中表明,尽管假阳性发现数量相对较高,使用CAD在肺结节评估中带来了更高的敏感性和更慢的判读时间[20]。总而言之,使用CAD进行自动肺结节检测在肺癌筛查中是相关且必要的,在筛查中最大化结节检测至关重要[21–23]。
对于大多数其他应用,例如辅助判读胸部X线片或量化间质性肺疾病,其接受度将取决于临床效用和经济成本。一个真正能加速工作流程或在相同时间范围内显著改善结果、或比人类判读者更快的系统,如果价格可负担,将会被迅速实施,但高成本且增加医疗费用的AI将成为障碍[24]。
目前,放射科医师汇总来自不同图像序列或不同模态的所有发现、视觉审查和测量,并在某些情况下增加一些后处理步骤。最终报告反映对所有组成部分的评估,包括书面的(有时是口头收到的)临床信息,并由对报告承担全部责任的放射科医师批准。包含放射科医师与AI生成内容组合的混合放射学报告,例如由AI算法预填充的结构化报告表单,很可能将成为主流[25]。出于医疗法律原因,所有来自非人类实体的贡献都必须可识别。在整合来自影像、医疗报告、实验室结果等信息以评估诊断概率的决策支持系统中,随着新信息的加入,建议会动态变化。需要详细的AI决策历史日志,以将决策与精确的日期和时间联系起来。基于区块链的电子病历将允许追溯对混合放射学报告的决策和贡献,从而能够识别哪个版本的AI算法在何时做出了贡献[13]。
人工智能的使用不仅限于诊断,还应用于整个放射学生产链,从计划制定[26]和图像采集与处理[27],以及为报告优先处理紧急检查(分诊)[28]开始。人工智能还可用于报告生成,将影像发现直接纳入临床报告[29]。
实施与成本
将人工智能成功整合到常规临床诊疗中,需要在医院和/或放射科层面制定策略。该策略应在实施前明确临床获益或组织目标。在医院中实施新的人工智能工具涉及众多不同的利益相关者,他们既有既定的医疗常规和职业身份,同时还要遵守严格的法律和监管标准[30, 31]。放射科医生、医院管理人员和信息技术人员期望将人工智能算法纳入临床实践能带来显著获益[32]。许多供应商推广其产品时承诺改善诊断实践、实现更精确和客观的诊断、避免错误,并减少工作量、提高生产力。后者只有将人工智能整合到现有信息技术系统和当前工作流程实践中才能实现。人工智能应用必须实施到图像归档与通信系统(PACS)中,并能通过几次点击显示可理解的输出结果。科室应评估系统的长期运行成本,并将其纳入其业务计划。
放射科主要有三种类型的系统:(1)单机工作站,(2)本地服务器解决方案[33],以及(3)基于云端的服务器解决方案[34]。配备人工智能系统的单机工作站主要用于研究。许多放射科室使用基于服务器的解决方案,与PACS通信,以PACS中的二次捕获或基于网络的应用形式提供结果。基于云端的服务器解决方案运行良好,但存在一些障碍。数据在假名化后上传到云平台。结果返回后,通过受数据保护的内部假名化密钥与患者数据连接,同时存在与云服务器位置和国家数据保护相关的问题[35]。另一个障碍是放射科使用人工智能缺乏补偿,可能导致实施无序、成本高、效率有限,且放射科医生接受度差[36] 表2。
整合工作流程——阅片者——阅片时间
目前,大多数商业算法被验证用作同步阅片者或第二阅片者。如果用作同步阅片者,放射科医生在解读图像时可同时访问人工智能系统的结果。作为第二阅片者,人工智能系统在放射科医生阅片后启用。人工智能系统作为第一阅片者、由放射科医生仅检查人工智能结果的方式,尚未获得临床工作许可。无论未来人工智能性能如何进步,人工智能永远不会取代医生(见医疗法律和伦理关注部分)。
乳腺X线筛查数据显示,使用AI算法可缩短正常病例的阅读时间,但会略微增加异常病例的阅读时间[37]。比较胸部CT结节检测中CAD作为第二读者与CAD作为同步读者的数据有限,结果不一[38–41]。多项研究表明,同步CAD的阅读时间短于CAD作为第二读者,但性能往往略差,且通常仅比较单一任务[38, 42, 43]。Muller等人研究了AI工具对放射科医师阅读平扫胸部CT检查时间的影响,发现该AI工具并未增加阅读时间,但在5/40例中导致了额外的可操作发现[44]。
训练与验证
训练与监督
获得准确深度学习(DL)模型的正确策略是使用大型、经整理和标注的数据集,最好来自不同地区的多家机构,以确保模型在临床使用中的泛化性[13]。
需要此类“高维”数据(也称“大数据”)以避免“过拟合”,即AI模型不仅学到了有效数据,还学到了噪声,从而在训练集上产生准确预测,但在新数据和不同样本上表现不佳。过拟合在DL算法中相当常见[4, 45, 46]。当DL算法在训练集和验证集上均表现不佳时,可能发生“欠拟合”,这是由于训练数据集中固有的偏倚(即多个代表性不足的亚群、参数数量不理想、模型本身性质不充分)所致[4]。因此,数据的高可重复性和稳健分割至关重要。该数据在训练队列和验证队列中必须覆盖几乎相同比例的特征(年龄、性别、各类别等)。
训练样本可通过数据增强来增加,包括根据不同方法改变训练集中的现有图像(即随机旋转、亮度变化、噪声注入、模糊等),或创建新图像(合成数据增强)。尽管数据增强方法可以减少过拟合并提高模型性能,但它们可能无法捕捉到在更大数据集中发现的变异[47]。
联邦学习是指算法在不同机构的本地数据集上进行训练,然后将聚合模型发回并重新训练,可访问更大且差异化的数据库,这对不常见和罕见疾病特别有用,同时减少患者数据保密方面的顾虑[47–49]。增加AI学习和验证数据库规模的另一种方法是患者自己直接共享放射学检查和电子病历(EMR),应予以鼓励(患者介导的数据共享)[50]。
除了大量数据外,训练AI算法还需要精心策划的带标签和标注的数据集。标记(Labelling)被定义为为整个图像/检查提供一个类别的过程(在分类任务中至关重要),而标注(annotation)是指提供关于图像特定部分的信息(用于检测、分割和诊断目的所需)[50]。在监督方法中,需要标记或标注的数据来达到结果,但标注是一项耗时的任务,并且需要放射学领域的高水平专业知识。因此,大型且标注良好的数据库并不容易获得[47]。在半监督方法中,标记和未标记输出的组合就足够了,因为算法逐渐学习利用未标记数据,减少了对大量标签/标注的需求[4, 47]。
避免放射科医生回顾性手动标记的潜在策略依赖于从电子病历(即所谓的电子表型分析)或放射学报告中直接提取信息。结构化报告方法有助于促进这一任务[50]。
任何使用自然语言处理提取诊断和发现、追踪放射科医生眼动以及由放射科医生进行标记的数据集训练的主要缺点可能包括放射科医生自身的错误和遗漏的发现。一些作者建议,只有基于“金标准”或“真相”的训练——包括由多名放射科医生或专家小组以裁定标准做出的诊断——才应用于生成AI模型[35, 36, 45, 46]。
验证
验证数据是指用于控制或测试已训练好的AI系统的一组新数据[5]。
AI系统通常有两种验证方式:回顾性验证,即AI必须表现得与金标准(已知数据库或放射科医生)一样好[51–54];或前瞻性验证,即读者将AI用作第二读者,报告变化率作为成功的衡量标准[55–60]。尽管训练最初可能在大数据集(> 1000张独特图像)上进行,但验证通常仅在数百张图像上进行[55, 60, 61]。
对新放射科医生培训的影响
目前,放射学培训包括/要求受训者阅读和评估数百甚至数千份CT和MRI扫描以及数千张X线片,以便积累经验,逐步成长为完全合格的放射科医师。带教直接给予受训者,包括如何解读影像、应观察什么、如存在异常则予以解释,以及这些异常在该患者诊疗背景中的意义,所有这些都作为学习过程的重要组成部分。特别是,学习什么是正常表现、什么是偶发性正常变异或变化至关重要,需要学习数百或数千幅图像才能掌握。当人工智能(AI)被引入科室时,应当意识到这将如何影响培训。如果AI被用作第二阅片者,它将立即有助于诊断,但受训者可能不理解其原因。AI可能被用作第二阅片者,从而释放专家从事其他任务,但受训者将失去与带教者的重要互动,可能导致年轻的值班放射科医师将AI用作第一阅片者(“超说明书”使用)并基于AI结果撰写报告。这将不可避免地影响年长放射科医师所认为的“常见或基础知识”。如果未来的基础放射学培训过于薄弱,那么他们可能难以质疑AI作出的错误预测[62]。这种对放射学的影响可能需要多年才会显现,届时可能已不可逆转。因此,必须强调,AI始终只能作为支持放射科医师的系统,由放射科医师对报告作出最终决定。对未来放射科医师而言,接受传统放射学教育以及了解AI的价值至关重要。
实施后审查
效率提升、成本降低和质量改进的承诺通常是AI预期收益中最受关注的方面,但其在研究报告中报告的性能可能与在常规临床环境中的性能存在差异。影像质量改进的衡量较为复杂,尚无普遍公认的方法学。一个需要进一步研究的持续挑战是如何最好地衡量AI在“真实世界”中的有效性,同时证明其可持续的成本效益。在获得患者获益、工作流程改善和成本降低的证据之前,制定经本地正式批准的机构AI创新策略至关重要。
每个算法审批中需要纳入的预设指标应由放射科医师与了解患者诊疗路径的临床医师共同确定,并应纳入每个步骤的意义,以保障患者安全。应正式评估预期获益和潜在的非预期后果。AI系统提供方还应具备在临床工作中应用后识别系统性能恶化的常规机制,尤其是当系统为动态而非固定时[63]。还应建立引入新诊断标准的常规机制。如果没有证据证明AI在临床实践中的附加价值,为进一步实施所需资金提供理由可能会有困难,较高的成本也难以辩护。
医疗法律和伦理问题
医疗法律方面
对医疗保健中使用人工智能和机器学习技术进行法律监管的主要目标是限制对公共卫生或安全的风险出现,并尊重患者个人数据的保密性[64]。
过去十年中获批的基于人工智能/机器学习的设备大幅增加[65],凸显了确保对这些技术进行严格监管的迫切需要。迄今为止,人工智能/机器学习在医疗保健中的性能的法律监管仍处于起步阶段[64]。目前,尚无欧洲范围内针对基于人工智能/机器学习的医疗器械的监管路径,该问题由各国根据本国法律体系单独解决[64, 65]。
在欧洲和美国,任何旨在诊断、治疗或预防健康问题的算法或软件,根据《食品、药品和化妆品法》(美国)和理事会指令93/42/EEC(欧盟国家)被定义为医疗器械,并需要获得相应机构的批准[65]。因此,在临床常规中使用未经批准或CE标志的“内部”开发工具的医院或研究机构,必须谨慎行事[66]。
如果该软件用作第二读者,责任可能在于签署报告的放射科医生。在独立人工智能/机器学习软件的情况下,该责任可能转移至制造商。一个灰色地带是当人工智能/机器学习软件用于工作列表优先级排序时。如果人工智能“遗漏”了潜在危及生命的发现/状况,患者可能比通常的“先进先出”优先级排序更晚被诊断,对患者的临床结局产生严重不良影响。反之,如果人工智能指出一个病灶但放射科医生判定其并非病灶,若放射科医生的判断偏离实际结果,则可能存在法律责任问题。尽管当前的人工智能在检测方面可能已达到足够性能,但在定性诊断方面,理想的是开发可解释的人工智能,能够展示诊断过程的依据。
文献中讨论了对人工智能/机器学习技术应用进行法律监管的两种方法:形式(法律)方法,即将人工智能/机器学习算法行为的责任分配给启动该算法的人;
技术方法,即人工智能/机器学习技术的责任保险涵盖机器人造成的损害[64]。
2021年,欧盟委员会公布了世界上第一部规范基于人工智能/机器学习的系统开发和使用的法律草案[64]。
在此之前,我们建议提高设备监管和批准方式的透明度,以改善公众信任、有效性、患者安全以及放射学中基于人工智能/机器学习系统的质量[65, 66]。确定当人工智能公司停止交易或被另一家公司收购时责任归属何处,以及确保未经个别机构批准不得将数据传递给第三方,也将是关键。
伦理方面
关于人工智能的伦理基于放射学中即使在今天仍然适用的普遍伦理概念,如欧洲放射学会伦理准则[67]所述。放射科医生必须致力于不伤害患者,同时提供尽可能高的照护。
ESR和北美关于放射学中人工智能伦理的声明包括患者对其数据在数据集中使用的权利、标记中的偏差、可解释性、数据安全(防止恶意干扰)、质量保证、自动化偏差,以及人工智能系统开发者在与医生同等层面上的问责制[68]。理想情况下,应开发能够展示诊断过程理据的可解释人工智能。
胸部放射科医生可以通过要求系统的透明度,并如本文前面所述审查偏差,来改善人工智能软件的伦理使用。
在规划实施时,放射科必须教育其员工了解该技术、其益处和潜在缺陷,以便在被问及时能够向患者和临床医生解释[69]。
在将人工智能系统实施到临床工作流程中后,必须正确且按照许可范围使用该应用。不道德地使用该系统,例如执行其并非为此设计的任务(不得超说明书使用),或在其设计为第二读片者时将其用作第一读片者,是不可接受的,并可能危及患者。
放射科医生和临床医生还需要面对一个新出现的问题。如何处理由人工智能检测和/或诊断的亚临床发现?如果人工智能系统发现通常肉眼不可见的病变,触发进一步检查,而后者可能造成额外的辐射暴露和医疗化,这与旨在减少额外检查的“明智选择”运动直接矛盾[70]。一个例子是近期一篇论文显示人工智能如何改善了活检后气胸的检测[71]。然而,未讨论了漏诊气胸的临床意义,因为临床稳定患者中小于2 cm的气胸无需干预,而更高检出率的价值仍存疑问[72]。
总结
我们提出了一个在(胸部)影像中实施人工智能的指南(图2)。
总之,在胸部放射学中成功实施人工智能需要以下各项:建立明确的科室特定人工智能策略,清晰界定人工智能应用在临床工作流程中的作用、类型和目标,持续进行软件质量保证,以及制定财务上可持续的业务计划
CE/FDA批准
对训练和验证数据集进行严格审查,以确保其无偏差且足够准确以保障患者安全
将人工智能整合到现有临床工作流程中
与相关利益相关方明确信息与通信技术(ICT)需求和长期成本
了解人工智能中患者数据的处理方式,以确保依照《通用数据保护条例》(GDPR)保护数据
对放射科医生进行关于其使用和局限性的适当培训
对医疗法律问题和责任问题的认识
对人工智能在短期和长期内对未来放射科医生培训可能产生的负面影响的认识
结论
人工智能的广泛临床实施已为期不远。一旦这些系统足够好以用于临床实践,人工智能仍需解决有关持续质量保证、财务和未来放射科医生培训的剩余挑战。
引用
- Gleeson F, Revel MP, Biederer J, et al. Implementation of artificial intelligence in thoracic imaging-a what, how, and why guide from the European Society of Thoracic Imaging (ESTI). Eur Radiol. 2023. PMID: 36729173. doi:10.1007/s00330-023-09409-2
- 全文:PMC9892666(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9892666/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。