AI在乳腺筛查钼靶中的应用:乳腺筛查阅片者的观点调查
该调查面向英国国家认证乳腺筛查阅片者,通过在线问卷评估其对四种AI实施方案的认可度、偏好的AI呈现方式及认为必要的证据类型。87名应答者中73名完成全部问卷,总体上支持AI替代两名初始人类阅片者之一,反对AI完全替代人类阅片者;最偏好将可疑区域叠加显示于图像上,并认为国家指南、全国代表性数据集研究和独立前瞻性研究是实施AI的必要证据。
要点
- 阅片者支持AI作为部分替代(替代一名初始阅片者),反对AI完全替代所有人类阅片者。
- 最受青睐的AI意见呈现方式为在图像上叠加可疑区域,而非离散意见、评分或热图。
- 多数认为国家指南(77%)、全国代表性数据集研究(65%)和独立前瞻性研究(60%)是实施AI的必要证据。
核心结论
- 乳腺筛查阅片者总体支持将AI引入乳腺筛查,但仅限作为部分替代(替代一名初始人类阅片者),反对AI完全替代人类阅片者。
- 阅片者最偏好以图像上叠加可疑区域的方式呈现AI意见,并认为国家指南、全国代表性数据集研究和独立前瞻性研究是实施AI的关键证据。
- 对AI用于分诊和作为阅片 companion 的观点存在分歧,且对厂商生成证据的价值评价有限。
研究设计与样本
- 本研究为在线问卷调查,于2020年5月开展,面向英国国家认证乳腺筛查阅片者,共87名应答、73名完成全部问卷(83.9%)。
- 问卷经英国领先乳腺阅片者和社会科学专家咨询验证,通过地区和全国专业筛查组织传播。
- 问卷采用五级Likert量表评估对四种AI实施方案的认可度,并要求对五种AI呈现选项排序及选择认为必要的证据类型。
诊断标准与关键数值
- 四种AI实施方案:AI作为分诊、AI作为 companion 阅片/阅片辅助、AI替代两名初始阅片者之一、AI替代所有阅片者。
- 五种AI呈现选项:离散意见、乳腺摄影评分、以100%表示恶性的百分比评分、可疑区域、热图。
- 六种证据选项:厂商性能数据、国家指南、独立回顾性研究、独立前瞻性研究、使用本地数据集的研究、使用全国数据集的研究。
临床应用与阅片要点
- 在日常阅片和报告流程中引入AI时,可优先考虑将AI作为第二名阅片者的替代角色,而非完全替代人类阅片者。
- AI输出界面宜采用图像上叠加可疑区域的方式,便于阅片者快速定位并整合判断。
- 实施AI前应参考国家指南和全国代表性数据集的前瞻性验证证据,不宜仅依赖厂商提供的数据。
局限性
- 问卷仅约10%的英国NHS乳腺筛查阅片者应答(全国逾800名),样本量有限。
- 关于第二名阅片者是否对第一名阅片者意见设盲的问题可能存在歧义,受访者理解不一。
- 调查为横断面设计,仅反映受访者观点,不能代表所有阅片者或临床实施效果。
全文中译7 节 · 点击展开
引言
人工智能(AI)具有改变医疗保健的潜力。早期对AI在放射学中潜在应用的乐观态度导致了这样一种观点,即放射科医生的替代迫在眉睫[1, 2]。然而,近期更多观点援引自动化历史以及放射科医生超出图像解读范围的复杂职责,认为放射科医生的工作将会演变而非消失[2–4]。近期调查显示,大多数放射科医生赞成在临床实践中采用AI[7–9]。然而,尽管有意愿实施AI,要实现潜在的临床和运营收益仍存在重大障碍。需要证明有效性、稳健性和安全性。将AI技术纳入乳腺筛查已获得大量关注和投入[5, 6]。一项对23项关于AI用于乳腺癌筛查的研究(2010-2018年)的综述发现,大多数为小型回顾性研究,使用富含癌症的数据集,且未包括真实世界的外部验证[10]。2021年的一项系统综述得出结论,目前证据不足以支持在乳腺癌筛查中实施AI[5]。
此外,对于何种类型的证据可被认为足以将AI乳腺筛查工具纳入筛查路径,尚无共识。放射科医生预计乳腺影像学将是受AI技术影响最大的放射学亚专业之一[9]。然而,既往调查未评估乳腺X线摄影筛查环境中放射科医生/筛查阅片者的观点。乳腺筛查阅片者是高度专业化的角色,需要认证、每年至少阅读5000例筛查乳腺X线摄影并参与质量保证活动[11]。该专业群体将最直接受到乳腺X线摄影AI的影响。
直接受AI影响的专业群体的意见对于在临床中开展高效的实际开发至关重要。本研究是首个调查英国乳腺筛查阅片者对在乳腺筛查服务中实施AI态度的研究。对乳腺X线摄影阅片者进行了调查,了解他们对如何在临床实践中实施AI以及将AI引入其工作场所所需证据类型的看法。
方法
问卷设计
英国国家卫生服务体系为所有50至70岁女性每3年提供公共资助的乳腺筛查。每张乳腺X线摄影由两名专家阅片者解读,分歧由第三名阅片者(仲裁)解决。2020年5月,我们试图通过标准化在线问卷获取乳腺X线摄影筛查界对AI解读乳腺筛查乳腺X线摄影的看法。该问卷通过与英国领先的乳腺X线摄影阅片者和社会科学家的咨询进行了验证。我们联系了地区和全国性专业筛查团体以宣传本研究。完整问卷见附加文件1。
要求受访者确认其为全国认证的乳腺癌筛查阅片者。收集了有关其职称、工作经验年限、对AI的理解以及对AI在医学筛查中使用的看法的信息。自我报告为未经认证的阅片者被排除在外。
参与者被要求用五点李克特量表(强烈反对、反对、中立、赞成、强烈赞成)对以下四种情境的认可程度进行评分,并按偏好顺序排列:部分替代情境:不再由两名专科医生审阅参与者的乳腺X线摄影图像,而是由一名专科医生和一个人工智能算法共同审阅。如果两者意见不一致,将由另一名专科医生做出最终决定。
完全替代情境:人工智能算法在没有专科医生参与的情况下审阅乳腺X线摄影图像并做出最终决定。
分诊情境:人工智能算法首先审阅乳腺X线摄影图像。如果扫描结果极可能为正常,参与者将不会被召回进行进一步检查。如果人工智能的发现为不确定或异常,则由专科医生审阅图像。
辅助情境:所有乳腺X线摄影图像继续按现行做法由专科医生审阅。他们可按需使用人工智能算法来帮助其做出决定。
阅片者还被问及第一、第二或第三阅片者/仲裁小组是否应有权获取人工智能的意见。
接下来,阅片者被问及哪些证据能说服他们在工作场所引入人工智能:供应商的性能数据、国家指南、独立回顾性研究、独立前瞻性研究,和/或使用本地或全国数据集的研究。
随后,参与者被问及他们认为第二专科医生是否应对第一阅片者的意见设盲,以及他们认为专科医生是否应对人工智能的意见设盲。
最后,阅片者被要求对五种人工智能呈现方式进行排序(离散意见、乳腺X线摄影评分、以100%表示恶性的百分比评分、可疑区域和热图),并询问他们是否曾参与为其机构采购类似医疗软件。另提供自由文本选项供评论。
统计分析
计算阅片者自报的人工智能理解程度与其对医学筛查中使用人工智能的看法及其对四种人工智能实施情境的认可程度之间的Spearman秩相关系数。
内容分析
对自由文本评论手动进行内容分析,将其划分为不同主题。评论被分组并与相关的封闭式调查问题一并描述。与任何封闭式问题不直接相关的评论单独描述。
结果
该调查有87名获得国家认证的受访者;73人(83.9%)完整完成了调查。大多数(61%)拥有超过10年的经验,77%为顾问放射科医生。19名参与者提供了评论。略超过三分之一(37%)的人将其对人工智能的理解描述为良好或优秀,而63%的人对筛查中使用人工智能持积极或非常积极的看法。一名受访者表示:“我赞成在乳腺X线摄影报告中使用人工智能。”另一名受访者表示:“人工智能在乳腺筛查中有作用,有助于警示。[人工智能]还将有助于解决人员短缺问题。”大多数(82%)此前未曾参与为其机构采购类似医疗软件。
图1显示了参与者对更偏好哪种人工智能实施场景的回答。受访者更偏好部分替代(人工智能替代一名人类阅片者),而非其他人工智能实施场景。他们反对完全替代场景,而对分诊场景和辅助场景的看法则褒贬不一。
两名受访者提出了替代性的人工智能实施场景。一条评论指出,“将人工智能针对既往间隔期癌症进行测试将会很好,因为这是少数会影响筛查人群中结局/乳腺癌死亡率的因素之一”,并且人工智能可以“在结果发出之前,作为一个安全网系统,用于所有那些被阅片者给出正常结果的病例。”第二条回答提出,人工智能双读不会节省大量放射学时间,人工智能更好地用于最大化图像质量、决定是否进行乳腺断层合成成像、预读有症状的乳腺X线摄影,并关注乳腺密度/实质带来的风险和遮蔽效应。
大约一半的受访者认为第一阅片者(52%)和第二阅片者(51%)应该能够获取人工智能意见。大多数受访者(68%)认为第三阅片者或仲裁小组应该能够获取人工智能意见。
图2显示了参与者对哪些证据他们认为能够支持将人工智能引入其工作场所的回答。大多数受访者将国家指南(77%)、使用全国代表性数据集的研究(65%)和独立前瞻性研究(60%)评为支持将人工智能引入临床实践的必要证据。然而,厂商生成的证据被认为价值有限。大多数参与者表示,来自本地数据的证据要么是必要的(43%),要么是可取的(42%)。
七条评论讨论了需要额外证据和验证人工智能乳腺筛查工具,包括不同软件、召回阈值以及阅片者与人工智能的互动。相关评论指出:“回答不明确,因为我想先看到证据!”、“一旦人工智能经过验证并变得用户友好,我强烈赞成在筛查性乳腺X线摄影阅片中采用人工智能”,以及“人工智能迄今已显示出优异结果,灵敏度和特异度优于人类,但需要稳健数据的输入以及在本地和国家层面进行验证测试。”一名受访者建议,应通过皇家放射科医师学院建立一个由人工智能专家和筛查阅片者组成的国家工作组,以在大数据集上评估和测试各种人工智能系统及其使用方式。他们补充道:“国家指南对于确保以最佳方式使用它并提供医疗法律保护至关重要。”
45%的参与者持有第二专科医师对第一阅片者意见设盲的观点;54%表示他们的观点是专科医师应对人工智能意见设盲。两名受访者表示,他们不确定关于第二专科医师对第一阅片者设盲的问题是指他们目前是否设盲,还是他们是否应该设盲。
图3显示了参与者对如何对给定的人工智能表示选项进行排序的回答。受访者更偏好将可疑区域叠加在图像上,而非其他所示的人工智能表示选项。
自我报告对人工智能(AI)知识了解较多的读者更倾向于认为在医学筛查中使用AI是积极的(ρ = 0.496,p < 0.001)。自我报告的AI知识水平与对任何AI实施场景的认可度均无显著关联(p > 0.05)。
其余自由文本评论主要涉及对将AI引入乳腺筛查的担忧,包括缺乏对所需基础设施的规划,以及对筛查阅片者、患者和筛查中心的潜在负面影响。一位参与者表示,“重要的是不要忘记对未来乳腺X线阅片者的培训,因为AI无法评估患者。”与此相关,一位受访者指出:“需要对AI的局限性有广泛的认识,因为我担心阅片者会对其能力过于信任。”另一位参与者评论道:“AI将降低特异度并提高召回率。放射科医生将不得不应对评估门诊的后续问题。如果引入AI,如何对中心进行QA[质量保证]评估?”一位受访者表示AI“难以引入”,在全国范围内将AI引入乳腺筛查之前,必须获得“大多数放射科医生[的]支持”。他们进一步指出,应在FAQ(常见问题解答文件)中回答伦理问题,以让筛查阅片者放心。一位筛查阅片者回应道:“我相信未来几年AI的引入是不可避免的,我们需要确保以对乳腺筛查项目最有效的方式来实现。”
讨论
调查结果证实,来自英国的乳腺筛查阅片者支持引入AI。自我评估知识水平较高者对在乳腺筛查中实施AI持更积极的态度。研究参与者更倾向于AI与人类阅片者相结合的选项,即AI将取代初始两名阅片者中的一名。他们还希望AI程序能够以图形方式标出疑似肿瘤区域。阅片者报告了对多种证据形式的偏好:来自NICE等国家评估机构的指南、使用具有全国代表性数据集的研究以及独立的前瞻性研究。
本研究的主要优势在于以乳腺筛查阅片技师为研究对象,因为他们是人工智能在乳腺筛查服务中的潜在使用者。我们的发现补充了先前的研究,那些研究强调了女性对人工智能用于乳腺筛查的看法[12, 13]。总体而言,筛查年龄段的女性对将人工智能与人工阅片相结合引入乳腺筛查持积极态度。然而,相当一部分少数群体对人工智能表达了负面或混合看法,其担忧包括技术的安全性以及缺乏人工参与[13]。两组人群均更倾向于将人工智能作为部分替代而非完全替代人工阅片者。然而,尽管参加过乳腺筛查的女性认可人工智能作为辅助工具,阅片技师的看法则较为混合。目前英国有超过800名NHS乳腺筛查阅片技师[14]。约10%的人回复了问卷,限制了样本量。关于第二阅片者是否对第一阅片者的结果设盲,看法不一。然而,由于该问题可能存在歧义,尚不清楚受访者所指的是第二阅片者目前是否设盲还是是否应当设盲。在英国各地,第二阅片者的设盲方式存在差异。
人工智能技术在乳腺癌筛查中的实施路径仍不明确。本研究结果表明,阅片技师支持将人工智能作为部分替代(人工智能替代一名人工阅片者),而反对人工智能替代所有人工阅片者。然而,迄今为止大多数研究将人工智能乳腺筛查算法作为独立系统进行评估,未考虑其与人工阅片者的交互[5]。文献中的这一不足表明需要更多真实世界的测试场景。
目前大多数关于人工智能在乳腺筛查中的证据是在厂商参与下产生的,被认为不足以支持其实施[5, 15]。因此,阅片技师总体上积极的看法似乎与他们对厂商生成数据的有限信心以及现有证据均不一致。阅片技师可能未意识到现有证据的质量以及发表偏倚的可能性。然而,在自由文本回答中,阅片技师强调了他们的担忧和对额外测试的需求,这表明他们的支持以首先进行稳健验证为条件。
参与者表示他们非常重视来自具有全国代表性数据集的表现数据。这样的数据集将允许在公平的平台上进行产品比较,并使厂商能够对其产品进行基准测试。人工智能算法偏倚是一个值得关注的问题,消除算法偏倚是美国食品药品监督管理局(FDA)基于人工智能的医疗器械软件行动计划的一部分[16]。本地测试和优化可以通过确保人工智能工具在本地环境中有效运行来帮助减少算法偏倚[17]。然而,并非所有机构都具备测试和优化人工智能工具的设备或资源;一个规模足够大且具有多样性、能够模拟本地环境的全国性数据集可能是一个合适的替代方案。
我们的研究结果表明,阅片技师希望在将人工智能引入其工作流程之前看到权威机构的指导意见。然而,要实现这一点,现有证据的类型、数量和质量必须有所改善。厂商在设计人工智能技术时应咨询服务使用者和患者,正如医疗服务提供者在考虑如何将人工智能工具实施到健康服务中时所做的那样。
总体而言,筛检阅片者对将人工智能引入乳腺癌筛检持积极态度,相较于其他实施方式,他们更倾向于替换两名初筛阅片者中的一名,并以图形方式标示疑似肿瘤区域。阅片者还认为,在将人工智能引入其工作场所之前,包括国家指南在内的额外证据至关重要。
补充信息
附加文件1. 问卷和调查数据(汇总统计)。
引用
- de Vries, Colosimo, Boyle, et al. AI in breast screening mammography: breast screening readers' perspectives. Insights Imaging. 2022. PMID: 36484919. doi:10.1186/s13244-022-01322-4
- 全文:PMC9733732(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9733732/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。