人工智能辅助MRI鉴别偶发肾脏病变的早期卫生技术评估
本研究基于文献参数构建决策模型,比较MRI策略与MRI+AI策略鉴别偶发肾脏病变良恶性的成本效果。模型显示MRI+AI策略在基础场景下成本更低(7939美元 vs 8054美元)且效果略高(8.77 vs 8.76 QALY),为优势策略;当AI每次使用成本低于115美元时仍保持优势,作者认为AI辅助可能具有潜在成本效果,但需未来证实。
要点
- MRI+AI策略在基础场景下成本7939美元、效果8.77 QALY,较MRI策略成本8054美元、效果8.76 QALY更具成本效果优势。
- AI使用成本低于115美元/次时MRI+AI维持优势策略;成本达667美元/次时超出100000美元/QALY的支付意愿阈值。
- AI辅助的敏感度为0.92、特异度为0.41,均高于四位专家平均的敏感度0.80、特异度0.35。
核心结论
- 基于假设的分析提示,额外使用AI算法可能是MRI鉴别偶发肾脏病变良恶性的潜在成本效果替代方案,需未来证实。
- 在基础场景下MRI+AI为经济学优势策略,AI每例成本低于115美元时仍维持优势,成本升至667美元时超出100000美元/QALY的支付意愿。
研究设计与样本
- 本研究为基于文献数据的决策模型分析,构建MRI策略与MRI+AI策略的决策模型并结合马尔可夫模型模拟10年、每年1次迭代。
- 模型输入参数来自近期文献,诊断性能取自Xi等的研究:1162个肾脏病变(655恶性、507良性),按70:20:10分为训练、验证和测试集。
- 支付意愿设定为100000美元/QALY,基础场景假设AI成本为0美元,采用确定性和概率敏感性分析评估模型不确定性与AI成本。
诊断标准与关键数值
- MRI+AI策略与MRI策略的敏感度分别为0.92与0.80,特异度分别为0.41与0.35,对照为四位专家的平均判读性能。
临床应用与阅片要点
- 作者认为,将基于深度学习的诊断支持(敏感度0.92、特异度0.41)整合入常规MRI,可能减少良性病变的活检或手术切除需求并降低延迟检出恶性病变的风险。
- 作者指出目前欧洲和美国尚无获批用于此目的的AI产品,模型结果依赖输入参数,不能据此得出个体化建议。
局限性
- 模型假设未切除恶性肿瘤患者的生活质量,因确定未切除已知恶性肿瘤患者生活质量的研究不符合伦理而不存在。
- 研究仅关注MRI,未纳入对比增强超声和对比增强CT等其他已证明可行的诊断方法。
- 研究未纳入多参数MRI等提高MRI恶性检出效果的其他技术,因目前相关新方法数据不足。
- 基于决策模型的成本效果分析高度依赖输入参数,无法从模型中获得针对个体情况的建议。
- AI性能参数基于Xi等的单一研究,该算法为研究性算法且在训练数据集的分割部分上测试, published data可因研究设计、训练队列和扫描仪不同而差异很大。
全文中译14 节 · 点击展开
引言
在过去10年中,计算机断层扫描(CT)和超声检查的数量几乎翻了一番[1]。在因其他目的接受腹部影像检查的个体中,约13–27%发现偶发性肾脏病变,据认为50岁以上患者中超过50%存在肾脏病变[2]。随着未来影像检查数量的预期增加以及偶发性肾脏病变数量的相应增多,准确且具有成本效益地鉴别良性与恶性病变至关重要。
发现偶发性肾脏病变后的诊断路径取决于囊性和实性成分的存在。囊性肾肿块的恶性程度可在增强磁共振成像(MRI)或CT后使用Bosniak分类进行分级[3]。实性肾肿块最常使用增强MRI进一步表征,但超声也被提出作为准确的诊断手段[4]。为获得恶性的组织病理学证据,影像学中发现的可疑病变要么进行活检,要么直接手术切除。对于大于7 cm的恶性实性肾肿块可考虑行根治性肾切除术,对于较小病变可行保留器官的部分肾切除术[5]。由于存在局部复发风险,建议进行随访,尤其是在治疗后的第一年[6]。
卷积神经网络(CNN)在良性和恶性肿瘤的检测与鉴别方面已显示出积极结果,其诊断性能与亚专科专家相当甚至更优[7, 8]。Xi等人开发了一种CNN,并表明在使用常规MR成像时,它能够以高准确度、灵敏度和特异度有效区分良性和恶性肾脏病变[8]。
尽管人工智能(AI)已取得令人鼓舞的成果,但在临床常规中的实施仍然具有挑战性。安装必要的硬件和软件需要高昂的投资成本[9]。证明患者获益和经济优势可加速向常规临床实践的转化。Ziegelmayer等人和van Leeuwen等人分别对AI支持肺癌筛查和早期血管闭塞检测进行了成本效益分析[10, 11]。此外,两项关于AI健康干预卫生经济学评价(HEE)的文献综述强调了AI在医疗保健中日益增长的接受度[12, 13]。两项综述均强调了改善结局的潜力,并表明AI在放射学领域的重要性不断上升。迄今为止,尚无研究从经济学角度比较使用神经网络识别恶性肾脏病变与单独MR成像。我们分析的目的是探索基于AI的系统在鉴别偶发性肾脏病变为良性或恶性方面可能的成本效益。本研究虽非确定性的技术评估,但基于单篇文献为探讨这些考量提供了见解。此外,它旨在从医疗保健部门角度为潜在的临床整合界定成本边际。
材料与方法
模型结构
基于偶然发现的肾脏肿块的临床情景,建立了一个经济模型,包括磁共振成像(MRI)策略和MRI+人工智能(AI)策略作为诊断路径,最终归结为不同的临床情景(及时治疗、延迟治疗、不治疗、不必要的诊断),这些情景通过马尔可夫模型进行模拟。经济模型如图1所示。
马尔可夫模型使用特定的决策分析软件(TreeAge Pro Version 19.1.1,Williamstown,MA,USA)设计。基于经济模型和各诊断路径的准确性,为每位患者定义了初始迭代的起始点。
马尔可夫模型用于运行可能疾病结局的迭代。在每次迭代中,每个状态下的患者被赋予一定的费用和一定质量的生活质量(QoL),以及在下次迭代中向其他状态转移的概率。
专用于肾癌的马尔可夫模型包括以下状态,如图2所示:良性,正确识别(无恶性肾脏肿块的患者=真阴性)
良性,被识别为恶性(无恶性肾脏肿块但可疑的患者=假阳性)
恶性病变,被识别为良性(恶性肾脏肿块未被检测到的患者=假阴性)
恶性,正确识别(有恶性肾脏肿块并将被切除的患者=真阳性)
转移/不可切除(恶性肾脏肿块不可切除/姑息治疗的患者)
复发(切除后出现肿瘤复发的患者)
死亡
创建“复发”状态是因为有时恶性肾脏肿块在切除后会复发。在每次迭代中,患者处于上述状态之一。在每次迭代之间,患者可以以一定概率转移到另一状态或保持在同一状态。可能的转移如图2中状态之间的箭头所示。例如,一位患者有恶性肾脏病变,被检测为恶性(恶性,正确识别)。该恶性肾脏病变将被切除。在下次迭代中,患者可以转移到“复发”、“转移/不可切除”、“死亡”状态,或完全不转移。根据Margulis等人的研究,复发概率为1.8%[14];根据Manikandan等人的研究,切除后转移发生概率为0.18%[15];根据年龄调整的美国寿命表,局限性肿瘤的年死亡风险为[16]。这些是转移概率的示例,更多参数见表1。
马尔可夫模型运行时间设定为10年,每次迭代持续1年,总共10次迭代。
人群
本研究的人群基于Xi等[8]的研究。在他们的研究中,经组织学或影像学确认的肾脏病变患者从美国两个著名学术中心(HUP和MAY)、中华人民共和国的两家医院(SXH和PHH)以及癌症影像档案(TCIA)中回顾性筛选[8]。大多数肾脏病变患者来自美国的学术中心。因此,本评估中纳入的进一步数据和文献基于美国医疗保健系统。尽管该算法可用于任何类型的医疗机构,但我们的假设最可能适用于学术中心,因为这些中心会进行进一步的评估和肾脏肿瘤的处理。
输入参数
模型输入参数包括存在恶性病变的检验前概率、诊断操作时的平均年龄以及MRI策略和MRI+AI策略的诊断准确性。对于马尔可夫模型模拟,每次迭代的成本和效用(以生活质量(QoL)衡量)以及状态间的转移概率通过审查当前文献获取。这些参数见表1。
诊断测试性能
通过MRI策略和MRI+AI策略对偶然发现的肾脏病变进行正确分类的敏感性和特异性基于Xi等[8]的研究。在该研究中,一个多中心队列包含1162个经病理或影像学诊断确认的肾脏病变(其中655个为恶性,507个为良性),被分为训练集、验证集和测试集(70:20:10)。使用bagging分类器基于ResNet构建了一个集成模型,该模型结合了临床因素与T1C和T2WI MR图像来预测肾脏肿瘤的病理。最终模型的性能对照专业分析进行了评估。该集成深度学习模型在敏感性(0.92 vs. 0.80)和特异性(0.41 vs. 0.35)方面均优于四位专家的平均表现[8]。
成本
从美国医疗保健视角出发,成本基于Medicare数据和现有文献进行估算(表1)。假设如果诊断为局限性恶性肿瘤,所有病例均随后进行手术。及时手术和恶性肾脏肿瘤切除的成本设定为7652美元(Medicare代码52,355和50,543)[20]。治疗后,切除后第一年的长期年度随访成本估计为492美元(相当于两次增强CT扫描),此后每年为246美元(相当于一次增强CT扫描)[21]。根据Shih等的研究,转移性肾脏肿瘤患者在诊断后第一年的成本为70703美元,此后每年为34716美元[22]。在假阳性结果的患者中,仅归因手术成本4884美元。
效用
为确定总体有效性,根据各疾病状态下的生活质量(QoL)计算了每种诊断策略所获得的质量调整生命年(QALY)。健康患者以及恶性肾肿块未被检出的患者QoL设定为1,因为我们假设在Markov模型中若病灶出现症状,患者将改变疾病状态。由于手术可能伴随并发症,局限性肿瘤切除后第一年的QoL设定为0.97 [25]。然而,根据既往文献,切除后第二年起QoL再次设定为1 [26]。在转移性疾病状态下,QoL设定为0.66 [27]。
转移概率
转移概率取自近期文献,见表1。最初未被检出的恶性肾肿块在1年后被检出的概率假设为100%。局限性肿瘤患者发生转移的概率假设为1%,对应于假阴性诊断病灶的转移风险 [30]。根据近期文献,局限性肾恶性肿瘤切除后 annual 发生转移的概率设定为0.18% [15]。由于转移被认为是该疾病致命结局的原因,局限性肾恶性肿瘤的死亡风险假设与无恶性肾肿块的死亡风险相当 [33]。局限性肾恶性肿瘤的年龄依赖性 annual 死亡风险基于当前美国生命表 [16]。
成本-效果分析
成本-效果分析采用Markov模拟进行,运行时间为检出实性肾肿块后10年。贴现率设定为3.0%,支付意愿(WTP)设定为每QALY 100,000美元,符合当前指南推荐。支付意愿是以货币形式对健康获益的估值,定义为社会或医疗系统为获得额外一个QALY所愿意支付的成本 [19]。在基础情景中,MRI+AI策略相较于MRI策略的额外成本设定为0美元,因为该参数有待分析确定。对成本和诊断参数进行了确定性敏感性分析,以评估模型不确定性及这些参数变化对AI潜在成本的影响。这些结果以龙卷风图呈现,并给出与MRI策略相比的增量成本-效果比(ICER)差值。ICER定义为两种可能干预措施之间的成本差异除以其效果差异,因此代表与获得一个额外QALY相关的增量成本 [19]。基于蒙特卡洛模拟进行了30,000次迭代的概率敏感性分析,以展示基于输入参数个体变异的个体患者结局,用于评估模型的稳健性。进行了阈值分析,以确定AI算法在不同WTP值下的最大成本。
结果
成本-效果分析
在为期10年的基础病例情景中,如果使用AI的额外诊断成本为0美元,MRI策略的总成本为8054美元,MRI+AI策略的总成本为7939美元。在同一情景中,模型得出的MRI策略累积效用为8.76个QALY,MRI+AI策略的累积效用为8.77个QALY。因此,在基础病例情景中,从成本-效果的角度来看,使用AI是优势策略。
概率敏感性分析
30,000次迭代的结果如图3A所示,该散点图描绘了“MRI”情景(红色)与“MRI+AI”情景(蓝色)的效用和成本。可视化显示,总体而言,与“MRI+AI”策略诊断路径的迭代相比,“MRI”策略诊断路径的迭代成本更高且效用更低。图3B显示了成本-效果可接受曲线,该曲线表明了基于支付意愿(WTP)阈值变化,“MRI+AI”策略具有成本-效果的迭代比例。在0美元/QALY至200,000美元/QALY范围内,与MRI策略相比,超过50%的迭代对MRI+AI策略具有成本-效果。
确定性敏感性分析
进行了确定性敏感性分析以考虑文献中输入参数的变化。结果如图4的龙卷风图所示。如果MRI策略的特异度增加至0.38以上且MRI+AI策略的特异度降低至0.39以下,则ICER为正值。然而,在输入参数的指示范围内,所有情况下ICER均保持在100,000美元/QALY的WTP阈值以下。
阈值分析
进行了阈值分析,以确定人工智能算法在不同支付意愿(WTP)阈值下的最高成本。如果使用人工智能相对于MRI策略的额外成本保持在每次应用低于115美元,则MRI+人工智能策略仍为优势策略。当进一步增加使用人工智能的成本时,假设的WTP为100,000美元/质量调整生命年(QALY)仅在每次应用667美元时才能达到。其他WTP阈值下人工智能最高成本的值见图5。
讨论
本研究强调潜在的成本效果,而非提供确定性的技术评估。它表明,将基于深度学习的诊断支持(敏感度为0.92,特异度为0.41)整合到常规MR成像中,与单独使用MRI相比,在区分良性和恶性偶发肾脏病变方面是一种具有成本效果的替代方案。在承认 underlying 假设的前提下,更高的准确度可能减少对良性肾脏病变进行活检或手术切除的需要,最终通过降低恶性肾脏病变延迟检测的风险来降低成本并改善患者结局。我们的研究对此作出了呼应,因为MRI+人工智能策略在115美元的阈值以下一直保持为优势策略。在WTP为100,000美元/QALY时,人工智能的额外成本可能高达667美元,才能与单独使用MRI相比仍保持为具有成本效果的替代方案。
使用非侵入性成像技术在术前区分良性和恶性肾脏病变是治疗计划的关键因素,但在影像学上仍具有挑战性。根据当前临床指南,可疑肾脏病变应通过活检或切除进行组织病理学分析[5]。文献中可找到多项使用传统机器学习技术(如支持向量机和随机森林)基于CT影像组学区分偶发肾脏病变的研究[34, 35]。Xi等人开发的卷积神经网络(CNN)是使用深度学习区分这些病变的首批研究之一。如果将其纳入常规临床实践,有可能通过更准确的分类减少不必要的诊断检查数量[8]。然而,迄今为止,欧洲[36]或美国[37]尚无用于此目的的人工智能产品商业化上市。
据我们所知,目前测试基于人工智能的算法在放射学中成本效益的研究非常少。Ziegelmayer等人开展的一项研究表明,将3D卷积神经网络应用于基于CT的肺癌筛查时具有成本效益[11]。与本研究类似,在MRI+AI策略在每名患者115美元阈值内始终为优势策略的情况下,肺癌筛查中的额外AI支持在68美元阈值内始终为优势策略[11]。此外,van Leeuwen等人对AI支持用于脑内血管闭塞早期检测进行了成本效益分析[10]。该研究同样表明,AI支持具有成本效益,能够以更低的成本(−156美元)和更高的效果(0.0095 QALYs)减少漏诊的大血管闭塞数量。van Leeuwen等人讨论了利用此类CEA来推断潜在患者结局的重要性,以及AI系统不仅有助于其开发、还有助于转化为常规临床实践的益处[10]。在相关背景下,Vithlani等人和Jiao等人开展了全面的文献综述,揭示了与基于AI的健康干预相关的众多HEE[12, 13]。他们的研究结果一致显示出对健康结局的潜在积极影响。值得注意的是,两篇文稿均强调了增加CEA的必要性,以有效弥合AI在医疗保健中的快速进展与其在真实世界环境中实际应用之间的差距[12, 13]。总体而言,这些研究表明,在常规影像技术中使用额外的基于AI的算法,在纳入临床诊断时,无论在患者结局还是经济方面均可带来益处。
本研究存在局限性。首先,我们的模型假设了未切除恶性肿瘤患者的生活质量,因为确定未切除已知恶性肿瘤患者生活质量的研究将不符合伦理,因此并不存在。此外,我们仅关注MRI,排除了其他技术,如对比增强超声(CEUS)和对比增强CT,这些技术已被证明是偶发性肾脏病变的可行诊断方法[38, 39]。然而,本研究的目标是评估AI在诊断影像学中的应用,尤其是MR成像。据我们所知,迄今尚未开发出可在MRI以外的影像模态中区分良性和恶性肾脏病变的算法。此外,CEUS的成像质量及因此的诊断结果取决于临床医生的技能水平和可用性。
此外,尽管MRI通常不是检测偶发性肾脏病变的首选方法,但根据ACR偶发发现委员会的建议,尤其是在肾脏肿块性质不确定的情况下,MRI是被推荐的[40]。需要注意的是,没有任何单一的影像学方法能够明确区分良性和恶性肾脏病变。然而,将人工智能(AI)与MRI相结合已展现出令人鼓舞的结果,这证明了我们选择这种影像学方法的合理性。此外,我们并未纳入旨在提高MRI恶性检测效果的其他技术,例如Suresh de Silva等人探索的多参数MRI方法[41]。这是因为本文的主要关注点是AI,且目前关于新方法学的可用数据尚不充分。
此外,虽然确定性敏感性分析可能考虑某些参数的变动,但无法从模型中获取针对每种具体情况的建议,因为使用基于决策模型的成本-效果分析在很大程度上依赖于输入参数。此外,本研究中AI的性能指标基于Xi等人的一项单一研究,该研究使用一种研究算法在其训练数据集的一个分割子集上进行了测试[8]。已发表的AI算法数据可能因研究设计、训练队列和扫描仪的不同而存在很大差异。同时,Xi等人的队列中大多数患者来自美国,少数患者来自中国。尽管Xi等人的研究是比较AI与四位专家放射科医生在偶发性肾脏病变鉴别中性能的最大规模研究,但未来该主题的研究可能会显示不同的结果[8]。已有若干研究评估了AI在区分良性和恶性肾脏肿块方面的有效性[42–44]。例如,Maasa'a等人采用基于MRI的影像组学和机器学习来评估160名患者中182个肾脏病变的鉴别[43]。类似地,Wentland等人将基于CT的影像组学和机器学习与放射科医生的判读进行了比较,聚焦于148个肾脏肿块[44]。为优先考虑现实性,我们在研究中选择了Xi等人的研究,因其具有大型多中心队列[8],选择这一具体示例是因为在本研究背景下整合多项研究结果存在挑战。
总之,我们的研究表明,考虑到患者获益和经济因素,基于AI的算法的潜在整合可能成为区分良性和恶性偶发性肾脏病变的有价值工具。然而,必须认识到,我们的分析基于多种假设和诊断准确性的不确定性,仅作为在基于单一文献的假设情景中处理这些考量因素的示例。建立AI应用相关潜在成本的基准可能有助于加速此类系统向临床常规的转化,同时需牢记我们研究结果的推测性本质。
引用
- Marka AW, Luitjens J, Gassert FT, et al. Artificial intelligence support in MR imaging of incidental renal masses: an early health technology assessment. Eur Radiol. 2024. PMID: 38388721. doi:10.1007/s00330-024-10643-5
- 全文:PMC11364579(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11364579/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。