机器学习在肝脏计算机断层扫描成像中的性能与临床适用性:一项系统综述
该系统综述纳入191项研究,评估机器学习在肝脏CT成像中的应用方式、性能表现和临床适用性。多数模型为深度学习(尤以卷积神经网络为主),在肝脏及病灶分割、分类、纤维化分期、转移预测等任务上表现准确,但多基于可靠的小样本数据,结果报告不标准化,亟需前瞻性临床验证。
要点
- 机器学习在肝脏CT成像中主要用于肝脏和病灶分割与分类、肝内血管分割、纤维化及肝硬化分期、转移预测和化疗评估。
- 多数模型为深度学习模型,主要使用卷积神经网络;部分研究报告在可靠但小样本数据上表现非常准确。
- 结果报告不标准化,许多研究缺乏置信区间或标准误,临床验证不足,亟需前瞻性临床验证研究。
核心结论
- 机器学习在肝脏CT成像中有多种应用,部分研究在可靠但小样本数据上表现非常准确,但结果报告不标准化,亟需前瞻性临床验证研究。
研究设计与样本
- 系统综述,遵循PRISMA-P声明及诊断准确性研究扩展声明,检索Medline、EMBASE和Web of Science 2011年1月1日至2021年10月31日发表的文献。
- 共纳入191项研究,检索式聚焦人工智能、肝脏和计算机断层扫描三个主题词及其同义词。
关键影像表现/征象
- 肝脏分割研究84项,DICE评分最高0.9851、最低0.75,仅11项报告置信区间或标准误。
- 病灶分割研究60项,DICE评分范围0.44–0.96,体积重叠误差(VOE)范围0.01–0.46 mm;多数模型对直径大于2 cm的病灶分割能力显著,对直径小于1 cm的病灶分割仍困难。
- 病灶检测研究20项,性能主要以准确率和精确率报告,仅2项报告置信区间或标准误。
- 肝脏或病灶分类研究47项,准确率范围0.76–0.99,AUC范围0.68–0.97,精确率范围0.82–1.00,仅3项报告置信区间。
- 其他研究37项,包括肝纤维化分期、肝血管分割(DICE 0.68–0.98)、病灶检索、结直肠癌肝转移预测(AUC 0.86±0.01与0.747±0.036)、肝内胆管结石分割(DICE 0.90和0.71)、化疗或放射栓塞疗效评估(准确率0.97、敏感度0.93、特异度1.0)及Child–Pugh分级预测(准确率53%,A vs B准确率78%、敏感度81%、特异度70%、AUC 0.80)。
诊断标准与关键数值
- 肝脏分割以DICE评分评估模型预测像素是否包含肝脏的能力,最高0.9851、最低0.75。
- 病灶分割以DICE评分(范围0.44–0.96)和体积重叠误差(VOE,范围0.01–0.46 mm,0为最优)评估。
- 肝脏或病灶分类以准确率(0.76–0.99)、AUC(0.68–0.97)和精确率(0.82–1.00)评估。
- 肝纤维化分期依据Metavir或Fibrosis-4分类,机器学习组与3位放射科医师评估相比结果更准确。
- Child–Pugh分级预测准确率53%,Child–Pugh A vs B分类准确率78%、敏感度81%、特异度70%、AUC 0.80。
临床应用与阅片要点
- 机器学习可用于肝脏及病灶的像素级分割和分类、肝纤维化分期、转移预测及从相似病例中检索相关肝脏病灶。
- 阅片时需注意模型对直径小于1 cm的病灶分割仍困难,且CT图像质量影响模型预测。
- 作者建议读者谨慎评估文献中机器学习模型的性能结果,并建议默认报告标准误和置信区间。
- 作者推荐开展进一步前瞻性临床研究,并呼吁临床医师与计算机科学家合作以实现机器学习方法的安全临床应用。
局限性
- 原文指出多数研究在可靠但小样本数据上表现准确,结果报告因缺乏细节而很少恰当。
- 原文指出缺乏对模型和数据(训练与验证)的完整记录以评估质量和泛化能力,临床验证不足。
- 原文指出62项研究在模型性能报告方面存在此类缺陷,标准误和置信区间报告常缺失。
- 原文指出获取高质量数据受限以及缺乏临床验证是文献中的主要问题。
- 原文结论推荐进一步前瞻性临床研究,并指出需要技术与医学研究更紧密互动。
全文中译11 节 · 点击展开
引言
对于若干与医学影像相关的任务,机器学习(ML)正逐渐成为一种新的可靠工具,这得益于其高性能以及构建复杂预测模型的卓越能力[1]。在美国和欧洲,已有超过220种使用机器学习的医疗器械获得批准[2]。自2014年以来,这一发展稳步增长。如今,机器学习软件可被视为一种医疗器械[3]。
计算机断层扫描(CT)成像在肝脏疾病的诊断和治疗后随访中发挥着重要作用[4]。将基于机器学习的工具应用于CT图像已显示出有前景的结果[5]。理论上已在以下任务中进行了测试:肝脏、病灶、血管和肝内胆管的识别与分割[6],肝组织特征的定量分析[7],癌症治疗评估以及肝病预测[8, 9]。
最近发表的一项系统综述和荟萃分析展示了深度学习(DL)在眼科、呼吸医学和乳腺外科中的诊断准确性[10]。此外,在机器学习应用于肝脏影像的亚领域已发表了有限的文献综述[11–13]。然而,文献中并未全面阐述机器学习在肝脏影像中的性能和临床适用性。
在PROSPERO——一个前瞻性注册的健康和社会照护领域系统综述数据库[14]——中进行检索,未发现在这一快速发展领域中有即将发表的文献。因此,我们从临床角度开展了一项系统综述。
本综述旨在回答以下问题:(1)机器学习如何应用于肝脏CT成像?(2)机器学习系统在肝脏CT成像中的表现如何?(3)机器学习在肝脏CT成像中的临床应用是什么?
由于文章篇幅原因,本文的部分重要内容见电子补充材料。
方法
本系统综述按照“系统综述和荟萃分析优先报告条目”诊断准确性研究扩展版声明的指南进行[15]。文献研究的筛选和检索按照Cochrane系统综述手册进行[16]。在Medline、EMBASE和Web of Science中进行了检索,纳入2011年1月1日至2021年10月31日期间发表的研究。检索策略由扩展的MeSH术语、Emtree术语和自由文本组成,以查找标题、摘要或关键词中包含“Artificial intelligence”和“Computed tomography”和“liver”(或包含三者所有可能的同义词)的所有研究。确切的检索策略见电子补充材料。
在考虑研究质量时,我们确定了电子补充材料中给出的重要特征。建议的清单是全面的,研究即使未满足所有要求,也可能具有相当的信息量且偏倚风险极低[17]。然而,如果一项研究仅遵循了少数特征,则不被认为具有充分的临床使用文献记录。
结果
检索分两个阶段进行,一次在2020年10月,一次在2021年10月。共有191项研究纳入综述。筛选过程见图1中的PRISMA流程图[18]。所选研究总结于表1,详细信息见电子补充材料。
我们遇到了具有19种不同研究目的的研究。为了使比较和讨论更加可行,我们根据研究目的将这些研究分为五组:(1)肝脏分割;(2)病灶分割;(3)病灶检测;(4)肝脏或肝脏病灶的分类;(5)杂项/其他。研究目的在电子补充材料中说明。由于多项研究具有多个研究目的,各组之间存在一些重叠。纳入研究的详细特征见补充表格。
肝脏分割
在纳入的研究中,有84项研究将肝脏分割作为主要或次要研究目的。其中,51项为期刊论文[20, 24, 29–35, 38–41, 43–47, 49, 55–58, 62, 63, 65, 68, 70–79, 81, 84–87, 89, 91, 93–95, 97, 98, 196, 197],33项为会议论文[19, 21–23, 25, 26, 36, 37, 42, 48, 51, 53, 54, 59–61, 64, 66, 67, 69, 80, 82, 83, 88, 90, 92, 96, 99, 100, 103, 198]。肝脏分割是从CT上作为整个肝脏进行的,而非临床分段,例如肝脏的Couinaud分段。总体而言,该组研究以技术上可靠的方法做出了相当大的贡献,并在机器学习的各个子领域进行了实验,尤其是深度学习(DL)。
许多近期研究通过使用外部验证方法提供了更好的泛化能力,质量有所提高。尽管与人类专家直接比较是首选,但仅发现11项研究进行了此类比较。
该研究组暗示了获取标注医学数据的困难,因为三分之二的研究使用公开可用的数据集来训练或测试其机器学习模型。LiTS 2017的数据集使用最为频繁,其测试集包括131名患者[199]。
许多研究在报告模型性能时体现了透明性,但在87项研究中,仅11项报告了置信区间或标准误的结果;因此,该组中进一步的结果分析不可行。
该组大多数研究使用DICE评分来描述模型预测哪些像素包含肝脏的能力。报告的最高DICE评分为0.9851 [41],最低评分为0.75 [94]。描述模型性能的其他指标较为分散,包括AUC-ROC和准确率(表2)。Dong等人还报告了其研究中DICE为0.92、准确率为0.9722,AUC为0.96。该组研究的参考文献见表3。
病灶分割
该组研究使用机器学习(ML)对CT图像中的肝脏病变进行分割。模型的目标是使分割病变与真实标注相比尽可能具有最高的真实性。60项研究将病变分割作为主要或次要研究目的。其中36篇为期刊论文[24, 29, 31, 32, 38, 46, 47, 55, 56, 62, 72, 78, 84, 91, 93, 94, 97, 98, 102, 111, 115, 117, 118, 122, 124, 125, 130, 133–135, 137, 138, 140, 201],24篇[22, 37, 42, 64, 65, 68, 82, 88, 92, 96, 99, 103, 108, 121, 124, 126–129, 131, 132, 136, 139, 200]为会议论文。
若干模型对直径大于2 cm的预测病变显示出显著的分割能力,而几乎每个模型在分割直径小于1 cm的病变时仍存在困难。然而,这与临床环境中的临床医生水平相当。模型预测病变的另一限制是CT图像质量。若干较新的研究使用了体素级(3D像素)分类。这可以利用更多可用信息并以3D形式输出以提高性能。
该组中通过外部验证以及机器学习与人类对比进行模型验证的情况正在改善,26项研究使用了外部验证。仅6项研究将其模型与人类专家进行了比较。
该组中超过一半的研究报告了DICE评分方面的性能。不同研究中评分范围呈偏态分布,范围为0.44–0.96;病变大小的选择在此处对更高性能或更高DICE评分起了关键作用。另一种信息性指标称为体积重叠误差(VOE),给出预测与真实标注在某一区域内的差异。因此,0为最优评分。22项研究报告了VOE,范围为0.01–0.46 mm。其他指标分散于不同研究中,包括准确率、AUC、精确率或阳性预测值(PPV)。少数研究以置信区间或标准误报告了其性能——该组研究的参考文献见表3。
病变检测
20项研究将病变检测作为主要或次要研究目的。这仅涉及检测CT图像中是否存在病变。其中15篇为会议论文[23, 26, 27, 87, 102, 104, 105, 107–110, 112–114, 119],5篇为期刊论文[101, 106, 111, 115, 202]。
若干较新的研究在利用机器学习从CT肝脏图像中分割病变或诊断病变之前先检测病变,但未报告模型病变检测任务的性能;因此,该组规模较小。
仅4项研究报告了外部验证。大多数研究从当地医院获取训练数据,仅8项研究使用了公开可用的数据集。深度学习(DL)是该组机器学习子领域的选择。
在所有组中,较新研究的性能报告被视为透明且详细。在该组中,性能主要以准确率和精确率报告,但5项研究仅报告了假阳性和真阳性率[26, 87, 101, 104, 115]。2项研究以置信区间或标准误呈现了其结果。值得一提的是,报告最佳精确率的研究仅在相对较小的公开数据集3D-IRCADb上进行了内部验证——该组研究的参考文献见表3。
肝脏或病变的分类
该组纳入的研究对病变或肿瘤的类型和严重程度进行分类、对肝细胞癌(HCC)进行分级,并区分HCC、血管瘤和转移瘤。大多数研究仅区分两个类别,例如将肿瘤分类为良性或恶性。47项研究将肝脏或肝脏病变的分类作为研究目的。其中34项为期刊论文[56, 71, 72, 74, 78, 141–146, 148–152, 154, 156–161, 164–172, 202, 203],13项为会议论文[27, 64, 65, 68, 75, 82, 119, 147, 153, 155, 162, 163, 204]。对于肝脏或肝脏病变的分类,传统机器学习(如支持向量机和随机森林模型)以及深度学习模型被普遍使用。
九项研究在基于竞赛的比较中将模型性能直接与一位或多位临床医生进行比较。仅12项研究使用了可公开验证的数据集,用于训练目的的数据集则更少。
准确率是该组呈现性能的首选方法;31项研究报告了准确率,范围为0.76–0.99。16项研究报告了AUC,范围为0.68–0.97。14项研究报告了精确率。精确率范围为0.82–1.00。需注意,Sreeja等和Romero等均报告了1.0的完美精确率,Sreeja等评论称这可能是由于其数据集规模较小[153, 155]。仅三项研究以置信区间呈现其结果——该组研究的参考文献见表3。
其他/杂项
我们发现的最后一个也是最多样化的可比较类别为杂项,包括29篇期刊论文[6, 8, 9, 33, 50, 52, 56, 71, 161, 164, 173–179, 181–184, 186–188, 191, 194, 195, 205, 206]和8篇会议论文[27, 180, 185, 189, 190, 192, 193, 207],共37项研究。这些研究的目的是临床导向的。
七项研究根据“Metavir”或“Fibrosis-4”分类[208, 209]进行了肝纤维化分期[33, 173–178]。四项研究将算法性能与人类专家进行比较,两项研究进行了外部验证。仅两项研究使用公共数据集进行肝脏分割目的;然而,所有七项研究均使用私有数据集进行纤维化分期的训练和验证目的。传统上使用SVM、k近邻等机器学习方法,但在近期研究中,使用不同分类器从肝脏图像中提取特征的基于CNN的系统正获得更多关注。Jung等使用肝脏和脾脏体积指数,并用CNN进行病理性肝纤维化分期[177]。将机器学习算法与3位放射科医生的肝纤维化分期评估进行比较,机器学习组结果更准确[33]。
六项研究从CT图像中分割肝脏血管,包括门静脉和肝静脉[52, 179, 183–185, 191]。12项研究报告了DICE评分,范围为0.68–0.98。四项研究报告了准确率,范围为0.91–0.98,均值为0.96,中位数为0.97。五项研究声明其模型经过了外部验证。
五项研究以检索局灶性肝脏病变图像为研究目的[50, 186, 187, 192, 206]。这些研究展示了模型如何通过检索病历中的相似病例(包括既往专家意见)来改善临床工作流程。
两项作为期刊文章发表的研究预测了结直肠癌患者的肝转移[8, 9]。他们报告的AUC分别等于0.86 ± 0.01(12)和0.747 ± 0.036。
一项研究聚焦于肝内胆管——肝结石中胆管和结石的分割,报告胆管和肝结石分割的DICE分别为0.90和0.71[6]。
三项研究聚焦于使用纹理分析对恶性肝脏病变化疗或放射栓塞后的疗效评估[161, 181, 182]。他们将纹理分析的预测与生存率和血清学反应进行比较,报告准确率为0.97、敏感性为0.93、特异性为1.0。这是在62例患者上训练并使用交叉验证测试后得出的结果。
两项近期研究使用Child–Pugh分级预测肝脏储备功能[164, 189],Thuring等人将其ML模型的结果与临床医生的结果进行了比较。Child–Pugh预测准确率为53%,Child–Pugh A vs B分类:准确率为78%、敏感性81%、特异性70%、AUC 0.80。Wang等人术前预测了HCC的早期复发。一项研究预测了接受经动脉化疗栓塞治疗的不可切除HCC患者的总生存期[176]。该研究还展示了临床数据与ML模型的融合。该组研究的参考文献见表3。
讨论
我们发现ML被应用于肝脏CT成像,服务于各种临床导向的目标,涵盖广泛的应用领域。
至少三分之一的研究被记录为在可靠但较小的数据上表现非常准确。遗憾的是,由于缺乏细节,性能报告很少是恰当的。据我们所知,尚不存在用于医学影像机器学习模型结果展示的标准化形式。
若干研究报告的模型已接近临床应用。然而,缺乏对模型和数据(训练和验证)进行详尽记录的临床验证,以评估质量和泛化能力。仅通过分析结果参数来评估模型将是不完善的[210]。
几乎所有从腹部CT图像中对肝脏结构进行分割的研究都使用了深度学习模型,主要是CNN的亚型。开放获取数据集和像LiTS 2017这样的竞赛对应用于肝脏成像的ML发展做出了重大贡献,因为超过280项研究以标准化格式报告了其模型性能,且该竞赛仍在持续进行并累积比较。U-Net作为CNN的一个子领域被许多参与者使用,并已显示出有前景的结果。本综述所纳入研究使用的数据集来源分布见图2。使用复杂模型并针对复杂目标,如自动肝纤维化分期、疗效评估、肝转移发生预测以及针对传统解剖标志(如Coineaud分类)的肝血管分割,正变得越来越普遍,这可能预示着该领域正在走向成熟。
机器学习系统在回顾性数据上在多个与CT成像相关的任务中显示出有前景的结果,一些分割研究报告的模型在腹部CT扫描中预测哪些像素或体素包含肝脏的能力超过98%。此外,多项研究报告了与真实标注相比95%的肝脏或肝脏病变分类性能。近年来,已识别的研究使用机器学习预测肝转移的发生或治疗效果、肝血管分割以及评估肝脏恶性肿瘤的治疗效果。这些结果显示约为真实标注的70–80%。
其他应用,如肝纤维化分期分类和良恶性病变预测,显示出有前景的结果以及机器学习在未来常规临床实践中产生高影响力的潜力。
模型性能的报告应以最先进的可视化方法给出,例如混淆矩阵。在分割任务等研究中,应报告测量平均表面距离及标准误等参数,以实现模型性能的全面透明性[116]。本综述中识别的62项研究在模型性能报告方面存在此类缺陷。这使得难以对该领域获得良好的整体理解,尤其是对临床医生而言。我们鼓励读者谨慎评估此类结果。
此外,标准误和置信区间的报告往往缺失。我们建议应默认报告这些内容。这一问题也见于机器学习在医学图像的其他应用中,我们同意Aggarwal等[10]所述医学应用需要报告标准的观点。
本综述已识别机器学习在肝脏CT成像中的潜在众多应用,尤其是在杂项组中目标来源于临床需求,而肝脏及其病变的分割可作为诊断和治疗规划工具实施。分类组中的研究可服务于不同病变的诊断,例如不同类型的良恶性肿瘤,或肝硬化的严重程度。尽管许多研究报告了有前景的性能,机器学习在肝脏CT成像中的临床应用仍必须通过临床验证和临床试验的通道[210]。
文献中识别的主要问题是高质量数据的获取受限和缺乏临床验证。外部验证在开发者中正变得越来越普遍,如图3所示,但不足以满足医学应用的要求。该领域迫切需要将重点转向临床验证。学者应在临床常规中开展可行性研究,并设计和开展前瞻性研究以验证机器学习工具在真实临床环境中的性能。开发者应在此过程中寻求与临床医生合作。本研究的优势与局限性以及未来展望见补充材料。
结论
我们在文献中发现了许多机器学习应用于肝脏CT图像的报道,包括自动肝脏和病灶分割、病灶检测、肝脏或病灶分类、包括胆管在内的肝血管分割、纤维化分期、转移预测、化疗作为肝细胞癌治疗的评估,以及从其他相似病例中检索相关肝脏病灶。若干研究被记录为在可靠但规模较小的数据上表现非常准确。深度学习方法模型和机器学习分类模型被普遍使用。然而,文献中对研究结果的呈现并不标准化。一些研究已接近充分报告临床相关性、数据特征和质量、算法特征和偏倚,以及外部数据上的性能指标等细节,从而可被认为已准备好用于临床。建议进一步开展前瞻性临床研究,并且显然需要更具互动性的技术和医学研究,以实现机器学习方法在该领域的安全临床使用。
补充信息
以下是电子补充材料的链接。补充文件1(PDF 176 KB)
引用
- Radiya K, Joakimsen HL, Mikalsen KØ, et al. Performance and clinical applicability of machine learning in liver computed tomography imaging: a systematic review. Eur Radiol. 2023. PMID: 37171491. doi:10.1007/s00330-023-09609-w
- 全文:PMC10511359(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10511359/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。