文献速递泌尿生殖技术与安全MR

多中心前列腺多参数MRI数据集中的自动序列识别用于临床机器学习

Automatic sequence identification in multicentric prostate multiparametric MRI datasets for clinical machine-learning.
PubMed 文献 · Insights Imaging · 2025-03-27

该回顾性研究基于11个中心的4045项前列腺mpMRI检查(31,053个序列)训练XGBoost和CatBoost模型,自动识别T2W、DWI、ADC、DCE及其他序列类型。XGBoost在留出测试集F1分数高于0.97,CatBoost高于0.95;但留一组交叉验证显示,未参与训练的中心数据上F1分数下降,提示需要中心特异性数据。

要点

  • 基于DICOM元数据的自动序列识别在多中心前列腺mpMRI中F1分数高于0.95(CatBoost)和0.97(XGBoost)。
  • 留一组交叉验证中,T2W、DCE和其他的F1分数分别下降0.146、0.181和0.179,CatBoost下降更大(-0.265)。
  • 时间验证中T2W/DWI/ADC三联序列全部正确预测,但最佳性能仍需中心特异性数据。

核心结论

  • 自动序列类型识别可行且能实现自动化数据整理,但需纳入数据集特异性数据以达到最佳性能。

研究设计与样本

  • 回顾性研究,训练集为4045项前列腺mpMRI研究(31,053个序列),来自11个中心,采集时间在2022年3月31日之前。
  • 测试集为1004项研究(7891个序列),来自相同中心;时间验证集为102项研究,采集于2022年3月31日至2024年3月1日,来自4个中心。
  • 使用DICOM元数据训练XGBoost(自定义分类token化)和CatBoost(原始分类数据)模型,采用5折嵌套交叉验证。
  • 参考标准为放射科医生对序列类型的标注;时间验证中仅标注轴位T2W、DWI、ADC三联序列。

诊断标准与关键数值

  • 序列分类为5类:T2加权(T2W)、扩散加权图像(DWI)、表观扩散系数(ADC)、动态对比增强(DCE)和其他序列类型(others)。
  • 留出测试集F1分数:CatBoost持续高于0.95,XGBoost持续高于0.97。
  • 时间验证中102例的T2W/DWI/ADC三联序列全部正确预测,73%的 nuisance 序列被正确识别。
  • 学习曲线显示多数模型在使用2–10%训练数据(约600–3000例)时性能稳定。
  • 留一组交叉验证中F1分数下降:T2W -0.146、DCE -0.181、others -0.179;CatBoost下降更大(-0.265)。

临床应用与阅片要点

  • 作者提出基于元数据的启发式规则:通过方向余弦矩阵第二列绝对值最大索引(0、1、2分别对应矢状、冠状、轴位)识别轴位T2W序列。
  • 作者提出排除层间距≥4.0 mm的T2W序列(使用DICOM标签0018,0088)。
  • 作者提出通过图像类型属性(0008,0008)中的「EADC」排除指数ADC。

局限性

  • 留一组交叉验证显示,未参与训练的中心数据上性能一致下降,最佳性能需要中心特异性数据。
  • T2W、DCE和其他序列类型在留一组交叉验证中性能下降较大,DCE和T2W常被误分类为其他序列类型。
  • ADC在排除序列描述的模型中更常被误分类为DWI,可能因其他标签(如扩散b值)被错误包含在ADC序列中。
  • 时间验证中 nuisance 序列被误识别为T2W、DWI或ADC的比例分别为14%、12%和0.8%。
全文中译17 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Insights Imaging. 2025 Mar 27;16:75. doi: 10.1186/s13244-025-01938-2

引言

基于影像数据的临床机器学习(ML)是一个不断发展的领域[1–4],在数据集组织方面存在明确的需求——不同数据源之间需要具备互操作性以实现有意义的标注,且序列类型必须被标注和识别[5]。目前,大量医院和临床中心拥有内部图像归档与通信系统(PACS),其中包含大量数据,但将这些数据用于临床ML模型训练仍面临具体的技术和人员挑战[6]。

阻碍这一具体实施的一个问题是,将前列腺多参数MRI数据集(由T2加权、弥散加权、表观弥散系数(ADC)和动态对比增强图像组成[7])组织为特定数据类型,同时排除辅助/非必需序列。此前一些工作在全身体CT序列类型分类[8]或识别特定脑部影像对比[9, 10]方面聚焦于这一任务。这些方法使用基于深度学习的方法,而我们在本研究中避免使用此类方法。相反,我们专注于利用医学数字成像和通信(DICOM)文件中可用的元数据来分类序列类型,因为就不同临床中心通常可用的计算资源而言,这更为现实。事实上,我们的方法类似于Liang等人针对脑部MRI所描述的方法[11]。他们的研究表明基于元数据的序列识别具有巨大潜力,但相对较小的样本量以及缺乏在外部机构数据上的测试削弱了该工作的稳健性。

在此,我们提出一个基于DICOM元数据的序列类型分类框架,用于自动整理大量数据。使用一个大型多中心数据集,我们还研究了当这些方法应用于训练数据中未包含的中心数据时性能如何下降。最后,我们提供了一小组有助于整理大型前列腺mpMRI数据集的启发式规则。该工作流程是在ProCAncer-i1的背景下开发的,该联盟总部位于欧洲,专注于收集和开发用于前列腺mpMRI的临床ML模型。

方法

我们在图1中展示了训练和推理工作流程。简言之,使用一个大型DICOM元数据-序列类型对数据集,通过5折嵌套交叉验证训练XGBoost和CatBoost模型,在此期间对超参数进行调优。验证使用留出集和时间测试集进行。对新数据(DICOM序列)的推理遵循两步流程——(i)DICOM元数据提取和(ii)使用性能最佳的模型进行分类。

图1 基于元数据的DICOM序列类型分类。示意图描绘了本工作中采用的工作流程。上部(训练):XGBoost和CatBoost模型在大量已标注的DICOM元数据-序列类型对数据集上进行训练,并在留出测试集和时间测试集上进行验证。下部(推理):性能最佳的模型在元数据提取后应用于无序列类型标注的新DICOM数据。每种颜色对应一种序列类型(T2W、DWI、ADC、DCE、其他),形状对应DICOM文件(方形)或元数据(斜方形) 查看原图 ↗

数据集

共使用2022年3月31日之前获取的4045例回顾性前列腺mpMRI研究,来自ProstateNet2的31,053个序列,用于训练机器学习模型(表1)。每个序列被标注为以下之一:T2W(T2加权)、DWI(弥散加权图像)、ADC(表观弥散系数)、DCE(动态对比增强)和其他(包括任何其他通常不专门用于诊断或机器学习应用的模态)。这些研究来自11个不同中心(表2)。用于测试的1004例研究共7891个序列来自相同中心并进行了标注(表1)。在不同中心进行回顾性数据收集时免除了知情同意。

表1 按序列类型分层的训练和测试数据集大小 查看原表 ↗
表2 各中心的研究数量 查看原表 ↗

自动整理

元数据提取

使用pydicom(一个用于DICOM数据处理的Python包)从每个序列中提取特定的元数据字段。当每个字段存在多个唯一值时,将这些值处理为包含所有唯一值的单个字符串值,以空格分隔。为在不删除重要信息的情况下协调数据,我们使用以下数据清洗方案清理每个元数据字段:使用正则表达式替换从序列描述中移除日期(即将[0-9]+[/-:][0-9]+[/-:][0-9]+替换为空序列);

缺失值替换为-;

一组非空格字符(|、-、;、、、(、)、_、:)替换为空格字符;

压缩空格(如果存在多个连续空格,则替换为单个空格)。

鉴于每个序列具有任意数量的DICOM文件(切片),识别每个序列的唯一值,并使用每个序列以空格分隔的唯一值集合将给定序列中的每个元数据字段表征为单个值。

机器学习辅助标注

测试了两种机器学习模型,CatBoost和XGBoost,因为这两种方法均允许缺失数据且需要很少的超参数优化。CatBoost还有一个额外优势,即不需要对字符串进行显式分词(如有必要,这在训练期间内部完成)。字符串分词是将字符串拆分为相关元素(子字符串)集合的过程。两种模型均在一台配备图形处理器卡(NVIDIA GeForce RTX 3090)、8核和256GB RAM的机器上进行优化,以预测5个不同类别之一——T2W、DWI、ADC、DCE和“其他”。

与CatBoost不同,XGBoost需要对字符串进行显式分词。为此,我们将字符串列视为属于两种类型之一——分类列(包含字母数字字符混合的列)和空格分隔的数值列(包含以空格分隔的数字字符混合的列)。为处理前者,我们使用每序列最低频率0.01(每个子字符串应至少出现在1%的数据中)以及最小和最大n-gram大小分别为1和5(每个字符串最多可拆分为5个子字符串)对字符串进行分词。空格分隔列中的每个值用5个不同特征进行汇总——字符数及其总和、均值、最小值和最大值。这些操作确保字符串列被转换为数值集合,可直接供XGBoost使用。

几乎所有检索到的元数据标签都用于训练(补充表1),一些模型使用替代特征集进行训练。特别是,我们使用4个特征集训练模型:(i) 所有特征;(ii) 不含序列描述;(iii) 不含视野(FOV)和比吸收率(SAR);以及iv) 不含序列描述、FOV和SAR。每个模型使用5折嵌套交叉验证进行训练;在内循环中,使用随机网格搜索(补充表2)随机选择一组超参数,共迭代50次,并使用5折分层交叉验证以各类别平均F1分数估计性能;模型使用表现最佳的参数重新训练,预期性能通过外循环估计。

为确定每个中心的数据对分类性能的重要性,进行了留一组交叉验证分析(LOGOCV)。在此分析中,每个验证折由给定中心的全部数据组成,训练数据属于任何其他中心的数据。

学习曲线分析

建立学习曲线以确定样本量与性能之间的关系。模型使用1%、2%、5%、10%、25%、50%、70%和100%的数据进行训练,并在相同的留出测试集上测试。我们使用两步法来检测更多数据是否能带来性能提升。该方法首先检测性能提升速率是否发生变化。然后,我们确认在此点之后性能是平稳的(即随着训练样本数量的增加,性能保持稳定)。我们在补充方法中提供了更多细节。

时间验证

我们使用来自4个中心(西班牙Quirónsalud;立陶宛国家癌症研究所;英国皇家马斯登医院;西班牙瓦伦西亚La Fe医院)的102项随机时间研究(收集于2022年3月31日至2024年3月1日之间)来验证我们的模型。对于此任务,放射科医生被要求识别临床机器学习模型开发中通常使用的三种序列(轴位T2W、DWI、ADC;其他序列类型未识别)。进行此验证是为了评估随时间推移是否可观察到预期的性能下降,因为这有助于更好地理解这些模型在实施后是否应更新。

统计分析

为评估机器学习模型性能,我们关注三个指标——F1分数、召回率和精确率——以及混淆矩阵。为确定我们的数据中是否存在统计学显著差异,我们使用交叉验证性能并应用线性回归检验,使用留出测试集以控制不同建模决策对性能的影响。我们使用0.05的显著性阈值。

模型训练使用Python(版本3.11.8)中的CatBoost(版本1.2.2)[12]、XGBoost(版本2.0.3)[13]和scikit-learn(版本1.4.1.post1)[14]进行。所有事后分析使用R(版本4.1.2)进行;断点分析使用segmented包(版本2.0-3)[15]进行。

启发式方法的推导

尽管预测方法在序列类型分类方面可以表现得非常出色,领域知识也可以得到很好的利用。更具体地说,我们观察了预测输出中是否存在由于分类本身缺乏特异性而导致的反复出现的错误(即,可能重要的是要具体识别轴位T2W,或者不仅要区分DWI还要区分高b值DWI),而这些错误可以通过应用领域知识轻松解决。通过这一过程,我们确定了一组启发式规则,我们在下文的结果部分中概述了这些规则,并描述了如何轻松应用它们。

结果

近乎完美的序列类型区分

虽然两个模型在所有序列类型上的性能误差都非常小,但一些相关的差异值得注意:XGBoost优于CatBoost——使用工程特征(即标记化字符串特征)训练的XGBoost优于CatBoost,后者使用有序目标编码和组合特征构建的自动化组合(图2;表3;表4)。虽然CatBoost执行此操作(与其他方法一起)以减少过拟合,但其预期效果并未观察到(我们最初假设这可能是序列描述等高变异性元数据字段的结果,但我们的分析表明,CatBoost模型在包含/排除序列描述之间的性能差异极小)。考虑到大部分T2W(通常在临床机器学习前列腺bpMRI模型中至关重要)经常被错误分类为其他序列类型,这一点尤其糟糕(图2C)。

包含所有特征导致XGBoost中DCE识别的性能下降更大——然而,这些性能下降相对较小(图2;表3),并且不太可能导致临床机器学习的数据集管理错误,因为这些通常只需要T2W、DWI和ADC,而且最大数量的错误分类实例是DCE被错误分类为其他序列类型或反之亦然。

图2 基于元数据的序列类型分类模型的性能。A、B分别为交叉验证和留出测试集指标,按模型(颜色)和序列类型(标记形状)分层。C留出测试集的混淆矩阵,按模型和序列类型分层 查看原图 ↗
表3 按测试划分(交叉验证或“CV”和留出测试集或“Test”)分层的所有序列类型和所有模型的平均性能 查看原表 ↗
表4 线性模型的系数值、其相关标准误(Std. error)和单因素t检验,其中留出测试集F1分数为因变量,对应于模型、特征集和序列类型的分类因子为自变量 查看原表 ↗

学习饱和表明模型性能接近最优

模型可能需要更多数据才能达到最优性能。为了理解训练数据集大小与性能之间的这种关系,我们使用递增的训练数据比例训练模型,并在相同的留出测试数据上进行评估。

我们表明,当使用2–10%的训练数据时,大多数模型的性能趋于稳定,相当于大约600–3000个病例(图3)。当情况并非如此时——无SD/%FOV/SAR和无%FOV/SAR的XGBoost模型的精确率、无SD/%FOV/SAR的XGBoost模型的召回率,以及无SD/%FOV/SAR、%FOV/SAR和SD的XGBoost模型的F1分数——这可能是由于DCE识别性能不一致所致。换言之,在模型获得可接受数量的数据后,大多数情况下性能相对稳定,这意味着最佳性能所需的数据量小于最初标注的数据量。

图3 留出测试集上序列类型分类模型的学习曲线。x轴表示训练期间使用的数据比例,y轴表示各指标的值。图按序列类型(颜色)分层。黑线表示各比例下的平均性能。灰色阴影区域对应恒定性能 查看原图 ↗

序列类型判别需要数据集特异性病例

这些模型的泛化能力不仅取决于其在留出测试集上的性能,还取决于当某个中心的数据未在训练期间收集时它们的表现。LOGOCV性能显示,当模型在训练期间未出现的中心数据上进行测试时,性能持续下降(图4A)。

然而,与XGBoost模型相比,CatBoost模型的F1分数下降幅度 considerably 更大(表5)。此外,不同的特征集不一定导致更大的性能下降,而不同序列类型的性能下降非常明显。事实上,ADC和DWI似乎仍然相对容易识别,而DCE、T2和其他序列则遭受更大的性能下降(图4B)。重要的是,对于XGBoost模型,DCE和T2W经常被分类为其他序列类型。此外,ADC更频繁地被分类为DWI,尤其是在排除序列描述的模型中;这可能是由于放射科医生在序列描述中包含了序列特异性信息,而我们观察到其他标签(即扩散b值)可能被错误地包含在ADC序列中,使其与DWI更相似。

表5 线性模型的系数值、其相关标准误(std. error)和单因素t检验,其中LOGOCV与CV性能之间的F1分数差异为因变量,对应于模型、特征集和序列类型的分类因素为自变量 查看原表 ↗

时间验证凸显一致性

这些模型的时间验证显示了其一致性——事实上,将表现最佳的方法应用于2022年3月31日之后获得的102个病例集显示,放射科医生识别的T2W、DWI和ADC三元组均被正确预测,大多数干扰序列类型被正确识别(73%)。

一些干扰序列(放射科医生未标记为T2W-DWI-ADC三联组一部分的序列)被识别出来(分别有14%、12%和0.8%的干扰序列被识别为T2W、DWI或ADC)。然而,我们注意到所有被误识别的T2W均被正确识别,但不符合深度学习的要求(矢状面或冠状面方位),具有更大的视野,或与放射科医生选择的T2W相比质量较低;同样,被误识别为DWI序列的干扰序列对应于较低b值序列,而被归类为ADC序列的干扰序列对应于重复的ADC图(可能是基于DWI序列的不同b值集重新计算的)。

附加序列分类启发式方法

我们识别了一些附加启发式方法,以进一步优化下游机器学习分析的序列标注。在此,我们展示并提供这些方法,以便其他从事大型前列腺mpMRI数据研究的研究人员使用(图5):T2W中轴面序列的识别——轴面的识别至关重要,因为在检查完成之前可能会获取多个不同方位的T2W序列。为了识别T2W轴面序列(与DWI和ADC序列具有相同方位),我们首先取方向余弦矩阵的第二列(对应于z平面上的方位)并识别最大绝对值的索引。该值——0、1或2——分别与三个可识别方向——矢状面、冠状面和轴面——直接对应。

排除T2W中大层间距——根据我们的经验,前列腺T2W通常以约3 mm的层间距获取。排除层间距较大的序列很简单:使用DICOM文件中的层间距标签(0018,0088),即可轻松提取;然后我们保留所有层间距< 4.0 mm的T2W序列。

排除指数ADC——指数ADC(eADC)在定量上与常规ADC不同,后者在ProstateNet中更为丰富。为排除eADC,我们利用了ADC DICOM文件中的图像类型属性(0008,0008):当图像为eADC时,该属性包含“EADC”。

排除合成DWI——合成DWI(sDWI)是由两个不同b值的常规DWI获得的复合图像。虽然它们可能具有额外的诊断性能[16],但我们仅专注于提取和处理常规DWI。因此,我们通过在被预测为DWI的序列的小写序列描述属性(0008, 103E)中识别“synthetic”的存在来排除sDWI。

基于b值的DWI选择——bpMRI/mpMRI研究中有多个DWI序列并不罕见;然而,最新的PI-RADS指南(PI-RADS v2.1)确定评估单个高b值(约1400)DWI即可[17]。考虑到这一点,使用(0018, 9087)标签选择最高b值序列相对容易。然而,取决于扫描仪制造商,扩散b值标签可能未被指定。例如,GE或Siemens可能分别使用(0043, 1039)和(0019, 100c)私有标签。考虑到这一点,自动化数据管理开发人员在其研究中选择高b值DWI时应牢记这一点。

图4 留一组交叉验证性能。A 按模型(颜色)和序列类型分层的交叉验证指标;每个点代表平均或加权平均性能(用不同形状表示)。B 按模型和序列类型分层的混淆矩阵 查看原图 ↗

讨论

在本研究中,我们概述了一种简单的方法,并对前列腺MRI元数据的序列类型分类进行了全面的验证分析。我们表明性能总体良好,但需要中心特异性数据。最后,我们概述了一些进一步促进自动策展的启发式方法。

此处实现的性能与其他使用基于元数据或基于深度学习的方法的研究[8–11]相对可比;特别是对于前列腺MRI,基于深度学习的方法也显示出显著性能(外部测试集性能的召回率> 90%)[18]。特别是,使用更大样本量(11,000个序列)进行脑MRI序列类型分类时,Jonske等人表明,在仅元数据模型中包含深度学习模块带来的性能提升相对较小(同一方法包含和不包含深度学习模块的准确率分别为91.31%和92.71%)[19]。这证明基于元数据的序列类型分类方法表现良好,而基于深度学习方法的增益有限。

该领域的先前工作显示出相对良好的性能,同时数据集规模较小[8–11];其他人使用相当大的数据集(> 10,000个序列)[19, 20]或比此处使用的数据集大得多(600,000个序列)[21],在脑MRI序列类型分类中显示出同样良好的性能。这种相对较高的稳定性表明在 vastly 不同的训练数据集大小和领域间具有稳健的性能。这是一个合理的结论——我们的学习曲线分析表明,大多数模型在约10%的数据甚至更小比例的数据下就出现相对一致的饱和。这些方面令人鼓舞,因为它们可能促使中心以较小的数据收集实施类似方法。

考虑LOGOCV性能时,性能方面相对较高的异质性可能与特定因素有关——虽然ADC或DWI具有指示性标签(即b值或图像类型)有助于分类,但私有标签可能使自动化元数据提取更加复杂;T2在方向和间距方面可能具有高度变异性;“其他”类别的异质性,包含许多不同类型的序列,可能阻碍跨中心的预测。这在脑MRI序列类型分类的其他研究中已有显示,强调了模型在外部队列验证时性能下降[20, 21]。在前列腺MRI中,这一结论在基于深度学习的模型中也已被强调——虽然在内部表现良好(大多数序列类型> 90%,与本文所述相似),但在外部测试集上存在一致的性能下降[18]。这种异质性源于标准临床实践——一项覆盖伦敦23台MRI扫描仪的小型研究揭示了惊人的协议异质性[22],而一项针对44位前列腺mpMRI专家的研究显示,在mpMRI采集、评估和解读的某些方面,共识不存在或难以达成[23]。换言之,尽管有指南可用,但在协议和数据采集方面存在显著的异质性,这些因素与扫描仪厂商、型号甚至软件版本叠加。

时间验证已成为机器学习验证中的关键因素,因为模型性能往往随时间退化[24];正如预期,这在临床机器学习模型中也同样发生[25, 26],这对于患者敏感型应用可能至关重要。在此,我们首次提供了基于元数据的序列类型预测器的时间验证实例,显示了 consistent 的性能,并提出了一组基于知识的启发式方法,可帮助开发者解决本工作多个验证阶段中出现的一些问题。

可以识别出一些局限性——像素信息未被测试,但有可能以增加计算成本为代价改善相对较差的LOGOCV性能。此外,我们注意到这里有大量机器学习模型本可以进行测试;然而,最近的基准测试表明,基于树的方法(如CatBoost或XGBoost)始终优于其他现代方法[27]。

图5 由启发式方法解决的歧义视觉示例。A 排除指数ADC(EADC)而选择常规ADC。B 排除合成DWI而选择采集的DWI。C 选择足够高的b值以实现更好的病灶检测(红色箭头代表潜在病灶的位置) 查看原图 ↗

结论

使用超过30,000个前列腺mpMRI序列的大型数据集,我们设计了一种方法,能够自动整理缺乏序列注释的大型数据集,在回顾性和前瞻性测试集中均表现优异。然而,一旦我们测试这些方法如何泛化到训练数据中不存在的数据集时,我们观察到性能下降,这阻碍了这些方法向外部队疗中心的转移。最后,我们概述了一组有用的启发式方法,医学信息学团队可用于协助大型前列腺mpMRI数据集的自动整理。

补充信息

补充信息

补充信息 作者姓名

引用

  1. de Almeida JG, Verde ASC, Bilreiro C, et al. Automatic sequence identification in multicentric prostate multiparametric MRI datasets for clinical machine-learning. Insights Imaging. 2025. PMID: 40146375. doi:10.1186/s13244-025-01938-2
  2. 全文:PMC12187622(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12187622/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。