深度学习驱动的外部DICOM检查分类用于PACS归档
本研究提出MOMO算法,结合元数据匹配与神经网络集成,对外部DICOM检查进行自动分类以辅助PACS归档;在843项外部检查上达到92.71%准确率、2.63%轻微错误(预测力99.29%),优于商业产品(82.86%准确率)和纯神经网络集成(72.69%准确率)。
要点
- MOMO在843项外部检查上准确率92.71%,预测力99.29%,轻微错误2.63%。
- 商业产品准确率82.86%、轻微错误1.36%、预测力96.20%,MOMO准确率高出逾9%。
- 纯神经网络集成准确率72.69%、轻微错误10.3%、预测力99.05%。
核心结论
- 深度学习结合元数据匹配是外部DICOM检查自动分类用于PACS归档的一种有前景且灵活的方法。
研究设计与样本
- 回顾性研究,从本院PACS检索11,934个去标识化影像序列(来自4597次检查、76种检查类型)训练DenseNet-161与ResNet-152神经网络集成。
- 外部测试集为2021年1月4日至2021年1月8日到达本院的843项外部检查(来自522例患者、321家医院),由一名资深放射技师手工标注。
- 另由一名肿瘤科二年级住院医师对300项外部检查子集盲法标注,用于评估评分者间信度。
- 参考标准为手工标注的检查类型标签;以准确率、预测力、轻微与重大错误率评价性能。
诊断标准与关键数值
- MOMO在外部检查分类任务上准确率92.71%、轻微错误2.63%、预测力99.29%。
- 商业产品准确率82.86%、轻微错误1.36%、预测力96.20%;纯神经网络集成准确率72.69%、轻微错误10.3%、预测力99.05%。
- 轻微错误定义为分类正确但过于笼统(如将「MR胸椎」预测为「MR脊柱」)。
- 评分者间一致率为96.3%,Cohen kappa κ=0.958。
- 各模态神经网络每序列准确率:X线摄影最高97.1%(95%CI 96.2–98.0%),超声最低81.4%(95%CI 76.7–86.1%)。
临床应用与阅片要点
- 本研究中心的做法是影像检查遵循特定结构(一个检查文件夹含多个序列文件夹,每个仅含对应序列的DICOM文件),且DICOM标签条目(含检查名称)标准化。
- 对外部检查,元数据提取被编程为不依赖检查结构,并始终评估多个不同标签。
- 原文献引用Güld等发现DICOM标签Body Part Examined在15.3%的病例中不正确,提示元数据常不可靠。
局限性
- 若在算法参考数据库中加入许多相似关键词,会因假阳性导致错误预测增加。
- 部分类别在训练中代表性不足,可能削弱泛化能力。
- 训练数据集为自动标注,可能降低神经网络性能。
- 不同检查类型的组合性对基于单序列预测的神经网络构成问题。
- 训练数据的来源(单一机构)和数量是限制因素。
全文中译9 节 · 点击展开
引言
机器学习对医学领域产生了重大影响,尤其是在放射学领域[1]。在医学图像的自动化评估方面,在决策[2]、预测[3]和诊断[4]方面已取得了长足进步。深度学习一个常被忽视的应用是消除临床常规工作中的重复性任务。其中一项目前需要专职医技人员完成的任务是外部DICOM检查的处理和归档。来自其他医疗机构的患者经常提交其影像检查资料,然后这些资料被归档到当地医院的PACS中。这些检查的来源机构有时使用不同的语言、不同的操作命名标准、不同组成的影像检查,甚至不同的操作流程。对DICOM标准(如清晰的标注、文件结构和排序,参见例如[5])的依从性并不总是能够得到保证,Güld等人[6]发现DICOM元数据往往不可靠(DICOM标签“检查部位”在15.3%的病例中被发现是错误的)。因此被错误映射到当地检查命名体系的检查会导致问题,从医务人员无法识别用于诊断和治疗的相关检查,到不必要地安排某项操作。对既定标准缺乏依从性还会引发组合性问题——单次检查可能包含多个不同的序列,这些序列共同构成一个类别,而这种组合可能与接收医院的分类方案不兼容。
相关研究已使用多种深度学习策略进行身体区域分类(参见[7–11]),但均未以PACS归档的检查分类为明确目标,也未涵盖如此全面的模态列表。
与Dratsch等人[7]在同一背景下使用神经网络评估X线平片不同,本文作者提出将应用范围同时扩展到多种模态——CT、X线血管造影、X线平片、MRI、PET、超声和乳腺X线摄影。首先,我们旨在提供一种可整合到临床常规工作中的自动化分类算法。其次,我们旨在确立神经网络在此背景下的实用性,无论是作为组成部分还是作为独立解决方案。在本研究中,我们提出一种基于深度学习的方法,并将其性能与商业产品进行比较。
材料与方法
训练图像
在这项回顾性研究中,我们从当地PACS中检索了属于4597次独立检查的11934个去标识化影像序列。这些影像序列涵盖随机时间段和患者,来源于76种不同类型的检查。我们为每个类别获取了约150–200个影像序列,若不可用则获取更少。这些类别(见补充材料)包括我院最常见的检查类型。影像序列根据其在PACS中保存时所对应的类别进行自动标注。图像仅根据其序列描述符被排除(排除非代表性序列,如定位像),而非基于质量或人口学特征。这是合理的,因为外部测试集可能包含低质量扫描和此前未见过的图像组成。从内部数据集中随机抽取百分之十(各)的图像用于创建验证集和测试集以进行性能评估。
外部检查
我们收集了843项外部研究(来自2021年1月4日至2021年1月8日期间到达当地医院的522名患者),这些研究由医学技术人员的放射技师标注,该技师拥有数年经验并担任团队负责人。每项研究至少获得一个标签,若某些研究可被合理解释为多种研究类型,则获得多个标签。该外部测试集未在训练或微调过程中使用。在该数据集上的准确率和预测能力产生最终的性能指标。外部研究来源的细分见表1。
为了建立评分者间信度的度量,另一位评分者——一名具有放射学图像评估经验的肿瘤科二年级住院医师——对外部研究中的300项子集进行了标注。第二位评分者对第一位评分者的标签设盲。若两位评分者提供的标签中至少有一个匹配,则认为标签一致。
匿名化使用DicomDeidentify完成。作者在其代码仓库(https://github.com/luckfamousa/DicomDeidentify)中提供了被擦除或设为通用默认值的DICOM标签完整列表。
在我们机构,影像学研究遵循特定结构(一个研究文件夹包含多个序列文件夹,每个文件夹仅包含其各自序列的DICOM文件),且DICOM标签条目(包括检查名称)均已标准化。对于外部研究,情况通常并非如此,且两种标准均无法保证。因此,我们的元数据获取被编程为不依赖于影像学研究的结构,并且我们始终评估多个不同的标签。
图像预处理与神经网络训练
我们评估了两个神经网络:Resnet-152 [12] 和 DenseNet-161 [13],二者均在 ImageNet [14] 上进行了预训练。输入网络的图像首先被归一化到 [0,1] 范围。所有图像序列均被缩减为单通道灰度图像,并使用样条插值沿 X 轴和 Y 轴重采样至 512 × 512。二维图像序列通过沿 Z 轴堆叠第一层、中间层和最后一层,变为 512 × 512 × 3 图像。如果序列中仅有一张图像(例如单张超声图像),则同一图像被重复用于全部三个通道。三维图像沿 Z 轴重采样至长度 512。512 × 512 × 3 输入图像通过沿主轴构建最大强度投影(MIPs)来创建。为避免重采样误差,Z < 40 的序列被视为二维。在此背景下,二维图像的典型示例是单张超声图像或来自不同视角的一组放射学图像。三维图像的典型示例是高分辨率 CT 或 MRI 图像序列。该过程如图 1 所示。
如果图像具有时间轴,则要么将其视为二维图像序列(对于 2D+T 图像),通过堆叠第一个、中间和最后一个时间步来创建 512 × 512 × 3 图像,要么在时间中点进行采样,然后像常规三维图像一样处理(对于 3D+T 图像)。
训练期间图像被随机翻转或旋转(概率 p = 0.2),因为外部图像上的图像方向可能变化。性能使用交叉熵损失进行评估。网络使用迁移学习进行训练,冻结除最后一层和分类器之外的每一层(超参数见补充材料)。为消除不必要的交叉污染,我们为除 PET 之外的每种模态创建了一个独立网络。对于 PET CT/MRI 研究,CT/MRI 图像由各自的网络评估。PET 图像本身在训练或推理期间未被使用。
此外,使用留出验证集进行温度缩放,使网络置信度成为具有统计意义的概率 [15]。这对研究预测准确性有积极影响(见补充材料)。
MOMO
模态映射与编排(MOMO)算法采用分层结构(见图2)。在每一步中,MOMO尝试进行一次预测。如果成功,则返回该预测;否则继续进入下一步。在默认配置中,算法首先将检查的检查代码(DICOM标签)与已知条目进行匹配。接下来评估检查描述。如果两者均失败,则尝试对检查描述进行部分匹配。此后,从检查中每个序列提取所有预先指定的元数据键,并尝试将这些键与预先指定的关键词列表进行匹配。每个匹配权重相同,以简单多数决定预测结果。规则系统根据配置文件(见补充材料)禁止或修改某些投票。在出现平局或未给出任何投票的情况下,对所有影像序列进行重采样并输入到与其模态对应的神经网络中。每个网络预测产生一票,按预测置信度加权。所有投票被求和并评估。
我们设计并评估了一个小型蒙特卡洛实验,作为该投票方法在理想化环境中的概念验证(见补充材料)。
代码(包括使用说明和一个公开可用的测试案例)可从 https://github.com/TIO-IKIM/MOMO_Submission_Code 获取。
统计分析
为评估神经网络在单序列层面的性能,使用五折交叉验证在内部测试集上计算其准确率。准确率以95%置信区间报告。
MOMO在外部数据集上进行评估,并与Pan-Importer [16]进行比较,后者是在我们机构执行分类任务的商业产品。进行了消融研究,通过将网络移至决策层级中更高的位置来增加网络的决策权(见表2)。对于每种算法,我们在外部测试集上报告正确预测百分比、轻微错误和重大错误、准确率以及网络贡献。如果分类正确但过于笼统(例如,预测为“MR Spine”而非“MR Thoracic Spine”),则该错误被视为轻微错误,因为这不会导致进行不必要的检查或导致检查无法被找到。此外,我们报告每种算法中哪一部分负责了多少次预测。
结果部分报告的我们算法各变体的层级结构细分见表2。
结果
我们在蒙特卡洛实验中(见补充材料)验证了MOMO投票方法(图1)的合理性,表明研究级预测准确率随研究中序列数量的增加呈非线性增长。
我们针对不同成像模态评估了多个神经网络。网络的准确率见表3,并在有可用数据时与当前最先进水平(SOTA)进行比较。我们在所有模态上均达到了可比性能。传统X线摄影获得了最高的预测准确率(97.1%,CI:96.2–98.0%),优于当前SOTA [7],超声最低(81.4%,CI:76.7–86.1%)。
我们还探索了MOMO的研究分类性能,测试了多种设置和结合元数据与图像信息的方法。性能评估结果见图3。仅网络集成达到了99.05%的预测能力、72.69%的准确率和10.3%的轻微错误率。商业产品达到了96.20%的预测能力、82.86%的准确率和1.36%的轻微错误率。
总体而言,我们发现MOMO的混合版本表现最佳,在单次大型投票中利用了所有元数据和神经网络。它显著优于其他变体,得分为99.29%的预测能力、92.71%的准确率和2.61%的轻微错误率(使用交叉验证性能最佳的网络)。
根据“外部研究”部分所述的一致性标准,评分者间一致性为96.3%,Cohen's kappa为κ = 0.958。该值可被视为人类在此任务上表现的近似基线。
图4展示了MOMO不同变体预测所依据的信息来源细分。神经网络集成具有最高的预测能力(99.05%的预测能力;若首先评估Procedure Code或Study Description的精确匹配,则为90.27%的预测能力),其次是Study Description的模糊匹配(若首先评估精确匹配,则为74.40%的预测能力)。
讨论
不同医院使用不同的方法来结构和命名影像检查。这通常需要在将此类检查导入本地数据库之前进行人工识别。在本研究中,我们提出了MOMO,一种由深度神经网络集成支持的元数据驱动算法。它被训练用于识别身体区域并自动分类检查。我们发现,仅网络集成即可达到与商业产品相似的性能,而MOMO优于两者。我们发现神经网络提供了预测能力的提升,在我们的任务中,使用神经网络的MOMO变体达到了最佳性能。
可比的单序列预测的最新水平由Dratsch等人[7]针对平片和Raffy等人[8]针对CT和MRI给出,而超声或X射线血管造影尚无深度学习身体区域分类。我们的训练结果与平片的最新水平相比具有优势。对于CT和MRI,我们的准确率相对较低,但仍具有相当的竞争力。对此有多种解释。[8]中的训练集覆盖了更大的领域(多家医院、扫描仪类型等)并包含更多图像,可能允许更好的泛化。除此之外,由于我们的标签来自PACS而非人工标注,一些标签可能是错误的(一个腹部检查同时也包含一系列胸部图像,随后被标记为“腹部”)或是正确的但难以识别(例如血管CT,其对应检查中可能包含不同身体部位的示例)。由于后述问题是检查分类问题组合性的固有特征,也可以认为该比较并不有效。
我们观察到网络集成相比MOMO的无网络变体提供了改进(见图3)。然而,这种改进仅在网络未被赋予过多决策权重、或网络与元数据投票相结合以获得更高鲁棒性时才适用。最佳性能由以这种方式组合所有信息的算法实现。最后,我们注意到,在定性上,与商业产品相比,MOMO所做的错误预测在解剖学上与真实结果相关的倾向有所增加(关于两者轻微错误和重大错误相对发生率的比较,见图3)。
本研究存在局限性。若在算法的参考数据库中加入大量相似关键词,可能因假阳性而导致错误预测增加。部分类别在训练过程中代表性不足,可能削弱泛化能力。此外,用于训练的数据集为自动标注,这可能降低神经网络的性能。同样,不同类型研究的组合性对基于单序列学习预测的神经网络构成问题。最后,训练数据的来源(单一机构)和数量是限制因素。
未来,使用额外训练数据(包括本地和外部数据)将使网络能够缓解其中部分局限性。此外,可引入新的预处理步骤(如对比度增强或裁剪)。再者,可通过将新的决策层整合到MOMO中或改进字符串匹配(利用Levenshtein距离等度量比较元数据与关键词之间的字符串相似度)来实现改进。另一种有趣的方法可能是直接在研究层面进行预测,使用多示例学习(Multiple Instance Learning)分类器,这特别适合解决我们在分类DICOM研究时遇到的组合性问题。除此之外,未来工作可探索投票方法在不同程度模糊标签的受控环境中的理论可行性。最后,我们认为,改进跨机构元信息和报告的标准化,虽然在实践中难以建立,但将是解决MOMO所针对的挑战的最直接且有前景的方法。
总之,这是首个使用元数据和神经网络进行决策过程的开源研究分类工具。它完全自动化,覆盖所有常见放射学模态,与执行相同任务的商业产品相比提供了更高的质量,并减少了临床工作人员的工作量。
补充信息
ESM 1(DOCX 256 kb)
引用
- Jonske F, Dederichs M, Kim MS, et al. Deep Learning-driven classification of external DICOM studies for PACS archiving. Eur Radiol. 2022. PMID: 35788757. doi:10.1007/s00330-022-08926-w
- 全文:PMC9705446(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9705446/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。