基于深度神经网络的超声图像分析鉴别良恶性卵巢肿瘤:与专家主观评估的对比
纳入758例卵巢肿瘤患者的3077张超声图像(灰度1927张、能量多普勒1150张),以手术组织学或≥3年随访为金标准,用VGG16、ResNet50和MobileNet三个预训练深度神经网络集成建模。在测试集150例中,Ovry-Dx1在敏感度96.0%时特异度86.7%,与专家主观评估的88.0%相似(P=1.0);Ovry-Dx2敏感度97.1%、特异度93.7%,将12.7%病灶判为不确定。作者认为深度神经网络预测卵巢恶性的诊断准确性可与人类专家检查者相比,可能在卵巢肿瘤妇女分诊中发挥作用。
要点
- Ovry-Dx1在敏感度96.0%时特异度86.7%,与专家主观评估88.0%相似(P=1.0)。
- Ovry-Dx2敏感度97.1%、特异度93.7%,将12.7%病灶判为不确定。
- Ovry-Dx2补充主观评估后总体敏感度96.0%、特异度89.3%,与全部使用主观评估无显著差异(P=1.0)。
核心结论
- 基于深度神经网络的超声图像分析预测卵巢恶性的诊断准确性可与人类专家检查者相比,作者认为这些模型可能在卵巢肿瘤妇女的分诊中发挥作用。
研究设计与样本
- 开发并测试基于深度神经网络的电脑化超声图像分析辨别良恶性卵巢肿瘤的性能,并与一名超声专家的主观评估对比。
- 纳入758名卵巢肿瘤妇女的3077张超声图像(灰度n=1927;能量多普勒n=1150),由专家超声检查人员根据IOTA术语和定义前瞻性分类。
- 以手术组织学(n=634)或长期(≥3年)随访(n=124)作为金标准。
- 数据集分为训练集(n=508;314良性、194恶性)、验证集(n=100;60良性、40恶性)和测试集(n=150;75良性、75恶性)。
- 对三个预训练深度神经网络VGG16、ResNet50和MobileNet采用迁移学习,每个模型训练并用温度定标校准输出,再以三模型集成基于病例全部图像估计恶性概率。
诊断标准与关键数值
- Ovry-Dx1将肿瘤分类为良性或恶性,在敏感度96.0%时特异度86.7%,专家主观评估特异度88.0%(P=1.0)。
- Ovry-Dx2将肿瘤分类为良性、不确定或恶性,敏感度97.1%、特异度93.7%,将12.7%的病灶指定为不确定。
- 在不确定病例中以Ovry-Dx2补充主观评估,总体敏感度96.0%、特异度89.3%,与所有病例使用主观评估无显著差异(P=1.0)。
临床应用与阅片要点
- 原文结论指出基于深度神经网络的超声图像分析可能在卵巢肿瘤妇女的分诊中发挥作用,未给出具体阅片或报告操作建议。
局限性
- 原文未报告局限性。
全文中译11 节 · 点击展开
贡献 本研究的新发现是什么?
使用深度神经网络(DNN)的计算机化超声图像分析可以区分良性和恶性卵巢病变,其诊断准确性与人类专家检查者相当。
本研究的临床意义是什么?
专家超声检查者短缺,导致诊断准确性欠佳。DNN模型可能在卵巢肿瘤女性的分诊中发挥作用,通过支持经验较少的检查者的临床决策,并可能降低发病率、优化医疗资源的使用。
引言
卵巢癌是最致命的妇科恶性肿瘤,全球5年生存率为45% 1。近10%的无症状绝经后女性有卵巢病变,通常为偶然发现,其中仅1%为恶性 2。超过50%的卵巢肿瘤发生于育龄女性 3,不必要或广泛的手术可能导致生育力丧失。因此,需要精确确定恶性风险以个体化和优化治疗。良性肿块可通过超声随访或微创腹腔镜保守管理,同时保留生育力 3。疑似卵巢癌的女性应直接转诊至妇科肿瘤治疗中心,因为由妇科肿瘤学家对这类患者进行手术治疗与更高的肿瘤完全切除可能性和更好的生存率相关 4。
专家超声检查已成为评估卵巢病变的主要影像学技术 5。超声在专家手中的诊断准确性优于经验较少的医生 6,然而,专家检查者存在短缺。近年来计算机诊断的进展由深度神经网络(DNN)推动,这是一类机器学习算法,能够从许多简单非线性单元的组合中学习数据的复杂表征。这种方法是一种范式转变,模型中输入的不是过去那样手工设计的特征,而是原始数据 7。DNN已被证明能够在其他领域区分良性和恶性肿瘤,如计算机断层扫描(肺癌)8、摄影图像(皮肤癌)9和乳腺X线摄影(乳腺癌)10,其性能与专家放射科医生相当。使用超声图像,DNN在诊断乳腺和甲状腺肿瘤方面已显示出有前景的结果 11, 12, 13,尽管在卵巢肿瘤方面该领域仍未被探索。训练DNN需要大量标记数据,而这在医学领域往往是稀缺资源。为克服这一限制,从ImageNet 14(一个约100万张自然图像的大型标记数据集)进行迁移学习已成为医学应用中深度学习的标准做法 15。
本研究的目的是开发和测试一种基于DNN的计算机化超声图像分析模型,用于区分良性和恶性卵巢肿瘤,并将其诊断准确性与专家主观评估(SA)16以及IOTA(国际卵巢肿瘤分析)简单规则 17, 18和简单规则风险 19进行比较。
方法
数据集
我们回顾性纳入了758例卵巢病变女性的3077张超声图像(灰阶,n = 1927;能量多普勒,n = 1150)。所有女性均在手术前接受了结构化专家超声评估,评估地点为瑞典斯德哥尔摩的卡罗林斯卡大学医院(三级转诊中心)和南斯德哥尔摩医院(二级/三级转诊中心)的妇科超声部门,时间为2010年至2019年。检查由六名在附件病变评估方面具有丰富经验(7–23年)的检查者之一完成。所有检查者均被瑞典妇产科学会(SFOG)认证(接受过理论和实践评估)为第二意见专家超声医师,即专家检查者。每例病例均由一名检查者评估。伦理批准由当地伦理委员会获得(DNR 2010/145,2011/343)。
合格标准为超声检查后120天内接受手术(n = 634),或超声随访至少3年或直至病变消退(n = 124)。接受随访的女性中无一被诊断为恶性病变,因此推测其为良性诊断。检查时填写了标准化方案,其中使用专家主观评估(SA)将肿瘤分类为良性或恶性,报告了评估中的感知确定性(不确定 vs 肯定/可能良性/恶性),并根据IOTA简单规则对肿瘤进行了分类。IOTA简单规则包括五项良性标准和五项恶性标准。如果仅存在良性特征或仅存在恶性特征,则病变分别被视为良性或恶性;如果同时存在良性和恶性特征或未观察到任何特征,则分类为不确定。不确定病变(约四分之一病例)需要第二阶段检查,通常由专家检查者进行SA。如果无法进行SA,这些病变被视为潜在恶性17,18。为了能够基于简单规则评估对所有病变进行分类,我们回顾性应用了IOTA逻辑回归模型简单规则风险(SRR)以获得每例病例的风险评分19。我们使用SRR的0.2截断值来定义疑似恶性女性,依据原始研究19。
所有检查均使用高端超声系统进行,即配备5–9或6–12 MHz探头的GE Voluson E8或E10(GE Healthcare,奥地利Zipf)或配备3–10 MHz探头的Philips IU22或EPIQ(Philips Medical Systems,美国华盛顿州Bothell)。符合条件的病例从我们的卵巢肿瘤数据库中随机选取。良性和恶性病例分别选取,以获得恶性病例至少占40%的病例组合(因为研究期间,在Södersjukhuset接受术前专家超声评估的女性中恶性肿瘤的临床发生率为40%,在Karolinska大学医院为49%)。在所选病例中,选取能充分显示整个病变的代表性灰阶和能量多普勒超声图像(中位数,每例3张(四分位距,3–5)),并以jpeg格式从医院图像数据库系统下载。图像经去标识化处理后,由审核者手动裁剪至感兴趣区(ROI),在绝大多数图像中仅需去除外边框,偶尔还需排除周围结构,如子宫(图S1)。
按照标准做法,我们的数据集被分为训练集(n = 508;314例良性,194例恶性)、验证集(n = 100;60例良性,40例恶性)和测试集(n = 150;75例良性,75例恶性,每例三张图像)。训练集用于学习模型参数;验证集用于估计预测误差以进行超参数调优和模型选择;测试集用于独立评估最终所选模型的泛化误差,防止对训练数据的可能过拟合。为确保结果准确,测试集仅纳入经手术获得组织学诊断的患者。所有接受手术的女性以及其中纳入测试集者的组织学结果见表1。
数据处理
形状为(224, 224, 3)的图像,即尺寸为224×224像素、具有三个颜色通道(RGB)的方形图像,被用作DNN模型的输入。因此,图像使用最近邻插值进行降采样并相应调整大小。由于图像比例不一致,所得物理分辨率各不相同。此外,像素值在训练数据集上按通道进行标准化,使其均值为零、方差为单位方差。相同的值也用于标准化验证集和测试集。
在训练过程中进行数据增强,以通过扩充可用训练数据和模拟未见域中图像特性的变化来提高模型的泛化能力。数据增强过程中使用的变换可根据所改变图像的不同方面分为三大类20:图像质量、空间性和外观。低图像质量主要表现为模糊和低分辨率,由扫描仪运动、扫描仪分辨率低或有损图像压缩引起。我们尝试通过添加高斯噪声(标准差,0.02)、jpeg压缩(0–20%)和锐度偏移(± 20%)来模仿这一点。与图像空间形状相关的变换包括水平和垂直翻转、旋转(90°的倍数)和裁剪(0–10%)。这些变换旨在模拟器官形状和位置的可变性、患者体型大小以及与ROI相关的裁剪。与外观相关的变换为亮度(± 20%)、对比度(± 20%)和颜色(± 10%)的偏移,模拟了超声系统和设置之间的差异。
模型构建
我们在ImageNet 14预训练的深度学习模型VGG16 21、ResNet50 22和MobileNet 23上使用了迁移学习方法。每个模型在卵巢肿瘤经阴道超声图像数据集上进行了微调。然后使用温度缩放24独立校准输出概率,这是一种后处理技术,用于使置信度分数与底层类别概率更好地对齐(图S2)。随后将三个模型组合成一个集成模型,采用对模型概率取平均的软投票方案,以提高相对于单个模型的性能。温度缩放确保了每个模型对恶性概率的更可靠估计,这在构建集成模型时是理想的,因为它减少了模型之间(过度)置信度差异的问题。然后使用该集成模型,通过对该病例所有代表性图像的预测取平均值,来估计给定病例的恶性概率。利用集成模型的预测,通过对预测恶性概率设置阈值,将肿瘤分类为良性或恶性(Ovry-Dx1),或分类为良性、不确定或恶性(Ovry-Dx2)。基于DNN模型在测试集中判别良恶性病变的敏感性和特异性,将其性能与SA的性能进行了比较。Ovry-Dx1的概率阈值旨在设置在敏感性和特异性之间达到最佳平衡,并使敏感性接近SA的敏感性。由于该值接近0.5且其不确定性较大,阈值被简单设为0.5,高于该阈值的病例分类为恶性。对于Ovry-Dx2,概率阈值设为0.4和0.6(即预测恶性概率在0.4至0.6之间的病例分类为不确定),经验证集显示这可在性能与排除病例比例之间取得合理平衡。
训练过程
首先,在每个模型中,用于ImageNet类别的原始分类器被替换为二分类器,该二分类器由一个具有1024个隐藏节点的全连接层(MobileNet为512个)组成,随后是ReLU激活、0.5的dropout(VGG16为0.2)以及最后一个具有两个节点的全连接softmax层,分别代表良性和恶性输出。在第一个训练步骤中,原始模型卷积基的权重被冻结,从而仅训练新的二分类器,使用初始学习率0.02(VGG16为0.002)。然后,卷积基的各层被解冻并逐层微调,直到不再观察到改善为止。此步骤使用了2 × 10− 4的初始学习率。所有模型均在NVIDIA RTX 2080显卡上使用反向传播25通过随机梯度下降进行训练,Nesterov动量为26,值为0.9,批量大小为32张图像。良性和恶性病例的灰阶和能量多普勒图像数量不平衡的问题,通过使用加权二元交叉熵损失进行训练来解决。我们采用每连续四个epoch验证准确率无改善后将学习率衰减0.5的策略。在两个训练步骤中,我们都使用早停法来监测模型在验证集上的性能并选择停止训练的最佳点(图S3)。该点是模型在验证集上的性能停止改善的位置,任何额外的训练都会以增加泛化误差为代价而过拟合训练数据。超参数,如学习率、dropout率和隐藏节点数,被选择以最大化验证集上的性能。
与大多数现代深度学习架构类似,ResNet50和MobileNet使用批归一化27来提高训练性能和稳定性。在对具有批归一化层的模型使用迁移学习时,必须解决源域(自然图像)和目标域(超声图像)之间的差异。如果这些层的参数在新分类器的训练期间被冻结,模型将在测试时使用来自源域的指数移动平均(EMA)统计量进行归一化。这些统计量将与目标域中新分类器训练期间批次的统计量显著不同,可能导致性能大幅下降。为使模型的训练和测试行为保持一致,在目标域中对模型进行微调期间,批归一化层的EMA统计量被持续更新。
可能的图像偏倚评估
在数据集的良性和恶性图像中,均有80%存在卡尺测量标记。为排除卡尺可能引入的任何潜在偏倚,最终集成模型(Ovry‐Dx1)在有无卡尺标记的图像上分别进行了评估。由于我们关注的不是绝对性能而是相对性能,我们同时使用验证集和测试集以获得更准确的效果测量。此外,仅使用灰度图像,因为极少数能量多普勒图像包含卡尺标记。在有卡尺和无卡尺的图像上,Ovry‐Dx1的敏感性(88.8% vs 89.6%)和特异性(79.1% vs 82.4%)相似,且网络输出在统计学上无法区分(P = 0.86 和 P = 0.50)。这表明卡尺测量标记的存在对模型预测卵巢肿瘤恶性程度的辅助作用不显著。
为排除除仅使用灰度图像外还使用能量多普勒图像相关的潜在偏倚,最终集成模型(Ovry‐Dx1)在测试集上对每种单独图像分别进行了评估。在能量多普勒和灰度图像上,特异性(85.7% vs 85.1%)相似,而能量多普勒图像的敏感性高于灰度图像(88.2% vs 82.9%)。此外,网络在良性图像上的输出在统计学上无法区分(P = 0.61),而网络在恶性图像上的输出在能量多普勒图像中统计学上更高(P = 0.03)。基于此,模型对良性图像的响应在两种模态间相似。网络对恶性图像的响应似乎确实存在轻微差异,倾向于能量多普勒模态,但较高的敏感性可能由血流信息的加入来解释。在实践中,这意味着除灰度图像外还具备能量多普勒图像的病例,可能会看到敏感性提高而特异性不下降。
统计分析
为比较深度神经网络(DNN)模型与资深医师(SA)在测试集中区分良性和恶性肿瘤的性能,计算了敏感性、特异性、准确率以及受试者工作特征(ROC)曲线下面积(AUC)及其95%置信区间(CI)。敏感性、特异性和准确率的95% CI通过Jeffreys区间估计 28 ,而AUC和排除病例比例的95% CI通过自举法估计。DNN模型与SA、简单规则和SRR的敏感性、特异性和准确率比较,使用McNemar检验进行配对分类数据比较。对卡尺测量标记和能量多普勒图像可能引起的图像偏倚的评估,基于Mann–Whitney U检验进行非配对非参数数据比较。统计分析使用IBM SPSS Statistics for Windows 26.0版(IBM Corp., Armonk, NY, USA)完成。所有检验均为双侧检验,P值 < 0.05被认为具有统计学意义。
结果
三个DNN模型(VGG16、ResNet50和MobileNet)及其集成模型在测试集上的性能统计数据见图1,相应的ROC曲线见图2。集成模型总体表现最佳,当测试集中所有病例均被分类为良性或恶性时(Ovry-Dx1),AUC为0.950(95% CI,0.906–0.985);当排除12.7%(95% CI,7.3–18.0%)的病例为不确定时(Ovry-Dx2),AUC为0.958(95% CI,0.911–0.993)。在表2中,我们展示了SA、简单规则、SRR和DNN模型(Ovry-Dx1和Ovry-Dx2)在测试集中区分卵巢病变良恶性的诊断性能。在灵敏度为96.0%时,Ovry-Dx1的特异度与SA相似(86.7% vs 88.0%;P = 1.0)。当将12.7%(95% CI,7.3–18.0%)的病变指定为不确定时,Ovry-Dx2的灵敏度为97.1%,特异度为93.7%。对不确定病例以SA补充Ovry-Dx2后,总体灵敏度(96.0%)和特异度(89.3%)与对所有病例使用SA无显著差异(P = 1.0)。使用简单规则将27.3%的病例分类为不确定。在灵敏度为96.0%时,Ovry-Dx1的特异度(86.7% vs 66.7%;P = 0.003)和准确率(91.3% vs 81.3%;P = 0.006)显著高于将不确定病例分类为恶性的简单规则(表2)。在 cut-off 为0.2时,SRR的性能与将不确定病例分类为恶性的简单规则相同(表2)。cut-off 0.2是基于原始研究19的结果选择的,此外,0.153至0.325之间的任何 cut-off 都会导致相同的性能,因为没有任何病例在该区间内获得预测值。SRR的AUC为0.921(95% CI,0.876–0.958)。
表3显示了被Ovry-Dx2和简单规则分类为不确定的病例以及被SA难以分类的病例的组织学结局。在被Ovry-Dx2分类为不确定的19例病例中,有10例也被SA认为难以分类(表2,图3a,b)。图3c,d显示了被Ovry-Dx2分类为不确定的其他9例病例,其中2例也被简单规则认为不确定。图4显示了被Ovry-Dx2误诊的6例病例,其中2例也被SA误诊。
讨论
我们已经证明,使用DNN进行超声图像分析可以预测卵巢恶性肿瘤,其诊断准确性与人类专家检查者相当。此外,我们发现经SA难以分类的病变与经Ovry-Dx2难以分类的病变之间存在显著重叠,这表明专家和DNN均识别出已知提示诊断困难的特征(例如乳头状突起、具有>10个分隔的多房病变)29。
尽管我们的工作在应用深度学习对附件肿块进行分类方面是前所未有的,但一些病例数有限的初步研究已探索了使用手工图像描述符结合支持向量机(SVM)进行分类。两项纳入177例患者的研究30,31使用局部二值模式(LBP)32和像素强度直方图作为纹理特征;第一项研究报告准确率为76%,同时将18.3%的病例排除为不确定30,第二项研究报告 classifying卵巢肿块 的敏感性为77%、特异性为77%31。随后一项基于同一数据集的研究33使用基于傅里叶变换的特征描述符和SVM进行分类,取得了更高的性能(敏感性91%、特异性83%、AUC为0.874)。尽管后者的结果令人鼓舞,但这些研究均存在一个重要局限性,即它们依赖于超声专家对肿瘤的手动分割。我们自己的工作中选择矩形ROI的性质完全不同,因为其对操作者的参与度和领域专业知识要求显著更低。尽管我们发现了其他相关论文34,但由于方法学缺陷,我们省略了这些论文,例如在用于选择图像特征的同一数据上报告分类性能。最后,DNN成功的关键在于其能够直接从大型原始图像数据集中学习多尺度、多抽象层次的高度代表性特征。与传统手工描述符相比,这导致了具有更强判别能力的特征35。
我们模型的一个优点是使用简单,任何中心都可以直接从工作站或医院计算机上传一组去标识化的图像到托管模型的云平台,而无需先主观评估图像或提供额外的患者数据。用于卵巢肿瘤分类的诊断性深度神经网络(DNN)模型的最大临床获益将体现在非专家检查者手中;然而,它作为第二读者对专家也可能有用。许多中心和私人执业者对超声专家的第二意见获取有限;因此,他们可能使用简单规则,将不确定病例指定为恶性,或使用SRR以达到可接受的敏感性并能够管理所有患者。在这种情况下,通过在所有病例中使用Ovry‐Dx1(表2),特异性有可能提高20个百分点(从两种简单规则策略的66.7%提高到86.7%)。除高敏感性外,高特异性也至关重要,因为许多病变是在无症状女性中偶然发现的。不必要的手术浪费医疗系统资源,并可能导致并发症,在某些情况下甚至导致生育力丧失。在一项大型卵巢癌随机筛查研究中36,三分之一假阳性发现的女性接受了附件手术。其中,15%经历了至少一种主要并发症,突显了在无症状人群中尽量减少假阳性诊断的重要性。通过调整DNN预测的阈值,如我们为Ovry‐Dx2所做的那样,可以根据环境(即低资源或高资源)和人群(即低或高疾病风险)优化敏感性、特异性和不确定病例的比例。
本研究的一个优势是,所有病例均在手术或长期超声随访前通过专家超声检查进行前瞻性分类,这使我们能够将DNN的性能与SA的性能进行比较。被简单规则分类为不确定病例的比例(27.3%)略高于既往研究报告的比例(22.5%17和24.0%18),表明我们测试集中的困难病例数量与其他人群相似或更高。虽然无法进行直接比较,但我们测试集中SA的敏感性(96.0%)和特异性(88.0%)与一项纳入1938例病例的大型IOTA多中心研究报告的性能(敏感性90.4%,特异性92.7%)17相当。
我们纳入了范围广泛的卵巢病理及高质量图像,优化了DNN模型的开发。然而,图像质量的同质性可被视为本研究的一个弱点,因为大多数图像由同一检查者使用GE Voluson E8或E10系统获取。因此,这些模型在其他专家中心、经验较少的检查者或未使用高端设备的检查者获取的图像上是否表现同样良好,仍有待证明。与使用单张图像相比,基于批量图像评估病例可获得更好的诊断准确性。下一步可以探索使用二维视频片段或三维容积是否能进一步提高评估性能。额外的数据,尤其是来自低患病率诊断的数据,可能允许训练DNN进行多类别诊断特异性分类。
在本研究中,图像通过手动裁剪,主要是去除外部边界;这一任务本身适合自动裁剪。由于选择可接受的感兴趣区(ROI)仅需要能够在记录的图像中定位肿瘤,而这本来就是记录图像的前提要求,因此这种粗略裁剪并不依赖于图像采集之外的专业知识。尽管如此,尽管大多数医学领域深度学习研究中进行手动ROI选择37,但手动裁剪的必要性以及自动裁剪的潜在益处应在未来研究中加以探索。最后,我们在训练期间进行的广泛空间数据增强进一步可能提高ROI选择的稳健性和灵活性。
我们想强调在其他妇科中心的图像上对Ovry-Dx1和Ovry-Dx2模型进行外部验证的重要性,以评估泛化方面的局限性和多中心部署的潜力。因此,下一步是在大型多中心环境中对这些模型进行外部验证,这项工作已经在进行中(ISRCTN51927471)。应当强调,自动图像分析只应用于辅助患者分诊,而不应作出最终诊断。尽管如此,我们的结果清楚地表明,深度神经网络(DNNs)在卵巢肿瘤女性分诊中具有临床应用的潜力。
支持信息
图S1 通过选择感兴趣区(ROI)将超声图像裁剪为标准化的4:3尺寸。
点击此处获取补充数据文件。
图S2 基于VGG16的模型在校准前后的可靠性图,显示准确率相对于模型置信度的关系。置信度是最可能类别(良性或恶性)的预测概率。由于分类是二分类,因此其始终高于0.5。在过度自信的模型中,置信度超过准确率。
点击此处获取补充数据文件。
图S3 VGG16、ResNet50和MobileNet模型在训练期间的模型准确率。虚线表示最终模型中使用的早停点。
点击此处获取补充数据文件。
引用
- Christiansen F, Epstein EL, Smedberg E, et al. Ultrasound image analysis using deep neural networks for discriminating between benign and malignant ovarian tumors: comparison with expert subjective assessment. Ultrasound Obstet Gynecol. 2021. PMID: 33142359. doi:10.1002/uog.23530
- 全文:PMC7839489(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7839489/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。