基于深度学习的高频超声皮肤病变分类:卷积神经网络方法
本研究基于公开的皮肤病变高频超声数据集(202例,含B模式与多普勒模式图像),训练并比较了HFUS-Doppler、HFUS-BW、Unity和Cascade四种卷积神经网络架构进行良恶性二分类。HFUS-Doppler模型表现最佳(准确率95.0%,AUC 0.98),Unity次之(准确率90.5%,AUC 0.97),Cascade准确率较低但恶性预测置信度更高。结果表明结合B模式与多普勒可提升诊断性能,取决于网络设计与数据质量。
要点
- HFUS-Doppler模型准确率95.0%、AUC 0.98,为所有评估模型中最高。
- Unity模型准确率90.5%、AUC 0.97,融合B模式与多普勒信息。
- Cascade模型准确率85%、特异度76.9%、AUC 0.92,恶性预测置信度更高。
核心结论
- 结合B模式和多普勒可增强诊断性能,取决于网络设计和数据质量,支持定制化深度学习用于无创HFUS皮肤病变分类的潜力。
研究设计与样本
- 研究使用Laverde-Saad等公开的Kaggle高频超声皮肤病变数据集,共202个数据实例,含B模式和多普勒模式图像。
- 图像按DERMUS协议采集,使用10–22 MHz和18 MHz换能器。
- 数据集按架构分为三组:Dataset 1仅多普勒图像,Dataset 2仅B模式图像,Dataset 3将B模式与多普勒图像水平拼接(224×448像素)。
- 训练/验证/测试集划分:10%数据留作测试集,其余分为训练集和验证集。
- 评估指标包括准确率、召回率、特异度、F1分数、ROC曲线和AUC,采用k折交叉验证(k=5),Cascade模型因顺序设计未做交叉验证。
诊断标准与关键数值
- HFUS-Doppler网络AUC 0.98,最佳阈值0.56(Youden J统计量),准确率95%。
- HFUS-BW网络AUC 0.90,最佳阈值0.58,准确率90%。
- Unity模型准确率90.5%,AUC 0.97。
- Cascade模型准确率85%,特异度76.9%,AUC 0.92,最佳阈值0.65。
临床应用与阅片要点
- 作者建议采用基于阈值范围的策略:高置信区(概率接近0或1)样本可自动分类,不确定性区(概率接近最佳阈值)样本应转交另一模型或人类专家复核。
局限性
- 数据集存在元数据不一致和图像标注错误,部分B模式和多普勒图像被错误标注或重复,其他记录含错误数据。
- 这些不规则需手动纠正并导致样本排除,减少了最终数据集大小,直接影响模型性能。
- 数据集类别显著不平衡,少数类含大部分样本而其他类代表性不足,限制模型训练和泛化能力,使数据集不适合当前条件下的稳健多类分类。
- 数据集包含特征差异显著的病变(如囊肿、脂肪瘤和皮肤肿瘤),可能限制模型在更具体诊断任务中的泛化能力。
- 未来研究应集中于构建更大、高质量、类别平衡且质量控制严格的数据集,并纳入更同质和重叠的病变类型。
全文中译14 节 · 点击展开
人工智能
曲线下面积
卷积神经网络
高频超声
多层感知机
受试者工作特征
极端梯度提升
引言
过去几十年中,超声在皮肤病学应用中发挥了重要作用,技术进步使皮肤结构的显示更加精细。高频超声(HFUS)以使用15 MHz以上的频率为特征,已成为皮肤病诊断和管理中的重要工具。该技术可提供从表皮到深筋膜的高分辨率图像,广泛用于评估皮肤厚度、肿瘤、炎症性疾病以及美容目的。1,2,3
工作频率高达50 MHz的先进设备的开发,使得能够详细区分皮肤各层并分析皮肤附属器和血管等浅表结构。2这些进展使得利用HFUS来表征皮肤病、监测治疗效果和规划手术干预成为可能。2,3,4此外,彩色多普勒与HFUS的整合允许实时分析血流和血管形态,将其适用性扩展到与血管变化相关的皮肤病况。这种组合已被证明在区分良性和恶性病变以及评估肿瘤侵袭性方面特别有用。1,2,3
人工智能(AI)作为诊断支持工具的使用增长显著,特别是卷积神经网络(CNN)在检测医学图像(包括超声)中的模式和异常方面的使用增加。随着AI的进步,深度学习算法在皮肤病超声分析中已显示出有前景的性能。4,5,6,7,8研究表明,这些工具能够以与经验丰富的皮肤科医生相当的准确性对良性和恶性病变进行分类,即使在有限的数据库上训练也是如此。2,4
近期关于神经网络应用于皮肤病超声的研究包括Laverde‐Saad等人4的工作,这代表了AI融入临床实践的有前景的一步。作者开发的EfficientNet B4模型在区分良性和恶性病变方面达到了77.1%的准确率,这一相关结果凸显了深度学习在该领域的潜力。纳入额外的性能指标,如学习曲线、混淆矩阵和ROC曲线,将有助于更全面地理解模型的预测能力。此外,未来研究可从比较不同的神经网络架构中获益,以确保使用最有效的方法。此类方法学改进对于增强皮肤病学中基于AI解决方案的稳健性和临床适用性非常重要。
在此背景下,本研究旨在探索和评估应用于皮肤病超声图像分类的计算机视觉方法。目的是研究这些技术如何补充和改善诊断实践,从而通过使用Laverde‐Saad等人4引入的同一HFUS图像数据库开发不同的卷积神经网络架构进行二分类,促进基于图像的皮肤病学的进步。
材料与方法
本节描述以下内容:1)所使用的数据集;2)数据集的组织方式;3)所构建的CNN架构;以及4)用于评估这些架构的指标。
数据集
本研究使用的数据集最初由Laverde‐Saad等人4描述,并在Kaggle平台上公开提供。9 使用该数据集进行本研究的正式授权已从原作者处获得。该数据集包含202个数据实例,涉及通过高频超声(HFUS)在B模式和多普勒模式下评估的皮肤病变。如Laverde‐Saad等人4所述,图像按照DERMUS协议采集。10 B模式图像:显示病变形态模式的灰度图像;
彩色多普勒图像:突出显示与病变相关血管分布的图像;
Label列:将病变二分类为良性或恶性;
Dx列:根据临床分类指示肿瘤类型的具体分类;
Freq列:包含用于采集图像的换能器频率信息。如Laverde‐Saad等人4所述,图像使用10–22 MHz和18 MHz换能器采集,反映了数据采集过程中应用的不同分辨率和穿透深度水平。
如图1所示,该数据集显著不平衡,少数类别包含大部分样本,而其他类别则代表性不足。这种分布限制了深度学习模型的训练和泛化能力,使得该数据集在当前条件下不适合进行稳健的多类分类。
数据集组织
数据集经过多个阶段的仔细整理,以确保模型中使用的信息和图像的一致性和质量。首先,对数据表进行了三项具体更改:表中第57、59和90位的图像名称已更正,原因是采集模式之间发生了颠倒,B模式被列为多普勒,反之亦然;
还对文件名的格式进行了调整以确保一致性,更改应用于表中第31、32、106、107、110和137位的图像;
第6、62、74和121位的实例被排除,因为两张图像均以多普勒模式采集,不符合数据集的标准。
所有图像均调整为224 × 224像素、三通道(RGB),以确保与所使用的卷积网络架构兼容。在数据集组织阶段之后,原始数据集中的图像根据架构被组织为三个不同的数据集,如图2所示。数据集1仅由多普勒模式图像组成,按其分类标签分开。数据集2与第一个类似;不同之处在于它仅包含B模式图像。数据集3通过将B模式和多多普勒图像并排放置(水平)来组合两者,生成最终分辨率为224 × 448像素的新图像,保持三个RGB通道。
卷积神经网络架构
本研究应用四种基于神经网络的策略对皮肤超声图像进行分类。为了训练所提出的架构,每个数据集中可用的数据总量被分为三个子集:训练集、验证集和测试集。最初,10%的数据被留出以形成测试集,该测试集专门用于在完整训练后评估模型的最终性能。该集提供了一个独立的指标来检查模型对新数据的泛化能力。剩余数据被细分为训练集,模型通过从图像中的模式学习来调整其参数,以及验证集,用于在训练期间监测性能并帮助避免过拟合等问题。这种平衡的划分确保了对模型的公平和一致的评估,同时保留了测试集的完整性以用于最终分析。
高频超声-多普勒和高频超声-B模式架构
用于数据集1和数据集2的架构基于简单的卷积网络,设计用于将良性和恶性病变进行二分类。尽管模型是分别训练的,但两个网络具有相同的结构,仅在输入数据上有所不同:高频超声-多普勒使用多普勒模式图像,高频超声-B模式使用B模式图像。第一种策略,高频超声-多普勒,使用数据集1(图2A),该数据集侧重于病变的血管化。高频超声-B模式架构使用与上述类似的网络,但使用来自数据集2的图像(图2B),捕获病变的形态。
该架构包括两个卷积层,滤波器大小逐步增加;两者均使用ReLU激活函数,后接池化层(最大池化)以降低维度。在卷积操作之后,数据在包含10个神经元的中间全连接层中被展平,然后被发送到包含单个神经元且使用Sigmoid激活的输出层。该层产生目标类别的概率,如图3所示。
该网络使用二分类损失函数(binary_crossentropy)和Adam优化器进行训练,学习率配置为动态指数衰减调整。为了解决数据集中类别不平衡的问题,根据训练期间观察到的频率为每个类别分配了权重。训练进行了100个 epoch,批次大小为32个样本。使用验证数据监测模型的性能,并相应调整超参数。
Unity架构
Unity架构旨在将从两种模式下获取的图像信息整合为模型的单一输入。该方法同时捕捉病变的形态学和血管特征,使模型能够利用数据集3从两种成像模态中共同学习。
Unity模型的网络架构与单独的B模式和多普勒模式网络所采用的架构相似,如图3所示。它保留了两个带ReLU激活的卷积层、用于降维的池化层,以及一个带sigmoid激活用于二分类的最终全连接层。主要区别在于输入数据:在Unity的情况下,图像被拼接在一起。该模型的目的是评估与单独使用各模态的网络相比,显式融合两种模态的信息是否能提高性能。
级联架构
级联架构将两个卷积神经网络(CNN)与两个多层感知机(MLP)层以及一个基于极端梯度提升(XGBoost)算法的分类模型相结合。这为皮肤病变分类提供了一种分层方法(见图4)。每个CNN遵循与上述B模式和 Doppler 模式网络相同的架构,其中一个仅在B模式图像上训练,另一个仅在多普勒模式图像上训练。训练后,提取这些网络的概率输出并将其用作XGBoost分类器的输入。这些输出代表每个模型在二分类中的置信度。
XGBoost是一种基于决策树的机器学习算法,使用集成技术来提高模型性能。它以其效率和准确性而闻名,广泛应用于分类和回归任务。XGBoost使用梯度提升方法优化损失函数,并结合正则化以避免过拟合。
评估指标
以下在测试集上计算的指标用于评估所提出架构的性能:准确率、召回率、特异度、F1分数、受试者工作特征(ROC)曲线以及ROC曲线下面积(AUC)。这些指标广泛应用于分类任务,尤其是在医疗保健领域,临床决策依赖于预测模型的可靠性。这些指标共同提供了对模型性能的全面评估,同时考虑了关键病例的检测和假诊断的减少。在医疗保健背景下,有效的模型必须平衡这些方面,为临床决策提供可靠支持。
此外,采用k折交叉验证技术对模型进行验证。该方法通过让模型接触不同的数据子集,能够更全面地评估性能。该方法通过减轻将数据任意划分为固定训练集和测试集所引入的偏差,提高了泛化可靠性。
结果
高频超声(HFUS)多普勒网络与HFUS-BW网络
对两个网络均进行了交叉验证(图5和图6),展示了HFUS-Doppler和HFUS-BW模型学习到的损失和准确率曲线。结果表明,在训练轮次中损失持续下降,准确率持续上升。
图7分别显示了HFUS-Doppler(A)和HFUS-BW(B)模型对测试数据集进行分类的ROC曲线。对于HFUS-Doppler网络,曲线下面积(AUC)为0.98,由约登J统计量确定的最佳阈值为0.56。HFUS-BW网络的AUC为0.90,最佳阈值为0.58。
使用约登指数确定最佳阈值,在测试数据集上计算了准确率、灵敏度和特异度,该数据集包含训练步骤中未使用的图像。此评估突出了模型对新数据的泛化能力。HFUS-Doppler和HFUS-BW网络的准确率分别达到95%和90%。其余指标的详细分类见表1。
图8显示了网络对测试数据分类的性能。图中的每个点代表测试集的一个实际分类,黑色虚线代表由约登J统计量确定的最佳分类阈值。阈值以上的点代表分类为恶性,而阈值以下的点代表分类为良性。点的颜色表示实际分类:红色表示恶性病变,蓝色表示良性病变。
Unity网络
结合B模式和Doppler图像的Unity架构优于各单独架构。该模型的准确率达到90.5%,AUC为0.97,见图9。学习曲线显示训练集和验证集之间趋于收敛,验证曲线偶尔超过训练曲线,但不提示过拟合(图10)。
级联网络
如图4所示,级联架构由两个卷积神经网络后接一个XGBoost分类器组成,达到了85%的准确率、76.9%的特异度和0.92的AUC(表1)。由于级联设计的顺序性质,交叉验证不适用。因此,该模型独立于其他模型进行评估。图11a中呈现的ROC曲线包括通过约登J统计量确定的最佳阈值0.65。如图12所示,该模型在输出概率分布上表现出更宽的分离,表明具有更高的判别能力。大多数预测结果距离决策阈值较远,提示与其他评估的架构相比,该模型产生了更有信心的分类。
讨论
如Laverde‐Saad等人的研究4所报道,该研究使用了相关数据集,9 EfficientNet B4网络的表现劣于使用同一数据集为相同分类任务开发的其他模型。具体而言,Laverde‐Saad等人4开发的网络达到了77.1%的准确率、80%的特异度和73.3%的敏感度。相比之下,我们研究中准确率最低的模型达到了85%的准确率。此外,与上述研究采用的方法不同,本工作中除级联模型外的所有网络均使用交叉验证进行评估,以确保充分的训练和泛化能力。
人工智能在医学影像领域已被广泛探索用于诊断支持。然而,在皮肤科超声的具体背景下,仅有有限数量的研究探讨了多模态深度学习架构。7,8,11 这些工作大多依赖私有数据集,限制了可重复性,而我们的方法使用公开可用的数据集,实现了透明性和结果的可复制性。此外,先前的多模态方法主要结合临床和B模式超声图像进行病变分类,8,11 而未纳入多普勒信息。然而,多普勒成像提供了必要的血管和血流动力学数据,这对于全面的皮肤病变评估至关重要,正如DERMUS共识等既定皮肤科超声指南所强调的那样。10,12 在这方面,我们的研究强化了将多普勒数据整合到深度学习框架中的重要性,证明结合B模式和的多普勒输入的多模态模型达到了与当前最先进水平相当的性能,同时保持了在可重复、公开可访问的数据集上开发和验证的优势。
表1中呈现的指标表明,HFUS-Doppler网络在皮肤病变分类中表现出优异的泛化性能。在所有评估模型中,HFUS-Doppler具有最高的准确率(95.0%)和最高的ROC曲线下面积(AUC = 0.98),是最有效的方法。Unity模型也取得了良好的结果,准确率为90.0%,具有高特异度和高F1分数,突显了其相较于EfficientNet B4模型的稳健性。相比之下,Cascade架构尽管整合了替代策略,但性能较低。这些发现强调了优化网络架构和融合策略以实现召回率与特异度之间适当平衡的重要性,这在医学影像应用中至关重要,因为假阴性可能导致诊断延迟或漏诊。
图8、图12和图13分别展示了HFUS-Doppler、HFUS-BW、Cascade和Unity模型使用通过约登J统计量确定的最佳阈值所得到的预测概率分布。Cascade模型虽然在指标方面表现较差,但生成的概率更接近极端值,表明其分类更为果断(尽管准确性较低)。
对概率分布图(图8、图12和图13)的分析表明,不应仅基于固定决策阈值来解读模型的性能。通过考虑阈值范围可以获得更好的理解。虽然每个网络都有由约登J统计量确定的最佳截断点(虚线),但若干样本集中在接近阈值的中间概率区域。这构成了一个不确定性区域。
该不确定性区域尤为重要,因为它表明了模型对其预测信心较低的情况。因此,与其采用单一决策点,不如采用基于阈值范围的策略,即位于高置信区域(接近0或1的极端概率)的样本可以以更高的确定性被自动分类。相反,位于不确定性区域(概率接近最佳阈值)的样本应转交另一个模型或人类专家进一步审查。这种方法在皮肤癌诊断等医学应用中尤为重要,因为假阴性或假阳性可能带来严重的临床后果。因此,分析概率图既证实了网络良好的整体性能,也强调了将不确定性检测机制纳入决策过程以提高预测稳健性和临床安全性的重要性。
不同所提架构获得的结果为其在超声图像中分类皮肤病变的潜力提供了有价值的见解。Unity和Cascade模型代表了整合从B模式和Doppler采集中所提取形态学和血管特征的有前景的方法。然而,数据集的质量和一致性仍然是影响性能的重要因素。
尽管该数据集构成了模型开发与评估的基础,但仍存在局限性,包括元数据不一致和图像标注错误。部分B型超声和 Doppler 图像存在标注错误或重复,其他记录包含不正确数据。这些不规范之处需要人工校正,并导致部分样本被排除,从而缩小了最终数据集规模。这些局限性直接影响了模型性能。对于网络,尤其是依赖融合的网络,要充分发挥其潜力,需要更稳健的图像数据集,具有更大数据量、更高质量和更好的类别平衡。确保良性和恶性病变的相等代表性对于有效学习和泛化至关重要。未来研究应侧重于汇集更大规模、高质量且具有严格质量控制的数据集,以尽量减少变异性,并支持开发可用于临床应用的可靠人工智能模型。
此外,该数据集包含特征明显不同的病变,如囊肿、脂肪瘤和皮肤肿瘤,这可能限制模型在更具体诊断任务中的泛化能力。因此,未来研究应考虑纳入更同质且相互重叠的病变类型,特别是不同类型的皮肤肿瘤,以更好地评估模型在区分良性和恶性病变(如痣和黑色素瘤)方面的诊断准确性。
总之,实验结果突出了结合B型超声和 Doppler 信息对使用超声图像进行皮肤病变分类的优势。在评估的模型中,HFUS‐Doppler 和 Unity 表现出最稳健和可靠的性能。然而,研究结果也表明,更复杂的融合架构不一定带来更好的结果,尤其是在存在不一致的数据集上训练时。未来研究应侧重于改进结合互补成像数据的方法,并扩展高质量且准确的数据集,这对于提高人工智能辅助皮肤科超声诊断临床应用可靠性至关重要。
引用
- da Silva IRV, Jardim AG, de Souza Faés GR, et al. Deep Learning-Based Skin Lesion Classification: A CNN Approach on High-Frequency Ultrasound Imaging. J Ultrasound Med. 2025. PMID: 41267329. doi:10.1002/jum.70125
- 全文:PMC13053610(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13053610/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。