AI工具标准化DICOM标签的准确性及对放射科医生阅片时间的影响
本研究回顾性评估一款商用混合AI工具在标准化DICOM标签(模态、部位、平面、侧别、造影协议)中的准确性,并采用前后对比设计分析其对放射科医生阅片时间的影响。结果表明,各标签准确率为83%-100%,实施后CT腹部、CT全身、CT头部和CT颞骨平均阅片时间显著下降(p≤0.02),相对效率提升8%-22%。
要点
- AI标准化DICOM标签总体准确率高,但CT对比增强期相(如动脉期/静脉期)的细分准确率相对较低。
- 阅片时间显著缩短主要见于CT腹部、CT全身、CT头部和CT颞骨,CT胸部与CT鼻窦/眼眶无显著变化。
- 阅片时间缩短的具体机制尚不明确,可能与标准化的悬挂协议(hanging protocols)改善有关,但未被直接验证。
核心结论
- AI辅助工具能够较准确标准化DICOM标签,且实施后多数CT类别放射科医生平均阅片时间出现统计学显著下降。
研究设计与样本
- 回顾性队列研究评估DICOM标准化工具标签准确性,另采用回顾性前后对比设计评估阅片时间变化。
- 标签准确性部分纳入422幅CR图像(227例)和1503个CT序列(421例),来自2022至2024年多机构匿名随机病例池。
- 标志准确性金标准由高年资放射科住院医师目视复核影像内容,不确定时咨询有15年经验的放射科医师。
- 阅片时间部分共纳入24269例CT检查,分为AI标准化前10966例、过渡期2961例、标准化后10342例。
- 研究由一家服务于约40个英国NHS信托的远程放射学机构实施,商业化混合AI工具在PACS接入前完成DICOM标签标准化。
关键影像表现/征象
- AI工具可利用影像像素数据的深度学习与规则解析现有元数据,对解剖区域、扫描平面及对比期进行判定以生成标准化DICOM标签。
- CR颈椎侧位片有3例被误标记为下颌骨斜位或正位;CR膝关节侧位片中8例被误标为skyline位、斜位或正位。
- CR左膝后前位正位片有3例在人工快速阅片时可能被误认为右膝,但AI工具正确识别为左膝。
- CT胸部、CT腹部和CT全身的对比增强检查中,AI工具区分平扫与增强较为可靠,但具体强化期相判定难度更高。
诊断标准与关键数值
- 标签准确性范围:body part 83%-100%、plane 91%-100%、protocol 88%-100%;modality在各组均为100%。
- 阅片时间显著缩短:CT腹部平均下降2.9 min(20%),CT全身下降2.2 min(15%),CT头部下降0.73 min(8%),CT颞骨下降2.5 min(22%),p≤0.02。
- 无显著变化的分类:CT胸部平均下降0.4 min(-3%,p=0.07),CT鼻窦/眼眶平均下降0.1 min(-2%,p=0.90)。
- 按年病例量外推,全部CT类别合计估计每年节省270小时,约相当于34个8小时工作日。
- 阅片时间定义从打开病例到报告结案,仅纳入0至40分钟的CT检查,超过40分钟和CR检查被排除。
临床应用与阅片要点
- AI主导的DICOM标准化可能通过改善悬挂协议和影像检索间接缩短部分CT方案报告的阅片时间。
- 当遇到人工智能自动标记的对比增强期相时,报告医师应自行核验,尤其在CT胸部(期相准确率72%病例级/83%图像级)上不应盲信。
- 阅片时间效应存在方案差异,CT腹部、CT全身和CT颞骨获益明显,CT胸部与CT鼻窦/眼眶未观察到效率提升。
- 大样本前后对比数据提示标准化DICOM元数据可改善工作流程,但无法据此确定阅片时间下降完全归因于该工具。
局限性
- 标签准确性分析缺乏独立建立的真值标签,无法计算敏感度与特异度,人工复核存在观察者偏移风险。
- 阅片时间分析未能直接评估工具触发的标准/智能悬挂协议,无法明确缩短阅片时间的具体机制。
- 阅片时间定义包含了读取、书写报告全流程,易受疲劳、工作量变动和工作打断等混杂因素影响。
- CT胸部组AI实施前后病例数差异达39%(前4006例、后2453例),其原因不明,可能对该组结果产生不利影响。
- 单中心回顾性设计,且数据来自远程放射学机构多个NHS客户,机构层面获益可能因病例量和构成不同而异。
全文中译18 节 · 点击展开
引言
放射学领域的影像检查量持续增长,因此需要高效的工作流程来应对这一增长。为应对相应增加的工作量,人工智能(AI)工具正被越来越多地用于辅助放射科医生 [1, 2]。然而,目前的关注点主要集中在分诊和病变检测上 [3–9]。AI驱动的工作流程改进工具受到的关注相对较少 [4, 7, 8, 10–13],尽管放射学高度依赖(工作流程)标准 [10],例如通用的医学数字成像与通信(DICOM)标准。DICOM是图像采集、存储、解读以及在不同系统和设备之间传输的驱动力 [7, 11, 14–20]。
通过DICOM管理影像数据历来面临诸多挑战。既往研究已强调元数据不一致是一个反复出现的问题,通常源于不同厂商的差异以及DICOM标准在不同模态、方案和机构间应用不一致 [11, 14, 17, 21]。这些不一致使影像数据整合到图像存档与通信系统(PACS)和放射信息系统(RIS)/医院信息系统(HIS)的过程复杂化,从而导致工作流程效率低下 [18–20, 22]。此外,不一致的图像标记妨碍了既往图像的检索,从而无法生成标准或智能显示协议(SDP),进而损害了比较分析或用于研究目的的数据采集 [5, 7, 11, 18]。由于所有AI应用与PACS生态系统的整合也依赖于一致的元数据 [1, 5, 7, 10, 14, 22],不同机构间的差异性进一步加剧了这些挑战,尤其是随着机构间数据共享需求的日益增长 [19, 22, 23]。
新兴的AI工具可能提供一个机会,在元数据整合进PACS之前解决这些基础性的DICOM元数据问题 [3, 5, 7, 8, 12, 13, 23],从而有可能改善生态系统 [7, 8, 11] 并提高工作流程效率,例如通过增强的挂片协议/SDP、AI工具的更好整合以及不同系统之间的互操作性 [3, 10, 13]。然而,目前尚未发现关于基于AI的DICOM元数据改进方案的研究,这凸显了该领域的一个关键空白 [5, 7, 11]。因此,本研究旨在评估一种市售的混合AI工具——该工具可生成标准化的DICOM标签——并评估其对放射科医生阅片时间(RT)的影响。
方法
研究设计
本研究经伊拉斯姆斯医学中心机构审查委员会(IRB)批准(METC编号:MEC-2023-0534),由于本研究为观察性、回顾性研究,免除了知情同意。
一家为多个临床机构(包括英国约40个国家卫生系统(NHS)信托机构)提供服务的远程放射学服务提供商,在其PACS环境中部署了一个AI辅助工具。该工具对从不同机构收到的放射学检查的DICOM元数据进行标准化处理。通过连续选取检查(不按医院分层)创建了一个汇总数据集。所有数据在发送给荷兰一家学术医院的研究人员进行独立分析之前均已匿名化。
本研究由两部分组成,各部分设计不同。第一部分为回顾性队列研究,探讨标准化DICOM元数据的人工智能工具的标注准确性。第二部分为回顾性前后对照设计,评估AI辅助DICOM标准化对放射科医师阅片时间(RT)的影响。两部分均在下文描述。
标注准确性
选取八种影像检查类型进行分析:计算机X线摄影(CR)胸部、CR颈椎、CR膝关节、计算机断层扫描(CT)胸部、CT腹部、CT全身、CT头部和CT面部(见补充表1)。
选择这些组别是为了反映放射科日常实践中常见的检查类型,涵盖广泛的解剖区域。基于作者的专业意见,从更大的标签池中选取了五个与日常临床工作流程相关的DICOM标签。这些DICOM标签在适用的情况下对每个影像组进行了审查:模态、身体部位、平面、侧别和方案(对比增强状态)。
由一位经验丰富的统计学家提出功效计算,以估计探讨标注准确性所需的有意义样本量。这些计算基于每个DICOM元数据层纳入60个数据点,因此CR膝关节和CR胸部各需120个数据点,CR颈椎需180个,每种CT需300个。据此,从2022年至2024年间一个匿名化和随机化的样本池中连续选取了共计422幅CR图像(227例)和1503个CT序列(421例)。
AI分配的DICOM标签由一名高年资放射科住院医师(金标准)进行人工审核。如有不确定之处,则咨询一位具有15年临床经验的高年资放射科医师。标签依据研究的视觉内容进行核实,而非由审核者盲法分配。选择该方法是由于本分析具有探索性质,并旨在反映真实世界的临床实践。
影响分析
我们进一步评估了AI辅助DICOM标准化对阅片时间(RT)的影响。RT定义为从打开病例到以最终报告关闭病例的时间。这些RT数据作为远程放射学服务提供商正常工作流程的一部分自动记录在PACS中。选取2022年1月至2023年8月期间进行的所有连续CT检查,RT范围为0(包括小于60秒的研究)至40分钟。RT超过40分钟的研究被识别为离群值并予以排除。其他排除标准包括:无记录日期的研究、标记/优先处理的研究、来自特定客户的数据(如肺癌筛查)以及圣诞节假期期间由于连接和服务器问题产生的数据。CR研究因本身RT较短且已由其他AI工具覆盖,故排除在本分析之外。
共识别出28,067例CT扫描,其中24,269例符合纳入标准,并按时间顺序分为三个时期:AI辅助DICOM标准化之前(2022年1月至9月):10,966例。
过渡期(2022年10月至11月):2961例。
AI辅助DICOM标准化之后(2022年12月至2023年8月):10,342例。
该AI工具于2022年10月引入,设定了两个月作为过渡期,以便放射科医生适应。自2022年12月起纳入的病例被归为“之后”时期。从数据集中确定了六个组别(见补充表2),代表了常规放射学实践中常见的检查类型,覆盖了广泛的解剖区域:胸部CT(之前N=4006,之后N=2453)、腹部CT(之前N=2426,之后N=2590)、全身CT(之前N=1495,之后N=2437)、头部CT(之前N=1702,之后N=1449)、面部CT(之前N=1036,之后N=1089)和颞骨CT(之前N=301,之后N=324)(见图1)。
软件
在远程放射学服务商的现有工作流程中,安装了一款商用软件工具,该工具在PACS接收前通过将不一致、不完整或非标准的条目映射到一致的本体来标准化所有DICOM标签。该工具结合了基于规则的DICOM标签预处理和基于深度学习的元数据及像素数据分析,以生成标准化的DICOM标签。这包括解析现有元数据(如设备类型、检查描述、序列描述、受检部位),在元数据不完整时利用深度学习分析像素数据以识别解剖区域、扫描平面和对比剂时相等信息,并将结果与受控词表对齐以实现语义一致性。根据元数据不一致的程度,基于规则的处理与基于AI的处理所占比例可因每个DICOM标签而异[24–26]。算法框架的详细描述见补充材料。
标注准确性是在软件模块2.1使用期间进行评估的。影响分析的数据是在软件更新之前提取的,当时使用的是模块1.3。研究人员通过安全的虚拟PACS环境获取了匿名化数据。
统计分析
所有统计分析均在与一位经验丰富的统计学家协商后设计和审查。
标注准确性
AI辅助DICOM标签的评估在病例层面和图像层面分别进行。病例指对某位患者进行的一次放射学检查,具有唯一的登记号,并包含所有采集的视图(CR检查)或序列和重建(CT检查)。图像指病例中的单个放射投影(CR检查)或单个序列/重建(CT检查)。对于每个DICOM标签(设备类型、身体部位、平面和方案),评估了正确标注的病例数和图像数。标注准确性分别以各对应组内正确标注的病例数和图像数占病例总数和图像总数的百分比表示。标注准确性分析为探索性分析,仅采用纯描述性统计,未应用敏感性或特异性计算。其目的不是以特定精度估计准确性或进行假设检验,也未应用预定义的准确性阈值或误差范围计算。
影响分析
使用描述性统计和Mann–Whitney U检验(一种适用于比较两组非正态分布数据的独立样本的非参数检验)评估AI辅助DICOM标准化对RT的影响。对于每个CT检查组,计算AI辅助DICOM标准化前后的病例数、平均RT、中位RT、标准差和四分位距(第25和第75百分位数)。
每个CT类别的效率提升以实施前后平均RT的绝对差值以及平均RT的相对百分比降低来计算,使用以下公式:
每个CT类别的年病例量通过将实施前后18个月期间的总病例数除以12个月来计算。然后将绝对效率提升乘以年病例量,以估算每个CT类别的潜在年度总效率提升。总估计年度节省时间通过汇总所有CT类别的效率提升得出。应用Mann–Whitney U检验评估两个阶段之间RT的统计学差异,显著性水平设为p值< 0.05。
结果
标注准确性
CR检查
对于胸片,所有审核的DICOM标签均100%准确(113/113例和120/120幅图像)(见表1)。对于颈椎片,模态和身体部位标签100%准确(48/48例和120/120幅图像)。平面标签在病例水平准确率为94%(45/48),在图像水平为98%(117/120),其中正位(98%)(46/47)和齿状突(100%)(12/12)视图准确性较高。侧位投照显示微小差异,为97%(59/61),其中3例被误标为下颌骨斜位(n = 2)和正位(n = 1)视图(见表1)。对于膝关节片,模态和身体部位标签100%准确(66/66例和182/182幅图像)。平面标签在病例水平准确率为91%(60/66),在图像水平为96%(175/182)。7幅膝关节侧位图像被误标为髌骨轴位(4)、斜位(2)和正位(1)。其中1例包含膝关节假体,5例具有水平射线方向。侧别标签对于右侧(31/31例和90/90幅图像)和左侧(35/35例和92/92幅图像)检查均100%准确。值得注意的是,3例包含左膝后前位正位视图,经验不足的观察者或在仓促评估中可能将其误判为右膝。然而,AI工具正确识别并将其标记为左膝。
总体而言,AI辅助的CR检查DICOM标注具有高度准确性,模态和身体部位标注准确率为100%,特定投照存在微小差异,尤其是在颈椎侧位和膝关节髌骨轴位/轴位视图中。
胸部CT
模态标签在所有病例(105/105)和所有图像(299/299)中均100%准确(表2)。身体部位标签在96%的病例(94/98)和95%的图像(230/243)中被正确识别,少数病例未标注身体部位(7/105例(7%),56/299幅(19%))。平面标签在所有图像中显示100%的准确率(299/299),轴位(237/237)、冠状位(39/39)和矢状位(23/23)序列均被正确分类。平扫(59/59例,128/128幅)与增强图像(46/46例,171/171幅)的区分准确率为100%。然而,增强时相的标注准确率略低(33/46例(72%),142/171幅(83%))。因此,方案标注的总体准确率在病例水平为88%(92/105),在图像水平为90%(270/299)。
CT腹部
对于CT腹部检查,模态标注准确率为100%(159/159例,300/300幅)(见表2)。身体部位标签在病例水平(132/132)和图像水平(269/269)均达到100%的准确率。17%的病例(27/159)和10%的图像(31/300)缺失身体部位标签。平面标签在轴位(252/252)、冠状位(38/38)和矢状位(10/10)图像中显示100%的准确率。平扫与增强图像的区分准确率为100%(分别为19/19和281/281),增强时相的标注准确率也非常高,为99.6%(280/281幅)。因此,方案标注在病例水平的总体准确率为99%(158/159),在图像水平为99.7%(299/300)。
CT全身
对于CT全身检查,模态标注准确率为100%(42/42例,304/304幅)(见表2)。身体部位标签在83%的病例(33/40)和88%的图像(256/290)中被正确分配,部分检查未标注(2/42例(5%),14/304幅(5%)图像)。平面和方案标签在所有病例(42/42)和所有图像(304/304)中均100%准确。
CT头部
对于CT头部检查,模态标注在所有病例(42/42)和所有图像(297/297)中均100%准确(见表3)。身体部位标签在病例水平显示88%的准确率(36/41),在图像水平为93%(270/290)。1例未标注身体部位(7/297幅(2%))。平面标签在所有轴位(152/152)、冠状位(81/81)和矢状位(68/68)图像中均100%准确。方案标注准确率为98%(41/42例,290/297幅),其中1例平扫检查(7幅图像)未被正确标注。
CT面骨
对于CT面骨检查,模态标注在所有病例(73/73)和所有图像(303/303)中均达到100%的准确率。身体部位标签在所有病例(67/67)和所有图像(281/281)中均100%正确分配,不包括6例(8%)缺失身体部位标签的病例。平面标签在轴位(197/197)、冠状位(76/76)和矢状位(30/30)视图中均100%准确。方案也被100%正确标注(73/73例,303/303幅)。
总体而言,AI辅助的CT检查DICOM标准化展示了较高的标注准确率,身体部位标签和增强时相标签存在轻微差异。
影响分析
AI辅助DICOM标准化工具的实施使CT腹部、CT全身、CT头部和CT颞骨检查的阅片时间(RT)出现了有统计学意义的缩短(p ≤ 0.02)(表4和图2)。RT的平均缩短幅度及相应的相对效率提升分别为:CT腹部2.9分钟(20%)、CT全身2.2分钟(15%)、CT头部0.7分钟(8%)、CT颞骨2.5分钟(22%)。重要的是,这些类别还表现出中位数和第75百分位数RT的显著下降,表明RT在更广泛的分布范围内均有改善。CT胸部(−0.4分钟,−3%;p值 = 0.07)和CT鼻窦/眼眶(−0.1分钟,−2%;p值 = 0.90)未观察到显著变化。
按年病例量外推估算,所有CT类别的年度总效率增益为每年270小时,相当于约34个8小时工作日。该估算基于每个CT类别计算的年度效率增益,详细计算见表4。由于数据汇总自多个NHS信托机构,机构层面的增益可能因当地病例量和分布的不同而有所差异。
讨论
本研究旨在评估AI辅助DICOM标准化工具的标注准确性及其对放射科医生阅片时间(RT)的影响。标注准确性在多种成像模态(CR和CT)和多个解剖区域中进行评估,身体部位标签的准确率为83%至100%,平面标签为91%至100%,方案标签为88%至100%。一小部分研究/图像仍未标注,可能是由于匿名化过程中的数据丢失而非AI失败所致,已排除在计算之外。影响分析显示,大多数检查组(包括CT腹部、CT全身、CT头部和CT颞骨)的平均RT显著缩短(p值 ≤ 0.02),相应的相对效率提升为8%至22%。按年病例量外推,所有CT类别的年度总效率增益估算为每年270小时,相当于约34个8小时工作日。由于数据汇总自多个NHS信托机构,机构层面的增益可能因当地病例量和分布的不同而有所差异。
通过提高 DICOM 标签的一致性和清晰度,这一人工智能工具解决了影像数据管理中长期存在的挑战。既往研究已指出,不一致或不完整的元数据阻碍了关键工作流程,如既往影像检索、挂片协议的生成、研究数据提取以及跨机构数据共享。这种不一致性也是放射学中人工智能应用有效部署的主要障碍 [4]。尽管人工智能在医学影像中的应用快速增长,但针对改善工作流程的工具关注相对较少。这一点反映在过去十年中该主题研究的明显缺失上。尤其是,当前文献在诸如 DICOM 元数据等基础架构的标准化和优化方面存在关键空白 [4, 6, 11, 14, 15, 23]。鉴于这一空白,将我们的结果与既往研究进行比较较为困难。然而,既往研究的缺失进一步凸显了我们工作的价值,因为这是对该工具的首次同行评审评估。
虽然这些发现凸显了该人工智能工具的潜力,但对观察到的结果应谨慎解读。本评估的优势包括:标签准确性分析使用了包含 1925 幅图像/序列的 648 例稳健数据集,收集时间近两年,涵盖两种成像模态和多种身体部位。此外,影响分析基于广泛的实施前后对比,包括人工智能工具实施前 10966 例和实施后 10342 例的检查周转时间(RTs)。
若干局限性值得讨论。关于标签准确性评估,主要局限性是缺乏独立建立的真值标签,无法将人工智能生成的 DICOM 标签与之比较。因此,无法进行敏感性和特异性分析,且不能排除观察者偏倚。多人阅片或共识方法可进一步加强真值的稳健性。尽管该人工智能工具显示出非常高的 DICOM 标签准确性,但在 CT 检查的身体部位标注中仍观察到轻微的不准确,尤其是在解剖结构重叠的区域。这可能反映了需要进一步微调软件阈值参数,以确定部分身体部位如何被分类。此外,虽然该工具能可靠地区分平扫和增强检查,但区分具体增强期相更具挑战性,表明需要进一步的算法优化。
关于影响分析,还有一些额外的局限性值得考虑。首先也是最重要的是,检查周转时间(RTs)显著缩短的确切机制无法明确确定。由人工智能工具触发的系统挂片协议(SDPs)未被直接评估。因此,观察到的效率提升主要由元数据标准化的改善及相关的挂片协议改进所驱动,仍是一种假设。
其次,若干方法学因素可能导致对该工具真实效果的低估。最重要的是,“阅读时间”的定义涵盖了从打开研究到报告结束的整个时间段,包括解读和报告撰写活动。这一较宽泛的定义,加上疲劳、工作负荷波动和工作流程中断等影响,引入了信息偏倚的风险。尽管数据集的规模和多样性较大,降低了这些因素完全解释所观察效应的可能性。此外,任意选择了两个月的过渡期,以使放射科医生适应标准化的SDP。更长的适应期可能会减少与个体学习曲线和SDP使用相关的变异性[27]。
第三,RT分析中的CT胸部组需要特别关注。尽管使用了相同的入选标准,但在AI实施前(n = 4006)和实施后(n = 2453;减少39%)观察到了病例数的显著差异。若干因素,如疾病发病率的时间波动(特别是与COVID-19大流行及其各波次相关),以及与参与客户或胸部放射科医生的合同变化,可能导致了这一差异。然而,仅凭这些因素不太可能完全解释所观察到的差异。虽然这种不平衡的确切原因尚不清楚,但我们认为它更可能对该工具的性能产生了负面影响,而不是引入了有利于该工具的偏倚。该组RT缺乏显著变化也可能归因于研究本身结构较简单、既往影像(如CR胸部检查)相对简单,以及AI辅助标准化之前DICOM元数据已经准确。
尽管有这些考虑,该AI工具仍显示出有前景的结果。该工具的潜在益处不仅限于放射科医生。标准化的DICOM元数据还可能为非放射学培训背景的用户(包括临床医生、急诊医生、急救人员、学生和研究人员)提供工作流程便利[28]。此外,所观察到的RT减少可能在机构层面转化为更广泛的效率提升,特别是在高工作量环境中[28]。
需要进一步的研究来扩展当前的发现。我们希望本研究能为该领域的未来研究奠定基础。解决本研究中确定的偏倚来源对于确保更稳健地评估AI辅助DICOM标准化的影响至关重要。未来的研究还应评估更广泛的临床和机构结局,包括其在更复杂成像方式(如磁共振成像)中的应用、成本效益评估[28, 29]以及在不同实践环境中的整合。
结论
这项回顾性评估表明,AI工具能够充分标准化DICOM标签,并且可能与其实施后放射科医生RT的统计学显著减少相关。通过解决影像数据管理中长期存在的挑战,该工具有可能帮助优化放射学工作流程,使放射科医生和其他医疗专业人员均受益。
补充信息
电子补充材料
引用
- Tariq, Vernooij, Redekop, et al. Evaluation of standardized DICOM labels assigned by a hybrid AI tool and its impact on radiologists' reading times. Eur Radiol. 2026. PMID: 42268302. doi:10.1007/s00330-026-12670-w
- 全文:PMC13574735(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13574735/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。