使用智能自动化软件评估多发性硬化随访MRI神经放射学阅片的质量与效率
在三中心盲法研究中,117例多发性硬化随访MRI使用智能自动化软件Jazz由每中心2名神经放射科医生阅片,并与标准临床报告比较。Jazz报告的新发病灶(63 vs 24)和缓慢扩展病灶(平均95 vs 0)显著多于标准临床报告,平均阅片时间2分33秒±1分0秒。结论认为Jazz可显著提高多发性硬化随访MRI神经放射学阅片的质量与效率。
要点
- Jazz软件报告新发病灶63个,显著多于标准临床报告的24个。
- 标准临床报告未报告任何缓慢扩展病灶,Jazz平均报告95个。
- 使用Jazz的平均阅片时间为每例2分33秒±1分0秒。
核心结论
- 使用专用软件Jazz可显著提高多发性硬化随访MRI神经放射学阅片的质量与效率。
研究设计与样本
- 回顾性研究,在三家独立中心以完全盲法方式分析117例多发性硬化随访MRI。
- 每中心2名神经放射科医生独立使用Jazz软件阅片,共6名阅片者。
- 分析序列包括3D FLAIR及钆增强前后T1加权3D序列。
- 金标准通过并排比较标准临床报告与Jazz生成报告进行二次阅片确定。
关键影像表现/征象
- 新发病灶定义为既往检查不存在的白质病灶、当前检查可见,在3D FLAIR上评估。
- 缓慢扩展病灶定义为既往存在的白质病灶在前后两次检查之间显示扩大,在3D FLAIR上评估。
- 对比增强病灶通过比较钆增强前后T1加权3D序列评估。
- 原文指出单个缓慢扩展病灶可能难以解读,可能源于部分容积效应或MRI伪影,而多个缓慢扩展病灶高度提示疾病进展。
诊断标准与关键数值
- 金标准阅片共报告96个新发病灶(来自41例患者),平均每例0.83±0.08个。
- 金标准阅片共报告162个缓慢扩展病灶(来自61例患者),平均每例1.39±0.72个。
- 标准临床报告报告24个真阳性新发病灶(来自13例患者)、72个假阴性和5个假阳性新发病灶。
- Jazz报告平均报告63个真阳性新发病灶(来自30.5例患者)、33个假阴性和18个假阳性新发病灶(p<0.05)。
- Jazz报告平均报告95个真阳性缓慢扩展病灶(来自45例患者)、67个假阴性和38.5个假阳性缓慢扩展病灶(p<0.05)。
临床应用与阅片要点
- 使用Jazz的平均阅片时间为每例2分33秒±1分0秒。
- 使用Jazz的新发病灶读者间一致性为中等(Cohen kappa=0.5),缓慢扩展病灶为轻微(kappa=0.08)。
- 原文指出缓慢扩展病灶的读者间一致性低,表明该评估仍然特别困难且易受主观性影响。
- 原文指出使用客观标准定义缓慢扩展病灶可能有助于改善这一方面。
局限性
- 仅纳入三家中心,结果可能无法推广至其他中心。
- 使用Jazz的阅片条件与生成标准报告的阅片条件不完全相同,后者在标准临床常规中完成,可能包含更多干扰事件。
- 标准临床报告的阅片至少包括初次阅片和上级医师二次阅片,且可能与转诊临床医生讨论并采纳其评论。
- 使用Jazz的阅片仅包括单个阅片者的单次阅片。
- 金标准并非基于各中心最有经验阅片者的共识阅片,可能使一致性产生偏倚。
全文中译15 节 · 点击展开
引言
多发性硬化(MS)是一种自身免疫性、可能致残的中枢神经系统(CNS)脱髓鞘疾病,临床发病通常见于青壮年[1]。传统上,MS的进展被分为三种主要类型:原发性进展型MS(PPMS),影响10%至15%的MS患者;复发缓解型MS(RRMS)和继发性进展型MS(SPMS)[1],尽管最近有研究提出,MS的临床病程更好地描述为一个连续统一体,由个体间及随时间变化的并行病理生理过程共同作用[2]。在疾病修正治疗药物可用之前,大约50%诊断为RRMS的患者会在10年内转为SPMS,90%会在25年内转为SPMS,中位时间约为19年[3]。SPMS的诊断最常为回顾性确立[4],平均在实际进展开始后3年[5]。这是由于临床医生和患者难以解读提示早期进展的初始症状,这些症状可能轻微且波动[4],以及难以在影像学上检测疾病进展。随着早期使用高效疾病修正治疗可延迟SPMS发病的证明[6],以及近期获批用于进展型MS的新疗法(如抗CD20单克隆抗体奥瑞利珠单抗[7]或选择性鞘氨醇-1-磷酸受体调节剂西尼莫德[8])的可及,更早、更系统地检测残余炎症性疾病的重要性进一步增强。
使用影像学进行MS疾病监测尤其具有挑战性。它至少涉及每年对其中枢神经系统进行随访磁共振成像(MRI)扫描,包括对多个脱髓鞘病灶进行繁琐、耗时且易出错的人工比较和计数。鉴于时间限制以及严重病例中病灶负荷可达数百个,神经放射科医生可能被迫粗略比较病灶负荷,相关疾病演变可能在一段时间内未被发现。纵向减影图已被用于提高检测多发性硬化新发或增大病灶的敏感性[9–12]并缩短阅片时间[13],但使用该技术可能难以检测小病灶[14]。
MS病灶负荷演变的完全自动化神经放射学报告将具有重大意义,但当前方法(包括深度学习方法)的实际可行性有限,因为它们远非无错误。在过去十年中,深度学习方法,特别是二维和三维卷积神经网络,已被应用于开发自动病灶检测和分割[15]。报告的病灶级真阳性率范围为0.15至0.83,病灶级假阳性率范围为0.08至0.68[16–27]。鉴于随访对照上的每一个新发或演变病灶都可被视为疾病进展的标志,需要重新评估患者当前治疗,因此这些数字相对较低,所以每位患者仍需要专家放射科医生评估[28]。
在此背景下,一种基于智能自动化的工具将具有重要意义,它可以通过自动化许多重复性任务来简化放射科医生的工作。智能自动化旨在简化流程以提高效率并减少错误[29]。它应用了将较大的复杂任务分解为若干个更简单、非常易于理解的低层级步骤的概念,并利用人工智能和先进软件工程,通过智能软件实现低层级步骤的自动化。通过将放射科医生解放出来以专注于病灶评估,它可以减少漏诊病灶的数量。智能自动化有望提高生产力、降低成本,并实现更精确的流程和更好的用户体验。Jazz[30]是一款专用于神经放射学的智能自动化软件,可自动化多个低层级任务,如对比剂识别、既往检查整理和图像配准。它包括一个半自动病灶标注工具,允许用户轻松地将所有相关信息保存到病灶列表中,并具有旨在最大化生产力、最小化操作者疲劳和不适的图形用户界面(图1)。
在这项回顾性研究中,我们假设使用诸如Jazz之类的智能自动化软件可以提高多发性硬化(MS)随访MRI扫描神经放射学阅片的质量和生产力。我们在三个中心以盲法评估了Jazz对新发、增大和强化MS病灶的评估能力,并将报告的病灶与标准临床报告中描述的病灶进行了比较。
方法
以下分析在三个独立中心以完全盲法和独立的方式进行。
数据集
获取了一组120例(3个中心各40例)诊断为MS患者的当前和既往磁共振检查。分析了3D FLAIR、钆增强前后T1加权3D序列以及相应的临床报告。图像在3 T(当前检查86%,既往检查93%)和1.5 T(当前检查14%,既往检查7%)下采集,设备来自全部三家主要厂商(GE、Siemens和Philips)。所有数据均已匿名化。
使用Jazz的智能自动化
智能自动化软件Jazz按如下方式为放射科医生自动化低层级任务:
在预处理步骤中,Jazz使用仿射变换自动将图像相互配准,标记其对比度并按时间顺序组织检查。单击式用户界面工具允许“无需眼球移动”即可进行病灶比较和评估,从而最大化效率并最小化错误。病灶标注通过单击完成,并包括自动解剖定位检测。预填充的下拉选择器可在必要时快速修正病灶特征。创建病灶列表后,由此自动生成报告,包括病灶计数概览图,为放射科医生节省额外时间,并消除此步骤中可能的人为错误(图1)。
使用Jazz进行病例判读
病例加载到Jazz中。判读者随后使用Jazz用户界面通过单击操作或使用相应的键盘快捷键在配准后的检查和对比度之间切换以评估病灶。如有必要,判读者使用病灶锁定工具在不同平面上评估病灶。当用户检测到新病灶、缓慢扩大的病灶(SEL)或对比增强病灶时,判读者使用Jazz病灶标注工具,该工具允许通过单击标记观察到的病灶,其中软件自动识别解剖病灶位置,并在必要时使用带有选择器菜单的交互式病灶列表来修正病灶描述(图1)。
在每个中心,两名神经放射科医生使用Jazz软件独立评估所有40个病例(中心1 CF,12年经验,NH,8年经验;中心2 ME,15年经验,MM,2年经验;中心3 NN,5年经验,JPU,3年经验)。新病灶和SEL在3D FLAIR上进行评估。新病灶定义为前次检查中不存在的白质病灶、在当前检查中可见;而SEL定义为前次检查中已存在的白质病灶、在前次与当前检查之间显示病灶扩大。对比增强病灶通过比较GAD增强前和增强后T1加权3D序列进行评估。记录判读时间。
金标准
金标准通过使用并排比较重新评估标准临床报告和Jazz生成的报告中描述的所有病灶来定义。金标准判读由两名判读者中最有经验者(在两个中心)或第三名有经验的判读者(第三中心,__盲审中__,8年经验)完成。基于此金标准,然后对每份报告中报告的新病灶、SEL和对比增强病灶进行计数,并分类为真阳性、假阴性或假阳性。
统计分析
使用Mann–Whitney U检验评估使用Jazz的平均判读时间与生成标准报告之间的统计学显著性。显著性水平设定为α < 0.05。使用Jazz的判读者之间的判读者间一致性使用Cohen's Kappa评估。
声明
本研究经巴黎大学伦理委员会、苏黎世州伦理委员会(2022–00041)和斯坦福大学伦理委员会(IRB-26147)批准。所有方法均按照相关指南和法规执行。上述伦理委员会豁免了受试者的知情同意。本研究中使用的和分析的数据集可在合理请求下从通讯作者处获取。
结果
患者人群
中心1纳入39例(平均年龄55.5 ± 10.6岁,中位年龄57岁,年龄范围25–72岁,女性/男性 = 30/9;1例被排除,因为病灶非常融合,导致难以比较分离的病灶)。中心2纳入40例(平均年龄48.3 ± 12.8岁,中位年龄45岁,年龄范围26–73岁,女性/男性 = 31/9)。中心3纳入38例(平均年龄35.4 ± 9.8岁,中位年龄34岁,年龄范围20–64岁,女性/男性 = 20/18;1例被排除,因为随访MRI是用于评估脑积水,未对多发性硬化(MS)病灶进行专门描述,另1例被排除,因为其中一次检查缺少三维液体衰减反转恢复(3D FLAIR)序列)。
阅读时间
使用Jazz的阅读时间在所有阅片者中平均每例为2分33秒 ± 1分0秒(图2)。在中心1,使用Jazz阅读每例对于阅片者1为2分29秒 ± 2分15秒,对于阅片者2为1分45秒 ± 51秒。在中心2,使用Jazz阅读每例对于阅片者1为4分30秒 ± 2分42秒,对于阅片者2为2分33秒 ± 1分12秒。在中心3,使用Jazz阅读每例对于阅片者1为2分12秒 ± 1分7秒,对于阅片者2为1分51秒 ± 1分4秒。
3D FLAIR上的新发病灶
在所有三个中心中,金标准阅读平均每例报告0.83 ± 0.08个新发病灶(共117例患者中41例患者的96个病灶)。标准临床报告报告了13例患者的24个真阳性新发病灶、72个假阴性和5个假阳性新发病灶。Jazz报告平均(2名阅片者的平均值)报告了30.5例患者的63个真阳性病灶、33个假阴性和18个假阳性新发病灶(p < 0.05;表1和图3)。
3D FLAIR上的缓慢扩大病灶
在所有三个中心中,金标准阅读平均每例报告1.39 ± 0.72个缓慢扩大病灶(SEL)(共117例患者中61例患者的162个病灶)。标准临床报告在任何中心均未报告生长性病灶。Jazz报告平均(2名阅片者的平均值)报告了45例患者的95个真阳性生长性病灶、67个假阴性和38.5个假阳性SEL(p < 0.05;表2和图4)。
对比增强病灶
在中心1,所有患者均接受了静脉注射对比剂,且任何报告中均未描述对比增强病灶。在中心2,11例患者未接受静脉注射对比剂;在其余29例患者中,描述了4个新发对比增强病灶,在所有报告中一致,并且仅在标准临床报告上描述了1个假阳性对比增强病灶。在中心3,除1例外所有患者均接受了静脉注射对比剂;描述了1个对比增强病灶,在所有报告中一致。
阅片者间一致性
使用Jazz的阅片者之间对新发病灶的总体阅片者间一致性为中等,kappa = 0.5(中心1:0.45,中心2:0.51,中心3:0.54),对SELs的一致性为轻微,kappa = 0.08(中心1:-0.3,中心2:0.3,中心3:0.22)。
讨论
本研究表明,与标准临床报告方法相比,使用智能自动化软件Jazz时,以高效的方式报告的新发病灶和SELs数量显著更多,这是通过使神经放射科医生能够专注于病灶的检测和评估来实现的。据我们所知,这是首项在临床中涉及智能自动化软件的研究。通过允许在当前和既往检查的配准图像之间切换,它利用了一种特别有效的神经生理学机制来吸引阅片者对图像中变化的注意,换言之,在多发性硬化(MS)的情况下,吸引对新发和演变中病灶的注意。事实上,注意是一个选择性过程,在生理上是必要的,因为我们处理视觉信息的能力存在严重限制[31]。一种理论认为,注意是由大脑可用的总体能量固定量所强加的,并且由于神经元活动的高能量成本,只有一小部分机制能够同时参与[31]。因此,刺激必须竞争有限资源[32],这一概念得到了电生理学、神经影像学和行为学研究的支持[33, 34]。在已知能捕获注意的几种视觉刺激中,新物体的突然出现和物体的突然变化已知特别有效,并影响视觉搜索中的优先级[35–37]。与标准的并排比较方法相比,Jazz的动态切换工具利用了这种机制。
多发性硬化(MS)进展的识别通常是回顾性的,并基于临床症状[38]。大多数临床试验依赖于扩展残疾状态量表评分在3或6个月内确认的增加来定义疾病进展,这可能高估永久性残疾的累积达30%[39]。鉴于进展型MS的沉重负担以及近期针对这些患者有效治疗方法的开发,有必要建立可靠且可重复的方法以在疾病病程早期识别进展。尽管MS监测中临床数据标准化的优势已被广泛认可[40],但MS的神经放射学MRI报告往往内容稀疏且未标准化。已有研究表明,MS患者的MRI结构化报告比非结构化报告能为临床决策提供更充分的信息[41]。真实世界患者数据数字化程度的提高可促进对该病流行病学和病理生理学的新认识,并最终是实现真正的个性化患者诊疗所必需的[42]。
本研究还显示,超过半数患者中至少描述了一个SEL,而标准临床报告中均未报告。然而,读者间一致性较低,表明该评估仍然特别困难且易受主观性影响。使用定义SEL的客观标准可能有助于改善这一方面。SEL容易被忽视,且在标准DICOM查看器中尤其难以检测。SEL作为慢性但活动性MS病变的潜在标志物引起了广泛关注[43–45],可能具有诊断、预后和治疗意义。与复发缓解型MS(RRMS)患者相比,SEL在原发进展型MS(PPMS)患者中更为常见[44]。SEL的比例及其微结构组织异常与MS进展和继发进展型MS(SPMS)转化的更高风险相关[46]。在SPMS中,发现SEL几乎占T2病变的三分之一,与神经退行性MRI标志物相关并与临床恶化有关[47]。因此,SEL的数量和体积是预测更活跃、进展性疾病病程的有前景的生物标志物,并可能成为治疗干预的新靶点。这尤其令人感兴趣,因为近期对驱动SEL机制理解的进展激发了对改善该病症治疗的乐观态度[48]。一个强有力的工具来收集磁共振图像上的SEL,如本工作中所描述的工具,可能有助于更早、更系统地检测进展性疾病患者。
本研究存在若干局限性。仅纳入了三个中心,我们的结果可能无法推广至其他中心。使用Jazz软件进行的阅片与用于生成标准报告的阅片条件并不完全相同,后者是在标准临床常规工作中完成的,可能包含更多分散注意力的因素。标准临床报告的阅片至少包括首次阅片和通过上级医师进行的二次阅片,并且可能与转诊临床医师进行了讨论并采纳了其意见。使用Jazz软件的阅片仅包括单一阅片者的单次阅片。金标准并非基于各中心最有经验的阅片者所进行的共识阅片,这可能使一致性评估产生偏倚。当前和既往检查可能在不同扫描仪上采集,这可能是SEL评估中的混杂因素。此外,既往SEL的定义基于纳入超过2年的至少三个时间点[44],通过参考扫描与随访扫描之间变形的雅可比行列式评估局部扩张,并使用启发式评分以倾向于选择经历同心且持续变化的个体SEL候选者[44],而本研究采用了更为务实的方法,仅基于两个MR时间点进行主观扩张评估。最后,未使用标准化方法定义SEL,因为评估留给了每位阅片者的主观判断。
总之,本研究表明,与标准方法相比,使用智能自动化软件Jazz能够以省时的方式显著描述出更多的新发病灶和SEL。
引用
- Federau C, Hainc N, Edjlali M, et al. Evaluation of the quality and the productivity of neuroradiological reading of multiple sclerosis follow-up MRI scans using an intelligent automation software. Neuroradiology. 2024. PMID: 38265684. doi:10.1007/s00234-024-03293-3
- 全文:PMC10859335(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10859335/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。