多中心评估人工智能生成的双反转恢复与相位敏感反转恢复序列对皮质及近皮质多发性硬化病灶的检测
该多中心回顾性研究纳入202例多发性硬化患者,由7名经验丰富的读片者随机盲法评估人工智能生成的DIR和PSIR图像与MRI采集的对应图像。人工智能生成DIR图像上检出病灶数多于MRI采集DIR(1154 vs 855,P<.001),PSIR上二者无显著差异(803 vs 814,P=.87),中心间与读片者间信度良好。
要点
- 人工智能生成DIR图像上检出病灶数多于MRI采集DIR图像(1154 vs 855),差异有统计学意义。
- 人工智能生成PSIR图像与MRI采集PSIR图像检出病灶数无显著差异(803 vs 814)。
- 人工智能生成DIR与PSIR图像的中心间信度分别为ICC 0.81和0.75,读片者间信度分别为0.76和0.85。
核心结论
- 人工智能生成的DIR和PSIR图像与MRI采集对应图像相比表现良好,在多中心环境下可认为可靠,读片者间与中心间解释一致性良好。
研究设计与样本
- 回顾性多中心研究,2020年2月至2021年1月从7个学术医学中心收集202例多发性硬化患者(平均年龄46岁±11,127例女性)的MRI数据。
- 纳入标准包括1.5T或3.0T临床场强下含DIR和/或PSIR序列、三维T1加权序列及质子密度/T2加权或FLAIR序列的MRI扫描。
- 生成对抗网络用于生成人工智能DIR(n=50)和PSIR(n=43)图像,训练集与测试集按2:1比例分配。
- 由7名来自不同中心、均有>10年病灶评估经验的读片者按MAGNIMS共识推荐及序列特异性指南进行随机盲法病灶评估。
- 以MRI采集的DIR和PSIR图像为参考标准,比较人工智能生成图像上的病灶检出数量。
关键影像表现/征象
- 人工智能生成DIR图像上检出1154个病灶,MRI采集DIR图像上检出855个,读片者平均多检出35.0%±22.8(P<.001)。
- 人工智能生成PSIR图像上检出803个病灶,MRI采集PSIR图像上检出814个,为MRI采集的98.9%±19.4(P=.87)。
- 人工智能生成DIR图像上检出近皮质病灶495个(42.9%),多于MRI采集DIR的338个(39.5%)(P<.001)。
- 人工智能生成PSIR图像上检出近皮质病灶232个(28.9%),少于MRI采集PSIR的282个(34.6%)(P=.02)。
- 一幅示例中病灶在人工智能生成DIR图像上表现为近皮质,而在MRI采集DIR图像上因病灶与皮质间可见白质缘而判为皮质下(假阳性)。
诊断标准与关键数值
- 人工智能生成DIR与MRI采集DIR图像的中心间信度ICC为0.81(95%CI:0.68,0.89),人工智能生成PSIR与MRI采集PSIR为0.75(95%CI:0.59,0.85)。
- 读片者间信度:人工智能生成DIR ICC 0.76(95%CI:0.43,0.98),MRI采集DIR ICC 0.85(95%CI:0.58,0.99),人工智能生成PSIR ICC 0.85(95%CI:0.59,0.99),MRI采集PSIR ICC 0.85(95%CI:0.59,0.99)。
- 人工智能生成DIR图像精确度为72.8%±13.1,人工智能生成PSIR图像精确度为69.5%±13.1。
- 病灶按近皮质(接触但未进入皮质灰质)、白质皮质(部分位于皮质、部分位于相邻白质)、皮质内(完全位于皮质内)和幕下(小脑幕以下)分类。
临床应用与阅片要点
- 在缺乏MRI采集DIR和PSIR序列时,人工智能生成的DIR和PSIR图像可为诊断和疾病监测提供皮质及近皮质病灶的可视化工具。
- 判读人工智能生成DIR图像时需注意近皮质与皮质下病灶的区分,因算法对皮质缘的影响可能将部分皮质下病灶误判为近皮质。
- 判读人工智能生成PSIR图像时需注意幕下假阳性病灶,因人工智能生成图像含T2加权成分。
- DIR和PSIR对幕下病灶的检出可能被低估,三维FLAIR和T2加权自旋回波序列通常用于检测此类病灶而非DIR或PSIR。
局限性
- 体内数据以MRI采集图像而非组织病理学作为参考标准,人工智能生成PSIR图像的组织病理学验证需在今后研究中解决。
- 图像3-mm重格式化增加了评估小可疑病灶(如区分病灶与皮质血管或Virchow-Robin间隙)的难度。
- 冠状位和矢状位图像分辨率未优化,不能用于病灶检测或验证,可能在一定程度上妨碍了皮质病灶检测。
- 本研究未直接比较人工智能生成DIR与PSIR图像,因评估的是不同患者的图像。
- 未来研究应按统一方案比较病灶检出数量,以评估不同厂商及二维和三维采集的哪种序列组合能生成检出潜能最高的人工图像。
全文中译13 节 · 点击展开
摘要
从多中心输入数据生成人工双反转恢复和相位敏感反转恢复MRI扫描,在检测皮质和近皮质多发性硬化病灶方面具有较高的中心间和读者间可靠性。
关键结果
■ 在一项纳入202例多发性硬化患者的回顾性研究中,读者在人工生成的MRI图像上可比MRI采集的双反转恢复(DIR)图像检测到更多病灶(1154 vs 855;P = .02)。
■ 在人工MRI上可检测到皮质病灶,具有较高的中心间可靠性(组内相关系数[ICC]:DIR为0.81,相位敏感反转恢复(PSIR)为0.75)和读者间可靠性(ICC:DIR为0.76,PSIR为0.85)。
引言
多发性硬化是一种中枢神经系统的炎性、脱髓鞘性和神经退行性疾病,可导致多种躯体和认知功能障碍(1–3)。尽管多发性硬化病灶可累及整个中枢神经系统,但在MRI上以白质最为显著(4–6)。然而,免疫组化染色显示多发性硬化病灶也常发生于皮质灰质(7)。已知皮质灰质病灶与残疾和认知相关,因此可能在监测多发性硬化患者疾病进展中发挥重要作用(8–10)。MRI上可见的皮质灰质病灶被发现是多发性硬化的病理学标志,这使诊断标准从仅包括近皮质病灶(即触及皮质)扩展到近皮质或皮质病灶(11)。
由于皮质病灶体积小且相对于表现正常灰质的对比度低,在常规临床MRI序列(如T1加权、T2加权和液体衰减反转恢复(FLAIR)序列)采集的图像上不明显(12)。随着先进MRI技术的发展,如双反转恢复(DIR)和相位敏感反转恢复(PSIR)序列,皮质病灶的可视化得到改善(4,5,7,13,14)。然而,由于采集时间较长(即10–15分钟),这些序列在常规诊断和临床试验评估方案中大多缺失。最近使用人工智能(AI)的初步研究已能够从常规临床MRI方案(即T1加权和质子密度/T2加权序列的组合)生成人工DIR图像(15,16)。对AI生成的DIR图像与MRI采集图像进行组织病理学验证显示灵敏度和特异度值相等(17)。为发挥AI生成的DIR和PSIR图像作为MRI采集DIR和PSIR图像替代方案的潜力,多中心数据评估对于理解其在硬件和序列参数设置存在变异的临床或研究环境中的价值至关重要。
本研究的主要目的是在多中心环境中,评估AI生成的DIR和PSIR图像与MRI采集的DIR和PSIR图像相比,在诊断和疾病监测目的下对皮质和近皮质多发性硬化病灶的检测。
材料与方法
研究设计与参与者
我们的研究数据于2020年2月至2021年1月期间从七个学术医学中心回顾性收集(美国国立卫生研究院;英国伦敦大学学院;德国慕尼黑工业大学;意大利热那亚大学;意大利IRCCS圣拉斐尔科学研究所;意大利维罗纳大学;荷兰阿姆斯特丹UMC)。部分数据此前曾为不同目的进行分析(附录S1)。所有患者在研究开始和数据共享前均提供了书面知情同意书。研究经所有参与中心的机构伦理审查委员会批准。
MRI数据的采集
要求每个参与中心提供至少20例根据McDonald或Poser标准诊断为多发性硬化症患者的全脑MRI数据(11,18,19)。纳入和排除标准为是否存在以下MRI扫描:临床场强1.5 T或3.0 T采集的MRI,包括DIR和/或PSIR序列(理想为三维、接近1 mm各向同性分辨率)、三维T1加权序列(接近1 mm各向同性分辨率),以及质子密度/T2加权序列、液体衰减反转恢复序列或两者兼有(3 mm层厚或更高分辨率)。成像参数见附录S2(表S1–S5)。
图像预处理和人工图像的生成
完整图像处理流程的详细描述见其他文献(15)。简言之,每位患者所有可用的对比图像均使用FLIRT(线性图像配准工具,脑功能磁共振成像软件库(FSL)的一部分,版本5.0.4;http://fsl.fmrib.ox.ac.uk)通过刚体变换进行相互配准。所得的变换矩阵用于将所有个体的数据刚性变换至1 mm蒙特利尔神经学研究所标准空间(样条插值)。使用bet-premask(FSL)从数据中去除颅骨。对每位患者的每个对比图像施加方差缩放,但不施加任何其他强度或偏场校正。
接下来,训练两个独立的生成对抗网络(类U-Net卷积网络),以从可用的临床MRI序列(即T1加权和质子密度/T2加权或液体衰减反转恢复序列)生成人工DIR或PSIR图像。来自不同中心的图像被等量分配到训练集和测试集(2:1比例),然后将生成对抗网络应用于训练集。用于生成人工图像的代码存放于https://github.com/MrtnStnwk/DeepContrast。
病灶识别
AI生成的DIR和PSIR图像及其对应的MRI采集图像被随机分配,由来自不同中心的七名阅片者进行病灶评估。每位阅片者收到30个数据集:8幅AI生成的DIR图像、7幅AI生成的PSIR图像以及对应的MRI采集图像。一个随机选择的DIR数据集和一个随机选择的PSIR数据集提供给所有阅片者用于可靠性计算。其他数据集仅由一名阅片者审阅。图像以随机顺序提供并随机左右翻转以降低识别概率。病灶检测由七位作者(B.M.、C.L.、D.T.C.、E.S.B.、M.M.、P.E.和P.P.,均在皮层病灶检测方面具有>10年经验)按照多发性硬化磁共振成像(MAGNIMS)组关于MRI采集及AI生成DIR图像的共识建议以及关于MRI采集及AI生成PSIR图像的序列特异性指南(14,20)进行。阅片者还被要求标明病灶类型为近皮层(接触但未进入皮层灰质)、白质皮层(部分位于皮层、部分位于相邻白质)、皮层内(完全位于皮层内)或幕下(小脑幕以下)。程序和病灶检测标准的详细描述见附录S3–S5。
统计分析
以对应的MRI采集图像为参考,比较AI生成图像上检测到的病灶数量与MRI采集图像上的病灶数量。使用Kolmogorov-Smirnov检验评估数据的正态性分布,若非正态分布则进行对数转换。
统计分析由三位作者(P.M.B.、L.E.J.和J.W.R.T.,分别具有4年、8年和>15年经验)完成。每位患者检测到的病灶数量差异使用配对t检验评估,病灶亚型水平检测到的病灶数量差异使用配对Wilcoxon符号秩检验评估。阅片者间一致性(可靠性;同一患者)通过计算组内相关系数(ICC)(双向混合模型,绝对一致性)评估。计算基于每20个层面识别出的病灶数量(即0–20;21–40;41–60;60–80)。使用类似模型,确定了所有中心间(非同一患者)AI生成与MRI采集DIR和PSIR图像之间的可靠性。
AI生成图像的事后精确度使用每种对比剂随机选择的五名患者数据进行估计。将AI生成图像和MRI采集图像上检测到的病灶进行匹配,以获得真阳性和假阳性结果(以MRI采集图像为参考)。由此可计算精确度(精确度=真阳性结果除以总阳性结果;由P.M.B.完成)。此外,对14名患者的随机子样本计算了图像对比度比值以探索差异的来源。这些计算的详细描述见附录S6。P<.05被认为表示差异具有统计学意义。
分析使用Statistical Package for Social Sciences 28.0版(IBM)进行。
结果
患者特征
共接收来自202例多发性硬化患者(平均年龄46岁±11[标准差];127例女性)的DIR图像(n=160)和PSIR图像(n=125)。4例患者的数据因序列缺失或错误而被排除。DIR序列的训练集和测试集分别包括106例和50例患者,PSIR序列的训练集和测试集分别包括82例和43例患者。流程流程图见图1。DIR和PSIR训练集及测试集患者的人口学特征见表1。
AI生成图像上的病灶检测
图2提供了AI生成图像与MRI采集的DIR和PSIR图像上检测到的病灶数量的概览。
在AI生成的DIR图像上,共检测到1154个病灶,而在MRI采集的DIR图像上检测到855个病灶。图3展示了一些在AI生成和MRI采集的DIR图像上检测到的皮质病灶示例。按患者平均计算,读者在AI生成DIR图像上检测到的病灶比MRI采集DIR图像多35%,差异范围为多检测15%至79%(t=2.39,P=.02)。AI生成DIR图像上检测到的病灶数量中位数为15(IQR,8–23),MRI采集DIR图像为13(IQR,6–20)。中心间的可靠性分析显示,在所有评估数据集中,AI生成和MRI采集DIR图像上检测到的病灶数量具有良好的一致性(ICC,0.81[95%CI:0.68,0.89])。AI生成DIR图像的精确度为72.8%±13.1。图4展示了一个示例:该病灶在AI生成DIR图像上表现为近皮质,但在MRI采集DIR图像上为皮质下(因此为假阳性发现,因为读者被明确指示不要标记皮质下病灶)。
对于PSIR,在AI生成图像上共检测到803个病灶,在MRI采集图像上检测到814个病灶。图5展示了在AI生成和MRI采集PSIR图像上检测到的皮质病灶示例。与MRI采集PSIR图像相比,AI生成PSIR图像上检测到的病灶总数比为98.9%±19.4,不同读者的范围为71.6%至116.8%(t=−0.16,P=.87)。AI生成PSIR图像上检测到的病灶数量中位数为14(IQR,7–21),MRI采集PSIR图像为13(IQR,7–22)。中心间可靠性分析显示,在所有评估数据集中,AI生成PSIR图像与MRI采集PSIR图像上检测到的病灶数量具有良好的一致性(ICC,0.75[95%CI:0.59,0.85])。AI生成PSIR图像的精确度为69.5%±13.1。
读者间变异性评估(所有读者使用同一数据集)显示,AI生成DIR图像(ICC,0.76[95%CI:0.43,0.98])、MRI采集DIR图像(ICC,0.85[95%CI:0.58,0.99])、AI生成PSIR图像(ICC,0.85[95%CI:0.59,0.99])和MRI采集PSIR图像(ICC,0.85[95%CI:0.59,0.99])均具有良好的一致性。在所有读者评估图像的那例患者中,检测到的病灶数量中位数分别为:AI生成DIR为15(IQR,11–22),MRI采集DIR为12(IQR,11–15),AI生成PSIR为8(IQR,5–8),MRI采集PSIR为7(IQR,5–9)。
不同序列上识别出的病灶亚型之间的差异
AI生成图像与MRI采集图像上检测到的病灶亚型差异的图形概览见图6。对于AI生成图像与MRI采集的DIR图像,分别有1154个中的495个(42.9%)和855个中的338个(39.5%)检测到的病灶被分类为近皮质(Z = 3.52,P < .001);1154个中的316个(27.4%)和855个中的261个(30.5%)被分类为白细胞皮质(Z = −1.38,P = .17);1154个中的92个(8.0%)和855个中的119个(13.9%)被分类为皮质内(Z = −1.52,P = .13);1154个中的248个(21.5%)和855个中的128个(15.0%)被分类为幕下(Z = −4.30,P < .001)。1154个病灶中的3个(0.3%)和855个病灶中的9个(1.1%)未被阅片者分类。
对于AI生成图像与MRI采集的PSIR图像,分别有大多数病灶被分类为白细胞皮质:803个中的282个(35.1%)和814个中的308个(37.8%)(Z = −0.87,P = .38);其次为近皮质病灶:803个中的232个(28.9%)和814个中的282个(34.6%)(Z = −2.42,P = .02);皮质内病灶:803个中的97个(12.1%)和814个中的116个(14.3%)(Z = −1.53,P = .13);以及幕下病灶:803个中的184个(22.9%)和814个中的99个(12.2%)(Z = −3.37,P = .001)。803个病灶中的8个(1.0%)和814个病灶中的9个(1.1%)未被阅片者分类。
图像对比度比
对比度比值是针对14例不同患者中由阅片者检出的28个病灶的随机子集计算的。对比度比值计算的结果(针对28个区域计算)呈现于表2。对于人工智能生成与MRI采集的DIR图像,皮质病灶与表现正常灰质之间的对比度未观察到差异(分别为0.23 ± 0.20 vs 0.26 ± 0.23;Z = −1.94,P = .053),但在MRI采集的DIR图像中,表现正常灰质与表现正常白质之间的对比度更高(0.43 ± 0.16 vs 0.51 ± 0.18;Z = −3.26,P = .001)。对于PSIR,MRI采集图像中皮质病灶与表现正常灰质之间的对比度更高(−0.08 ± 0.12 vs −0.12 ± 0.07;Z = −3.17,P = .002),而表现正常灰质与表现正常白质之间的对比度比值未发现差异证据(−0.12 ± 0.08 vs −0.13 ± 0.08;Z = −1.07,P = .29)。
讨论
本研究探讨了在多中心数据集中,能否在人工智能(AI)生成的双反转恢复(DIR)和相位敏感反转恢复(PSIR)图像上检出其他方面不明显的皮质或近皮质多发性硬化病灶。一项早期在单中心环境中使用1.5-T MRI的研究表明,AI可能有助于缓解临床诊疗和临床试验中DIR序列常常缺失的问题(15)。我们的结果表明,与MRI采集的对应图像相比,AI生成的DIR图像上可检出更多病灶(t = 2.39,P = .02),而AI生成的PSIR图像上与MRI采集的对应图像上检出的病灶数量相等(t = −0.16,P = .87),并且具有良好的中心间一致性(组内相关系数[ICC],DIR和PSIR分别为0.81和0.75)和阅片者间一致性(ICC,AI生成和MRI采集的DIR图像分别为0.76和0.85,AI生成和MRI采集的PSIR图像分别为0.85和0.85)。这些结果提示,当MRI采集序列不可用时,AI生成的DIR和PSIR图像可用于诊断和疾病监测场景。
我们的研究表明,在人工智能生成的DIR图像上可检测到的近皮质病灶数量多于MRI采集的DIR图像。这与先前考察人工智能生成DIR图像的研究不同,那些研究发现检测到的病灶数量相似(15,17)。人工智能生成DIR图像中检测到的病灶数量更多也反映在精确度上,这可能源于人工智能生成图像更平滑的外观以及人工智能对皮质边缘的影响(由于算法对白质抑制的优化)。这反过来可能影响了皮质下与近皮质病灶的区分:阅片者被明确指示根据病灶是否触及(即近皮质)或未触及(即皮质下)皮质来进行此区分。其中,只有近皮质病灶需要标注。另一种解释是人工智能生成图像中的T1成分:先前已发现T1加权图像对近皮质病灶提供的对比度优于T2加权图像(21)。然而,最重要的发现是,人工智能生成的DIR和PSIR图像提供了一种皮质病灶检测工具,与MRI采集的DIR和PSIR图像相比,可检测到相似数量的皮质病灶。这些发现可能有助于多发性硬化症诊疗中空间播散确立和成像方案的诊断考量(9,11)。
结果还显示人工智能生成与MRI采集的PSIR图像之间具有高度可比性。先前研究发现,与DIR相比,PSIR可提供灰质与白质之间更清晰的对比,从而使阅片者能够更准确地区分近皮质和白细胞皮质病灶(22)。这些发现似乎反映在我们的结果中,PSIR图像上检测到的白细胞皮质病灶多于近皮质病灶。PSIR的精确度可能因假阳性发现而降低,这些假阳性主要位于幕下。这可能是因为T2加权序列更适合幕下病灶评估,且人工智能生成图像包含T2加权成分。对于DIR和PSIR,检测到的幕下病灶总数可能被低估,因为三维液体衰减反转恢复和T2加权自旋回波序列通常用于检测这些病灶,而非DIR或PSIR(9,23)。与先前文献一致,大多数检测到的病灶位于颞叶和额叶(24–30)。检测到的病灶位置可能与揭示其在例如躯体或认知功能恶化或疾病进展和转化中的作用相关(8,30–35)。关于人工智能生成PSIR图像上的病灶检测,文献中尚缺乏研究。然而,需要注意的是,我们的研究并未设定人工智能生成DIR与PSIR图像之间的直接比较,因为评估的是不同患者的图像。
本研究存在局限性。第一,关于体内数据,必须使用MRI采集的图像作为参考,而非组织病理学结果。尽管AI生成的DIR图像的组织病理学验证取得了有希望的结果(即90%的特异性),但AI生成的PSIR图像的组织病理学验证应在未来研究中加以解决(4,17)。第二,图像3 mm重建增加了评估小的可疑病灶的难度(例如,区分病灶与皮质血管或Virchow-Robin间隙)。然而,穿平面平均在某些情况下也可能改善了病灶的可辨别性。第三,冠状面和矢状面图像的分辨率未优化,因此无法用于病灶检测或验证。总之,这在一定程度上可能妨碍了皮质病灶的检测。然而,所有这些障碍在AI生成的图像和MRI采集的图像中均存在。未来研究应基于统一方案比较病灶检测数量,以评估哪种序列组合(针对不同厂商以及二维和三维采集)能够生成具有最高可检出潜力的人工图像。
总之,我们的研究表明,人工智能(AI)生成的双反转恢复(DIR)和相位敏感反转恢复(PSIR)图像上可检测的皮质和近皮质病灶数量至少等同于MRI采集的对应图像。这些图像不仅使用了多中心输入数据生成,而且对皮质和近皮质病灶的评估在中心间和阅片者间均具有良好的一致性。这表明,当需要MRI采集的对应图像但缺失时,AI生成的DIR和PSIR图像可作为可视化多发性硬化皮质病理异常的实用替代方案,适用于临床诊疗或(回顾性)临床研究。
引用
- Bouman PM, Noteboom S, Nobrega Santos FA, et al. Multicenter Evaluation of AI-generated DIR and PSIR for Cortical and Juxtacortical Multiple Sclerosis Lesion Detection. Radiology. 2023. PMID: 36749211. doi:10.1148/radiol.221425
- 全文:PMC10102645(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10102645/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。