Limbus人工智能软件辅助前列腺及淋巴结放疗勾画的临床疗效评估
本研究由三位临床肿瘤学家对30例前列腺患者(15例仅前列腺,15例前列腺+淋巴结)的CT扫描进行手动勾画和Limbus AI软件自动勾画,比较勾画时间、几何相似性(DSC)及剂量学影响。结果显示Limbus将前列腺+淋巴结患者的勾画时间从约56分钟降至29分钟(节省47%),仅前列腺患者从21分钟降至7分钟;所有结构的DSC均大于0.7;20个计划中有5个使用未修改的AI危及器官勾画需牺牲PTV覆盖。作者结论认为Limbus节省时间显著,已成为其临床实践的一部分。
要点
- Limbus将前列腺+淋巴结患者勾画时间从约56分钟降至29分钟,仅前列腺患者从21分钟降至7分钟。
- 所有结构DSC均大于0.7,但股骨头、肠道和盆腔淋巴结需编辑4层以上CT层面。
- 20个计划中5个使用未修改AI危及器官勾画需牺牲PTV覆盖,强调专家审核的重要性。
核心结论
- Limbus节省时间显著,已成为我们临床实践的重要组成部分。
- AI勾画不完美,人体解剖变异大且存在观察者间差异,完美模型难以实现,需要一定现实态度。
- 使用未审核的AI勾画可能导致靶区覆盖不必要地受损或危及器官剂量报告错误,强调安全临床实施和仔细专家审核的重要性。
研究设计与样本
- 前瞻性研究,纳入30例前列腺患者(15例仅前列腺,15例前列腺+淋巴结)的CT扫描,使用Siemens Somatom Confidence 64扫描仪,参数为120 kV、2 mm层厚、面内像素1 mm×1 mm。
- CT数据传送至Aria v17.0供临床医生勾画,临床靶区为前列腺和精囊,危及器官包括膀胱、直肠和股骨头,按PACE临床试验方案勾画;淋巴结患者还勾画肠道和盆腔淋巴结,淋巴结按Taylor等人发布的指南勾画。
- 使用Limbus v1.6.0(Limbus AI Inc, Regina, SK, Canada)生成自动勾画,该软件为基于Python的AI编码软件,采用卷积神经网络算法和U-net模型架构,使用TensorFlow在公开CT数据集上训练。
- 由三位FRCR第二部分合格的临床肿瘤学家记录手动勾画和修改Limbus勾画的时间;由两位FRCR第二部分合格的肿瘤学家独立对Limbus勾画进行0-3分评分;使用Dice相似系数(DSC)和95% Hausdorff距离(HD)评估几何相似性;对20个临床批准的VMAT计划使用未修改的AI危及器官勾画重新优化以评估剂量学影响。
关键影像表现/征象
- Limbus在膀胱无邻近器官时勾画满意,但当其他器官(如肠道或直肠)位于其上方或后方时遗漏部分膀胱。
- Limbus勾画股骨头和股骨颈,而临床医生按PACE方案仅勾画股骨头,通常需从Limbus勾画中删除5-6 cm层面。
- Limbus高估肠道下界,通常需在下部删除4层以上CT层面;肠道邻近膀胱时也不准确,有时将血管和肌肉纳入肠道结构。
- Limbus盆腔淋巴结勾画比Taylor等人描述的血管周围7 mm边缘更紧,需临床医生扩大该边缘;AI淋巴结向下方盆腔延伸过远,停在闭孔窝下方;骶前桥正确延伸至S3上界但在此停止勾画,而个体骶前区域应勾画至S3底部。
- Limbus与专家在前列腺和精囊勾画上未见系统性差异。
诊断标准与关键数值
- Limbus勾画质量采用0-3分评分:3分表示无需编辑;2分和1分分别定义为需编辑<4层和≥4层CT层面;不可接受勾画为0分。
- DSC大于0.7被选为表示足够相似性;DSC范围0-1,1表示完美重叠,0表示无重叠;95% HD为两个勾画之间所有距离的第95百分位数。
- 膀胱中位DSC显示几乎完美重叠;直肠和肠道中位DSC分别为0.82和0.83;左、右股骨头中位DSC分别为0.80和0.78;前列腺DSC为0.85;盆腔淋巴结一致性较差。
- 除膀胱外所有结构95% HD值相对较大;除膀胱和前列腺外,所有结构DSC大于0.7且95% HD大于或接近10 mm。
- PTV覆盖目标为98%的PTV接受95%处方剂量;前列腺和精囊处方为60 Gy分20次,淋巴结体积计划接受47 Gy分20次。
临床应用与阅片要点
- Limbus作为临床医生的辅助工具,所有结构在批准前均需临床医生审核。
- 本研究中心的做法是Limbus现已常规用于临床,该实践与英国国家卫生与临床优化研究所(NICE)近期发布的建议一致。
- 使用未修改AI危及器官勾画时,20个计划中5个(25%)需牺牲PTV覆盖以满足肠道上限约束,这些计划PTV覆盖范围为88.3%至97.2%,而原计划覆盖大于98%。
- 5个计划中4个部分精囊被识别为肠道,导致AI肠道位于60 Gy PTV内;1个计划中1.7 cc肠道接受52 Gy,超过上限0.01 cc。
局限性
- 几何指数仅提供AI勾画软件效能的粗略度量,尽管已知其问题仍纳入以提供现有研究的背景。
- 评分系统的潜在弱点是若上下界在四层或更多层面上存在差异则必须评为1分,股骨头和肠道通常如此。
- 上下界水平可能因诊所或国家特定方案而异,AI软件无法对全球所有诊所完美。
- 人体解剖变异大且存在已知观察者间差异,完美模型可能难以实现。
全文中译22 节 · 点击展开
引言
放疗方案根据患者解剖结构和疾病进行个体化制定,每项均通过CT(和/或)MRI成像可视化。治疗计划系统(TPS)用于模拟辐射在患者体内的传输,目的是将最高辐射剂量集中于患者肿瘤,同时最小化肿瘤附近器官的辐射剂量。然而,需要专家用户干预来勾画这些体积。这是一个耗时的过程,是治疗计划流程中的常见瓶颈,并且与所有手工过程一样,易受观察者间差异的影响。1,2
使用经过训练的人工智能(AI)模型来勾画这些结构是一个快速发展的领域,旨在实现该过程的自动化。如果足够准确并安全实施,这些AI模型有潜力为放疗计划过程带来有意义的效率提升。作为次要益处,它们可以帮助实现勾画标准的统一。
近期研究表明,基于AI的模型在一系列治疗部位上的验证结果令人鼓舞。3–7 已采用许多不同的评估方法来评判AI自动勾画软件的准确性,8 专家勾画与自动生成勾画之间的几何相似性是常用的比较方法之一9–11。这些几何指标提供了AI勾画软件效能的粗略衡量,5 但尽管存在已知问题,我们仍将其纳入以期为现有研究提供背景参考。
然而,由于人体解剖变异的人群分布具有宽尾特征,AI结构的完美生成不太可能实现,这意味着出于安全考虑仍需专家输入来审查自动勾画:即所谓的“人在回路”。因此,我们的重点是研究在常规临床实践中专家与AI模型协同工作时可能带来的时间节省。一些研究已量化了这种时间节省,减少幅度从30%到56%不等4,12–14。
这些潜在的效率提升促使我们的诊所决定验证一种商用解决方案:Limbus。选择Limbus软件(Limbus AI Inc,加拿大萨斯喀彻温省里贾纳)是因为它是一款本地安装的程序,不需要互联网连接。这具有许多优点,例如不与第三方共享患者数据,使信息治理合规更加简单;程序版本由本地控制,因此不存在版本控制或程序蔓延问题,且运行于本地硬件而无需昂贵的显卡。初步测试在前列腺患者上进行,因为该患者群体占接受治疗患者的显著比例,意味着所提供的任何时间节省都将产生直接影响(2021年4月至2022年3月期间,英格兰18%的放疗患者为前列腺患者15)。
许多比较前列腺患者专家勾画与AI勾画的研究已针对一系列算法开展5,12–14,16,17。在验证Limbus软件的研究中,所有研究均比较了临床医生结构与AI结构的几何相似性11,13,18,19;一些研究考察了潜在的时间节省13,19,但均未包括盆腔淋巴结或肠道。这些结构通常勾画耗时最长,因此具有最大的潜在时间节省空间。
本研究的主要终点是确定Limbus AI软件能否为有和无淋巴结体积的前列腺计划流程提供有意义的时间节省,并以不提高临床风险水平的方式使用。我们还研究了临床医生对轮廓的满意度、使用未修改AI轮廓的潜在剂量学风险,并评估了自动生成轮廓的几何准确性,以便与其他自动轮廓解决方案进行比较。
方法
研究设计
由顾问临床肿瘤学家在空白CT数据集上手动勾画解剖结构,并进行同行评审。然后将Limbus轮廓应用于患者CT集。随后由两名不同的英国皇家放射学家学院第二部分资格认证的肿瘤学家在仅包含Limbus轮廓的数据集上独立完成Limbus轮廓评分。对Limbus轮廓的修改由顾问肿瘤学家在间隔3个月后完成,以减少勾画的记忆偏倚,修改在仅包含Limbus轮廓的数据集上进行。
患者选择
本研究使用前瞻性患者数据,从项目开始起收集数据,共30例患者CT扫描(15例前列腺,15例前列腺及淋巴结),使用Siemens Somatom Confidence 64扫描仪(Siemens Healthineers,Erlangen,德国)采集,参数如下:120 kV,2 mm层厚,平面内像素大小1 mm × 1 mm。按照科室方案,患者在充盈膀胱和排空直肠状态下进行扫描,CT数据集直接发送至Aria v17.0(Varian Medical Systems,Palo Alto,CA)供临床医生勾画。临床靶体积(CTV)勾画为前列腺和精囊,危及器官(OARs)膀胱、直肠和股骨头按照PACE临床试验方案进行勾画。20此外,对于淋巴结患者,还勾画了肠道和盆腔淋巴结体积,淋巴结按照Taylor等人发表的指南进行勾画21。
自动勾画
使用Limbus v1.6.0(Limbus AI Inc,Regina,SK,加拿大)在每个CT数据集上生成自动轮廓:这是一款AI编码的基于Python的软件。Limbus模型使用卷积神经网络算法,该算法接收输入图像并对不同特征赋予重要性;这使其能够区分图像内的结构。此外,其U-net模型架构使其能够用较少的图像进行训练。Limbus勾画软件使用TensorFlow在公开可用的CT数据集上进行训练11。在本研究中,Limbus被设置为生成前列腺和精囊、淋巴结(如适用)、膀胱、直肠、肠道和股骨头的轮廓。这些患者的轮廓在不到2分钟内生成,结构集导出至Eclipse进行审查。
临床医生对Limbus轮廓的评分
两名英国皇家放射学家学院第二部分资格认证的临床肿瘤学家对患者扫描的所有Limbus轮廓进行视觉评估,并按0-3分制对其质量进行评分22。评分为3分意味着轮廓无需编辑。质量评分2分和1分分别定义为需要编辑<4层和≥4层,而不可接受的轮廓评分为0分。报告每个OAR的中位评分以初步了解临床医生的评分情况。
几何相似性
采用Dice相似系数(DSC)和95百分位Hausdorff距离(HD)评估专家与未修改Limbus轮廓的几何相似性。DSC描述两个结构的重叠程度,取值范围为0至1,1表示结构完全重叠,0表示完全不重叠。HD定义为两个结构之间的最大距离。该指标对离群值非常敏感,因此使用95% HD,即两个轮廓之间所有距离的第95百分位数。使用Contour analysis(v0.0.14)软件(Limbus)。报告中位DSC和95% HD值,以及每个结构的四分位距(IQR)。选择DICE>0.7表示相似性充分。
计时研究
比较从头勾画各个器官的中位时间与审阅并修改自动生成轮廓的中位时间。三名通过FRCR第2部分考试的临床肿瘤学家在空白CT数据集上自行计时勾画各个OAR和CTV。勾画各个器官的时间使用内部编写的Excel电子表格测量,写入Access数据库后端。该软件允许临床医生自行计时勾画各个结构,并在勾画过程中被打断时暂停计时器。3个月后,同样的三名肿瘤学家自行计时在CT集上修改Limbus结构。
使用自动生成轮廓的剂量学影响
为研究在临床环境中使用未修改AI轮廓的影响,使用患者扫描进行临床医生评分和几何分析,评估了使用未编辑的自动生成结构进行治疗计划的剂量学影响。
使用未修改的AI生成Limbus OAR和肿瘤学家批准的PTV重新优化了20个临床批准的VMAT治疗计划。必要时牺牲PTV覆盖(目标为95%处方剂量覆盖98%的PTV)以确保OAR最大剂量限值符合科室方案。随后在临床编辑的结构集上重新计算该计划并报告剂量。对每个计划的膀胱、直肠、股骨头和肠道的Limbus与临床轮廓剂量进行比较。记录每个计划的PTV覆盖情况,并与原始临床计划进行比较。
所有计划均使用Eclipse 6 MV AAA算法(版本17.0,Varian Medical Systems,Palo Alto,CA)计算。前列腺和精囊处方为20次60 Gy。淋巴结体积计划为20次47 Gy。
结果
临床医生对Limbus轮廓的评分
两名临床医生对Limbus轮廓的中位评分见表1。评分结果表明,临床医生通常需要在四个或更多CT层面上编辑Limbus对股骨头、肠道和盆腔淋巴结的轮廓。膀胱、直肠和前列腺需要编辑的层面较少。未注意到两名临床医生评分之间存在系统性差异。
临床医生报告了Limbus轮廓与其自身轮廓在每个OAR和淋巴结之间的差异;详见下文。对于前列腺和精囊轮廓,专家与Limbus之间未见系统性差异。
膀胱
当膀胱周围没有相邻器官时,临床医生对Limbus的轮廓感到满意。注意到当有其他器官位于膀胱上方或后方(即肠道或直肠)时,Limbus会遗漏部分膀胱(图1)。
直肠
为确保Limbus的直肠轮廓符合PACE方案所需的修改相对较小。PACE将整个肛直肠定义为直肠。因此,临床医生将Limbus的肛管和直肠结构合并以生成直肠结构。然后将该结构的下端裁剪至坐骨结节尖端,上端裁剪至直肠乙状结肠交界水平(图2)。
股骨头
临床医生与Limbus在股骨头层面的一致性良好。主要差异在于Limbus同时勾画了股骨头和股骨颈,而临床医生根据PACE方案仅勾画股骨头(图3)。通常需要从Limbus轮廓中删除5-6 cm的切片,这解释了评分为1的原因。
肠道
Limbus高估了肠道的下界范围,通常需要在下部删除四个或更多切片(图4)。当肠道与膀胱相邻时也注意到了不准确之处。血管和肌肉有时被包含在Limbus的肠道结构中。
盆腔淋巴结
Taylor等21证明,血管周围7 mm的改良边界是盆腔淋巴结临床靶区(CTV)的良好替代。观察到Limbus的淋巴结范围比此更紧,意味着临床医生不得不在AI轮廓上扩大该边界。AI淋巴结向下延伸至下盆腔过远,止于闭孔窝下方。还观察到骶前桥接(正确地)延伸至S3上缘。然而,它在此处停止勾画。各骶前区域应勾画至S3底部。
几何相似性
所有轮廓的DSC均大于0.7,意味着它们显示出相对良好的一致性(表2)。膀胱的中位DSC显示Limbus与临床医生勾画的膀胱轮廓几乎完全重叠。直肠和肠道的中位DSC分别为0.82和0.83。两个股骨头的结果相似,左侧和右侧的中位DSC值分别为0.80和0.78。前列腺DSC值为0.85,再次表明Limbus与专家前列腺轮廓的良好重叠。盆腔淋巴结的一致性水平较差。
除膀胱外,所有结构的95% HD值相对较大。DSC评分大于0.7,以及除膀胱和前列腺结构外所有结构的95% HD值大于或接近10 mm,与临床医生的反馈相符:在专家和Limbus均勾画的切片上一致性良好,主要差异见于上下层面。
轮廓勾画时间:手动 vs Limbus
随着人工智能轮廓的引入,轮廓勾画时间明显减少,如表3所示。前列腺和淋巴结患者所需的总体时间从约56分钟减少至29分钟,节省了47%的时间。同样,对于仅前列腺患者,所需的总体专家时间从21分钟减少至7分钟。效率提升最大的是肠道、盆腔淋巴结和前列腺,轮廓勾画时间分别减少了7、5和5分钟。三位临床医生之间的勾画时间没有系统性差异。
使用自动生成轮廓的剂量学影响
图5显示了使用未经修改的人工智能危及器官(OAR)轮廓对前列腺(±淋巴结)计划靶区体积(PTV)覆盖率的剂量学影响。20个计划中有5个(25%)使用Limbus OAR重新优化后,需要牺牲PTV覆盖率以满足肠道上限约束(表4)。这些计划的PTV覆盖率为88.3%至97.2%;原计划覆盖率大于98%。在5个计划中的4个,部分精囊被识别为肠道,意味着人工智能肠道轮廓位于60 Gy PTV内。
临床勾画的直肠、膀胱和股骨头的剂量在所有计划中均符合本地方案,除一个计划的肠道上部剂量约束外,肠道剂量也均符合要求。该计划未通过,1.7 cc肠道接受了52 Gy(限值为0.01 cc,图6)。
这项剂量学数据研究强调,使用未经核查的轮廓可能导致不必要地牺牲靶区覆盖率或错误报告关键OAR的剂量。
讨论
时间
在本研究中,我们希望确定Limbus——一款为放射治疗计划生成轮廓而开发的软件——能否在不给患者治疗带来不可接受风险的情况下提高前列腺计划的效率。本研究与既往使用Limbus的研究之间的显著差异在于将盆腔淋巴结和肠道纳入分析。
本研究的主要发现是,Limbus将前列腺计划所需结构的轮廓勾画时间减半。时间节省最大的是肠道勾画:7分钟。
Zabel等[13]发现,修改Limbus膀胱和直肠结构比从头勾画这些结构快6.2分钟;同样,我们的专家节省了6.8分钟。Wong等[11]比较了专家制定前列腺计划的时间与Limbus生成其轮廓所需的时间;他们报告专家的平均勾画时间为21分钟。这与我们从头勾画前列腺的时间相同,从而验证了我们计时数据的有效性。Radici等[19]指出,使用Limbus勾画膀胱、直肠和股骨头时总共节省了4分钟:我们的时间节省是其两倍。Doolan等[5]报告,使用五种不同的商业人工智能软件勾画前列腺和危及器官(OARs)可节省34-42分钟;这些时间节省显著大于我们的结果。然而,应当注意,这两项研究[5,19]仅纳入了三名患者,而本计时研究使用了30名患者。然而,迄今尚无其他Limbus研究比较盆腔淋巴结的计时;Kiljunen等[14]使用另一种商业人工智能软件MVision进行了这一分析。他们报告淋巴结勾画时间从20分钟减少到8分钟;相比之下,我们的时间从20分钟减少到15分钟。他们报告的效率提升大于我们,然而从头勾画淋巴结体积的时间与我们的相当,这为我们的计时数据提供了可信度。
在比较了30名患者的计时后,明显可以看出修改轮廓比手动勾画更快:因此,我们停止了研究。此处报告的勾画时间与其他团队报告的时间相当;此外,时间节省与其他研究相似(在可以进行直接比较时),从而验证了数据的有效性。应当说明,在繁忙的放疗诊所中获取计时数据非常困难,这大概解释了为什么许多研究侧重于几何相似性。
临床医生评分
尽管证明Limbus有意义地缩短了每个前列腺计划所需的勾画时间,但有趣的是,临床医生对人工智能轮廓的满意度评分相对较低。所有结构均被归类为需要一些编辑,其中股骨头、肠道和淋巴结评分为1(需要编辑≥4个层面)。选择该评分指标是因为它相对客观,使临床医生更容易评分。然而,该系统的一个潜在弱点是,如果四个或更多层面的上界或下界存在差异,则轮廓必须归类为1,而股骨头和肠道通常就是这种情况。临床医生报告,他们与Limbus在股骨头的层面内一致性良好,但将其评为1,因为Limbus的轮廓对于我们的方案来说向下方延伸过多。然而,对人工智能股骨头的修改非常快,因此该评分可能比实际情况更负面地描绘了“临床医生满意度”。
几何相似性
尽管这些指标存在不足5,我们仍评估了专家轮廓与自动轮廓的几何相似性,因为这些指标是评估人工智能性能的常用工具,操作相对简单并能提供一定的相似性指示。然而,我们的主要分析并非基于这些结果。Limbus与临床医生绘制的膀胱结构显示出近乎完美的一致性,这与报道的Limbus和其他人工智能解决方案的DSC值相当11,13,14,16,17,19。我们直肠的DSC为0.82,与其他已发表数据相似,DSC评分在0.78至0.87之间变化11,13,14,16,17,19。由于大多数已发表研究在分析中将精囊与前列腺分开,因此难以比较我们前列腺和精囊轮廓的DSC;但精囊的DSC相对较高:0.85。
Limbus与专家在所有危及器官(OARs)的层面内一致性良好,但在各结构所使用的层面上存在差异。上界和下界层面可能因临床或国家而异,取决于所遵循的试验方案或图谱,这意味着人工智能软件不可能对全球所有临床都完美适用。欧洲指南可能与美国的指南不同,可能导致一些差异。然而,Limbus正在解决这一问题,为未来版本从五大洲获取建模数据。
在评估不同人工智能解决方案所报告的性能时,应考虑这些国际差异和个体患者解剖变异性。
剂量学研究
剂量学研究旨在确定意外使用未经审核的人工智能轮廓进行治疗计划时可能存在的风险。研究强调,靶区覆盖可能在不知情的情况下受损,在少数情况下危及器官剂量超标;强调了安全临床实施和仔细专家审核人工智能结构的重要性。我们已经表明,Limbus与专家轮廓之间存在良好的初始一致性,这为临床医生提供了一个通用的危及器官勾画起点,可能有助于减少观察者间变异性。
基于这些发现,Limbus目前已在我们的临床中常规使用。它作为临床医生的辅助工具,所有结构在获批前均需由临床医生审核。这一做法符合美国国家卫生与临床优化研究所近期发布的建议23。
结论
尽管人工智能生成的轮廓并不完美,但人体解剖的广泛变异和已知的观察者间变异性1,2意味着完美可能难以建模,需要一定程度的现实性,我们不应让完美阻碍良好。
使用Limbus人工智能勾画进行前列腺放疗计划时可实现有意义的时间节省。仅前列腺患者节省13分钟、前列腺及淋巴结患者节省26分钟即为证明。
在我们临床中,通常每年治疗200例前列腺患者,Limbus每年释放60小时的临床医生时间,使他们能够专注于其他重要的临床任务。该软件已成功纳入我们的计划流程,并被我们的前列腺医生视为极其有用的辅助工具。
引用
- Starke A, Poxon J, Patel K, et al. Clinical evaluation of the efficacy of limbus artificial intelligence software to augment contouring for prostate and nodes radiotherapy. Br J Radiol. 2024. PMID: 38627245. doi:10.1093/bjr/tqae077
- 全文:PMC11135797(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11135797/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。