通过深度学习改进增强现实:机器人肾脏手术中的实时器械描绘
为解决增强现实中手术器械遮挡三维模型带来的安全隐患,作者开发深度学习算法实时检测非有机物品,在15100帧上手动标注65927个器械,部署于三家医院由四位术者使用,器械检测简单可行,可提升增强现实引导手术安全性。
要点
- 深度学习算法可实时检测增强现实引导机器人肾部分切除术中的手术器械。
- 算法在15100帧上手动标注65927个器械进行训练,部署于三家医院四位术者。
- 器械检测是提升增强现实引导手术安全性的简单可行方法。
核心结论
- 器械检测是增强现实引导手术中提升安全性的简单可行方法。
- 未来研究应优化高效视频处理以减少当前0.5秒延迟。
- 通用增强现实应用还需进一步优化,包括器官形变检测与追踪,以实现完整临床实施。
研究设计与样本
- 研究开发深度学习网络算法检测所有非有机物品,在15100帧上手动标注65927个器械进行训练。
- 系统运行于独立笔记本电脑,部署于三家不同医院,由四位不同术者使用。
- 研究在增强现实引导机器人辅助肾部分切除术中展示实时器械检测,并展示算法向增强现实引导机器人辅助肾移植的泛化能力。
主要发现
- 增强现实中并非所有器械都清晰可见,将三维模型叠加于手术流(包括器械)上可能导致潜在危险的手术情况。
- 算法在15100帧上手动标注65927个器械进行学习提取信息。
- 系统部署于三家医院由四位术者使用,实现实时器械检测。
- 当前系统存在0.5秒延迟。
临床怎么用
- 器械检测是增强现实引导手术中提升安全性的简单可行方法。
- 未来研究应优化高效视频处理以减少当前0.5秒延迟。
- 通用增强现实应用还需进一步优化,包括器官形变检测与追踪,以实现完整临床实施。
局限性
- 当前系统存在0.5秒延迟,未来研究应优化高效视频处理以尽量减少该延迟。
- 通用增强现实应用还需进一步优化,包括器官形变检测与追踪,以实现完整临床实施。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
Several barriers prevent the integration and adoption of augmented reality (AR) in robotic renal surgery despite the increased availability of virtual three-dimensional (3D) models. Apart from correct model alignment and deformation, not all instruments are clearly visible in AR. Superimposition of a 3D model on top of the surgical stream, including the instruments, can result in a potentially hazardous surgical situation. We demonstrate real-time instrument detection during AR-guided robot-assisted partial nephrectomy and show the generalization of our algorithm to AR-guided robot-assisted kidney transplantation. We developed an algorithm using deep learning networks to detect all nonorganic items. This algorithm learned to extract this information for 65 927 manually labeled instruments on 15 100 frames. Our setup, which runs on a standalone laptop, was deployed in three different hospitals and used by four different surgeons. Instrument detection is a simple and feasible way to enhance the safety of AR-guided surgery. Future investigations should strive to optimize efficient video processing to minimize the 0.5-s delay currently experienced. General AR applications also need further optimization, including detection and tracking of organ deformation, for full clinical implementation.
引用
- De Backer P, Van Praet C, Simoens J, et al. Improving Augmented Reality Through Deep Learning: Real-time Instrument Delineation in Robotic Renal Surgery. Eur Urol. 2023. PMID: 36941148. doi:10.1016/j.eururo.2023.02.024
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。