文献速递医学人工智能与信息学临床试验与 GCP

通过互补性驱动转诊至临床医生提升人工智能辅助诊断的可靠性与准确性

Enhancing the reliability and accuracy of AI-enabled diagnosis via complementarity-driven deferral to clinicians.
PubMed 文献 · Nat Med · 2023-07-17

研究开发了互补性驱动转诊至临床工作流(CoDoC)系统,可学习在 predictive AI 模型意见与临床工作流之间做决策。在乳腺癌筛查中,与英国筛查项目的双读仲裁相比,CoDoC 在相同假阴性率下将假阳性降低 25%,同时临床工作量减少 66%。在结核病分诊中,对五种市售预测 AI 系统中的三种,CoDoC 在相同假阴性率下将假阳性降低 5-15%。

要点

  • CoDoC 可学习在预测 AI 模型与临床工作流之间决策,提升诊断准确性。
  • 乳腺癌筛查中,CoDoC 较双读仲裁在相同假阴性率下假阳性降低 25%,临床工作量减少 66%。
  • 结核病分诊中,对五种市售 AI 系统中的三种,CoDoC 在相同假阴性率下假阳性降低 5-15%。

核心结论

  • CoDoC 在乳腺癌筛查和结核病分诊的临床工作流中,相较于仅临床医生或仅 AI 基线提升了准确性。
  • CoDoC 的性能增益在多种变化维度(影像模态、临床环境和预测 AI 系统)上得以维持。
  • 研究讨论了评估的局限性以及需要进一步验证的方面。

研究设计与样本

  • 研究开发了互补性驱动转诊至临床工作流(CoDoC)系统,可学习在预测 AI 模型意见与临床工作流之间做决策。
  • 在乳腺癌筛查和结核病分诊的临床工作流中评估 CoDoC 性能。
  • 研究展示了 CoDoC 在影像模态、临床环境和预测 AI 系统等多个变化维度上的性能增益,并提供开源实现。

主要发现

  • 乳腺癌筛查中,与英国筛查项目的双读仲裁相比,CoDoC 在相同假阴性率下将假阳性降低 25%,同时临床工作量减少 66%。
  • 结核病分诊中,与独立 AI 和临床工作流相比,对五种市售预测 AI 系统中的三种,CoDoC 在相同假阴性率下将假阳性降低 5-15%。
  • CoDoC 在多种变化维度(影像模态、临床环境和预测 AI 系统)上性能增益得以维持。

临床怎么用

  • 原文未据此给出推荐。

局限性

  • 研究讨论了评估的局限性以及需要进一步验证的方面。

以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。

原文

Predictive artificial intelligence (AI) systems based on deep learning have been shown to achieve expert-level identification of diseases in multiple medical imaging settings, but can make errors in cases accurately diagnosed by clinicians and vice versa. We developed Complementarity-Driven Deferral to Clinical Workflow (CoDoC), a system that can learn to decide between the opinion of a predictive AI model and a clinical workflow. CoDoC enhances accuracy relative to clinician-only or AI-only baselines in clinical workflows that screen for breast cancer or tuberculosis (TB). For breast cancer screening, compared to double reading with arbitration in a screening program in the UK, CoDoC reduced false positives by 25% at the same false-negative rate, while achieving a 66% reduction in clinician workload. For TB triaging, compared to standalone AI and clinical workflows, CoDoC achieved a 5-15% reduction in false positives at the same false-negative rate for three of five commercially available predictive AI systems. To facilitate the deployment of CoDoC in novel futuristic clinical settings, we present results showing that CoDoC's performance gains are sustained across several axes of variation (imaging modality, clinical setting and predictive AI system) and discuss the limitations of our evaluation and where further validation would be needed. We provide an open-source implementation to encourage further research and application.

来源:Nat Med,查看原文。版权归原作者所有。

引用

  1. Dvijotham KD, Winkens J, Barsbey M, et al. Enhancing the reliability and accuracy of AI-enabled diagnosis via complementarity-driven deferral to clinicians. Nat Med. 2023. PMID: 37460754. doi:10.1038/s41591-023-02437-x

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。