如何阅读使用机器学习的文章:医学文献用户指南
本文介绍评估机器学习诊断工具的三步流程:推导、验证和确立临床有效性。需评估所用机器学习模型类型及其对输入数据类型与数据集大小的适用性,超参数须在独立于验证集的数据集上调优,并需评估参考标准的严谨性(如通用金标准或专家分级)。
要点
- 机器学习诊断工具须经推导、验证和确立临床有效性三步评估。
- 需评估机器学习模型类型对输入数据类型与数据集大小的适用性。
- 超参数须在独立于验证集的数据集上调优,并评估参考标准严谨性。
核心结论
- 机器学习诊断工具应通过推导、验证和确立临床有效性三步流程评估,并评估模型类型、超参数调优及参考标准严谨性。
研究设计与样本
- 本文为医学文献用户指南,阐述评估机器学习诊断工具的方法学框架。
主要发现
- 机器学习模型通常具有需在独立于验证集的数据集上调优的超参数。
- 验证集上用于评估模型的结局称为参考标准,其严谨性须予评估(如对照通用金标准或专家分级)。
关键数值与推荐
- 机器学习诊断工具须评估模型类型对输入数据类型与数据集大小的适用性。
- 超参数须在独立于验证集的数据集上调优。
- 参考标准须评估其严谨性,如对照通用金标准或专家分级。
临床怎么用
- 原文未据此给出推荐。
局限性
- 原文未报告局限性。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
In recent years, many new clinical diagnostic tools have been developed using complicated machine learning methods. Irrespective of how a diagnostic tool is derived, it must be evaluated using a 3-step process of deriving, validating, and establishing the clinical effectiveness of the tool. Machine learning-based tools should also be assessed for the type of machine learning model used and its appropriateness for the input data type and data set size. Machine learning models also generally have additional prespecified settings called hyperparameters, which must be tuned on a data set independent of the validation set. On the validation set, the outcome against which the model is evaluated is termed the reference standard. The rigor of the reference standard must be assessed, such as against a universally accepted gold standard or expert grading.
引用
- Liu Y, Chen PC, Krause J, et al. How to Read Articles That Use Machine Learning: Users' Guides to the Medical Literature. JAMA. 2019. PMID: 31714992. doi:10.1001/jama.2019.16489
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。