使用大型语言模型聊天机器人预测青光眼发病前转化
基于眼高压治疗研究(OHTS)的回顾性病例对照研究,纳入1504名受试者的3008只眼,将青光眼发病前1年的人口学、临床、视乳头和视野参数转为文本查询,评估ChatGPT预测眼高压向青光眼转化的能力。ChatGPT4.0预测发病前1年转化的准确率75%、AUC 0.67、敏感度56%、特异度78%、加权F1评分0.77;ChatGPT3.5分别为61%、0.62、64%、59%、0.63。作者认为ChatGPT4.0表现合理且持续优于ChatGPT3.5,大型语言模型在增强青光眼研究能力方面有前景。
要点
- ChatGPT4.0预测眼高压发病前1年转化为青光眼的准确率75%、AUC 0.67、敏感度56%、特异度78%、加权F1评分0.77。
- ChatGPT3.5预测同一转化的准确率61%、AUC 0.62、敏感度64%、特异度59%、加权F1评分0.63。
- ChatGPT4.0整体表现持续高于ChatGPT3.5,作者认为大型语言模型在青光眼研究中具有前景。
核心结论
- ChatGPT4.0在预测青光眼发病前1年转化方面表现合理,整体表现持续高于ChatGPT3.5。
- 大型语言模型在增强青光眼研究能力和提升临床照护方面具有很大前景。
- 未来创建利用多模态数据并结合主动学习的眼科专用大型语言模型可能有助于更好地整合到临床实践中,值得进一步研究。
研究设计与样本
- 基于眼高压治疗研究(OHTS)的回顾性病例对照研究。
- 纳入来自OHTS的1504名受试者的3008只眼。
- 选取青光眼发病前1年的人口学、临床、眼部、视乳头和视野参数,将表格参数转为文本格式构建查询。
- 使用ChatGPT应用程序接口(API)对所有受试者自动执行ChatGPT提示,评估其预测眼高压向青光眼转化的能力。
主要发现
- ChatGPT4.0在预测发病前1年转化为青光眼时准确率75%、AUC 0.67、敏感度56%、特异度78%、加权F1评分0.77。
- ChatGPT3.5在预测发病前1年转化为青光眼时准确率61%、AUC 0.62、敏感度64%、特异度59%、加权F1评分0.63。
关键数值与推荐
- 主要结局指标为准确率、受试者工作特征曲线下面积(AUC)、敏感度、特异度和加权F1评分。
临床怎么用
- 原文未据此给出推荐。
局限性
- 原文未报告局限性。
以上解读依据论文摘要(全文未开放获取或许可不允许翻译转载)。
原文
PURPOSE: To investigate the capability of ChatGPT for forecasting the conversion from ocular hypertension (OHT) to glaucoma based on the Ocular Hypertension Treatment Study (OHTS). DESIGN: Retrospective case-control study. PARTICIPANTS: A total of 3008 eyes of 1504 subjects from the OHTS were included in the study. METHODS: We selected demographic, clinical, ocular, optic nerve head, and visual field (VF) parameters 1 year before glaucoma development from the OHTS participants. Subsequently, we developed queries by converting tabular parameters into textual format based on both eyes of all participants. We used the ChatGPT application program interface (API) to automatically perform ChatGPT prompting for all subjects. We then investigated whether ChatGPT can accurately forecast conversion from OHT to glaucoma based on various objective metrics. MAIN OUTCOME MEASURE: Accuracy, area under the receiver operating characteristic curve (AUC), sensitivity, specificity, and weighted F1 score. RESULTS: ChatGPT4.0 demonstrated an accuracy of 75%, AUC of 0.67, sensitivity of 56%, specificity of 78%, and weighted F1 score of 0.77 in predicting conversion to glaucoma 1 year before onset. ChatGPT3.5 provided an accuracy of 61%, AUC of 0.62, sensitivity of 64%, specificity of 59%, and weighted F1 score of 0.63 in predicting conversion to glaucoma 1 year before onset. CONCLUSIONS: The performance of ChatGPT4.0 in forecasting development of glaucoma 1 year before onset was reasonable. The overall performance of ChatGPT4.0 was consistently higher than ChatGPT3.5. Large language models (LLMs) hold great promise for augmenting glaucoma research capabilities and enhancing clinical care. Future efforts in creating ophthalmology-specific LLMs that leverage multimodal data in combination with active learning may lead to more useful integration with clinical practice and deserve further investigations.
引用
- Huang X, Raja H, Madadi Y, et al. Predicting Glaucoma Before Onset Using a Large Language Model Chatbot. Am J Ophthalmol. 2024. PMID: 38823673. doi:10.1016/j.ajo.2024.05.022
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。