大语言模型高效生成基于全器官MRI评分(WORMS)的膝骨关节炎结构化报告并分级
本研究纳入160例疑似膝骨关节炎患者的连续MRI报告,评估GPT-4o与GPT-4o-mini在生成基于WORMS的结构化报告及预测OA严重程度方面的表现。GPT-4o在报告生成准确率(93.9% vs 76.2%)和OA分级准确率(98.1% vs 68.7%)上均优于GPT-4o-mini,骨科医生更偏好且更高效地使用LLM生成的报告。
要点
- GPT-4o生成WORMS结构化报告的二元准确率达93.9%,优于GPT-4o-mini的76.2%。
- GPT-4o采用思维链(COT)1-shot提示时OA严重程度分级准确率最高,二元98.1%、序数96.2%。
- 骨科医生对LLM生成报告的偏好和提取关键信息的容易程度均显著优于原始报告(均p < 0.001)。
核心结论
- GPT-4o能够从原始自由文本膝关节MRI报告中生成专家级多特征、基于WORMS的结构化报告。
- GPT-4o采用COT提示在膝OA严重程度分级中达到高准确率。
- 骨科医生对LLM生成报告有更高偏好,且使用效率更高。
研究设计与样本
- 回顾性研究,在学术医院进行,纳入160例连续疑似膝OA患者(年龄70岁及以上,膝关节疼痛至少3个月,2023年1月1日至3月31日行膝关节MRI)。
- 以三名放射科医生(经验分别为16年、13年、39年)对39个关键特征(38个WORMS全器官特征加侧别)的共识评分作为参考标准,OA严重程度参考基于K–L分类的X线判读。
- 评估GPT-4o和GPT-4o-mini在两种提示策略(上下文知识ICK和思维链COT)及0-shot、1-shot、3-shot学习下的共12种模型配置,生成WORMS结构化报告并预测OA严重程度。
- 四名骨科医生(经验分别为33年、18年、17年、12年)对原始报告和LLM生成报告进行配对比较,评估偏好、提取关键信息难度并记录审阅时间。
关键影像表现/征象
- 原文未涉及影像征象描述。
诊断标准与关键数值
- GPT-4o生成WORMS报告的二元准确率90.6–93.9%,序数准确率86.5–89.7%;GPT-4o-mini二元准确率70.9–76.2%,序数准确率62.5–69.3%(p < 0.001)。
- 最佳设置下GPT-4o的召回率87.3% vs GPT-4o-mini 46.7%(p < 0.001),精确率94.2% vs 71.2%(p < 0.001)。
- GPT-4o在OA严重程度分级中最佳准确率二元98.1%、序数96.2%(COT 1-shot),GPT-4o-mini最佳二元68.7%(COT 3-shot)。
- 骨科医生设定的可接受准确率阈值:二元分类平均准确率需超过85%,序数分类需超过75%。
- GPT-4o对侧别选择在所有提示下准确率100%,GPT-4o-mini为45.9–47.5%(p < 0.001);韧带分类平均准确率GPT-4o 95.4% vs GPT-4o-mini 83.1%。
临床应用与阅片要点
- 骨科医生对LLM生成报告的偏好评分中「喜欢」或「非常喜欢」占99.53% vs 原始报告35.94%,「不喜欢」或「非常不喜欢」占0% vs 21.09%(p < 0.001)。
- 提取关键信息容易程度评分中「容易」或「非常容易」占96.72% vs 原始报告29.22%,「困难」或「非常困难」占0% vs 21.56%(p < 0.001)。
- 骨科医生审阅LLM生成报告的平均时间51.27 ± 9.41秒 vs 原始报告87.42 ± 20.26秒,减少58.65%(p < 0.001)。
- 作者指出模型尚未达到替代专家医疗人员的准确度,但结果提示其在监督下作为有价值工具的潜力,可帮助减轻放射科医生处理复杂专业临床任务的负担。
局限性
- 研究依赖原始报告,报告偶尔包含模糊描述或传达不确定性,在解读中引入一定程度的主观性。
- 模型未在其他机构的报告上进行外部验证。
- 模型也未在内部报告上进行微调,仅提供少量示例用于训练。
- 评估基于不同放射科医生的报告,可能因个人报告风格引入变异性。
- 作者指出未来研究应优先进行外部验证,以考虑报告风格和内容的机构差异。
全文中译15 节 · 点击展开
引言
膝关节骨关节炎(OA)仍是膝关节疼痛和功能障碍最常见的原因,尤其在老年人群中[1, 2]。临床上,膝关节OA的特征是骨端关节软骨的逐渐退变以及关节组织中所有其他结构改变[3]。若无适当干预,这些结构改变可增加功能障碍的风险,并可能最终需要进行膝关节置换手术。因此,早期诊断和严重程度的准确分级对于临床实践中的有效管理至关重要。MRI显著推进了我们对导致膝关节OA发生的形态学特征的理解。全器官MRI评分(WORMS)[3]是临床研究中评估OA膝关节异常严重程度最常用的MRI分类系统[4–6]。然而,尽管其在研究中被广泛使用,由于涉及大量特征,在临床环境中它非常耗时。此外,自由文本报告中积累的大量细节可能给临床医生和外科医生解读带来挑战,增加了关键发现被忽视或误读的风险,尤其是在紧张的临床环境中[7]。这些挑战凸显了对可靠自动工具的需求,这些工具能够将自由文本放射学报告总结为结构化的基于WORMS的报告,这将极大地有利于膝关节OA的管理。
大语言模型(LLMs)近来彻底改变了自然语言处理,在仅需少量示例的传统任务(少样本学习)上展现出稳健的性能[8, 9]。它们还展现出在更高复杂度层面进行推理以及在放射学等专业领域应用知识的能力。LLMs在放射学中的若干令人兴奋的潜在应用凸显了其改善患者诊疗的潜力[10–12]。其中,仅有一项研究专门聚焦于膝关节MRI。该研究比较了若干LLM模型在报告总结中的性能,并显示在流畅性及与放射科医生生成报告的一致性方面准确率约为70%[13]。这项可行性研究的鼓舞性结果表明,LLMs有潜力将自由文本报告初步总结为膝关节MRI的结构化报告。
本研究假设LLMs能够高效生成全器官、多特征的膝关节MRI报告,并准确预测OA严重程度。因此,本研究的目的是评估LLMs在从原始自由文本报告自动生成基于WORMS的结构化报告方面的性能,并探索其使用多种提示策略对膝关节OA严重程度进行分类的能力。
方法
本回顾性研究在一所学术医院进行,获得机构审查委员会批准,并且由于使用回顾性不可识别数据而豁免知情同意要求。
报告收集与准备
回顾了2023年1月1日至3月31日期间所有连续就诊的70岁及以上患者,这些患者因膝关节疼痛至少三个月就诊,并在门诊环境中主要怀疑患有膝关节OA并接受了膝关节MRI检查。排除在我院三个月内无相应X线检查的患者(图1)。根据《健康保险可携带性和责任法案》安全港方法[14],从每份报告中手动删除了所有个人健康信息和可能可识别的数据。
特征参考标准和OA分类
所有原始MRI由三名放射科医生审阅,以建立参考标准和三十九个特征的常规分类(根据WORMS系统的三十八个全器官特征,以及侧别)。对相应X线进行判读,以基于Kellgren–Lawrence(K–L)分类建立OA严重程度参考。具体而言,报告由两名放射科医生(分别具有16年和13年经验)独立审阅,分歧与第三名放射科医生(具有39年经验)讨论以达成共识。此外,通过将有序评分0重新编码为阴性(正常)且大于0的评分重新编码为阳性(异常),得出每个特征的二分类异常指标。每个特征的详细分类标准和OA标准见附录E1。
所使用的LLM和提示词
本研究使用OpenAI的主流GPT-4o和GPT-4o-mini模型在没有任何特定训练的情况下生成结构化报告,如既往报道[10, 15, 16]。通过OpenAI API 1.50.2访问最新版本的gpt-4o-2024-08-06和gpt-40-mini-2024-07-18。首先,将WORMS分级标准纳入提示词。然后,将原始MRI报告输入模型,并使用API的“response_format”功能配置JSON格式的结构化输出。接下来,如果使用COT方法,则提供分步规则以指导相关信息提取。随后,根据示例数量添加相应示例。最后,执行Python脚本以获得每个特征的WROM分级结果。温度设为零,以尽量减少LLM输出的变异性。
基于不同的提示策略,探索了单个特征的分类以及OA严重程度的预测。具体而言,使用了两种提示策略,即上下文知识(ICK)和思维链(COT),并分别测试了0-shot、1-shot和3-shot学习方法。所有六种策略均应用于两种模型(GPT-4o和GPT-4o mini),最终形成共十二种模型配置。
LLM模型的性能评估
通过将自动生成基于WORMS的MRI报告、对单个特征进行分类以及预测OA严重程度的表现矩阵(召回率、精确率、准确率和F1分数)与参考标准进行比较来计算。此外,准确率分别使用序数分类和二分类方法计算。图2展示了用于指导模型从原始自由文本报告中提取和分类单个特征并生成基于WORMS的膝关节报告的提示策略。咨询了四位骨科外科医生(分别具有33年、18年、17年和12年的经验),以确定OA严重程度预测工具在真实临床实践中可接受的准确率阈值。外科医生指出,要用于初步审查,该工具基于二分类的平均准确率必须超过85%(正确分类/总病例数),基于序数分类的平均准确率必须超过75% [10]。
骨科外科医生审查
为评估LLM生成的基于WORMS报告的质量,四位骨科外科医生通过配对比较,独立地对每份报告在多个特定维度上进行标注。评估采用5点李克特量表,涵盖外科医生对每份报告的偏好以及提取关键信息的难度;分数越高表示偏好越低或难度越大(表1)。此外,记录了外科医生在每份报告上花费的时间,以秒为单位。
统计分析
GPT-4o和GPT-4o mini模型之间的性能以召回率、精确率、F1分数和准确率计算。有关性能评估的更多细节总结于附录E1。采用Wilcoxon符号秩检验比较“偏好”以及“提取关键信息难度”的有序评分反馈,而配对t检验用于比较标记为“花费时间”的连续数据反馈。在本研究中,p ≤ 0.05表示统计学显著性。p值反映报告之间的回复是否存在差异,假设零假设意味着报告之间没有差异。所有统计分析和图形结果均使用Python 3.9及Pandas、Numpy、Scipy、pingouin和seaborn软件包计算。
结果
报告集合的OA分类
在纳入的160份原始报告中,基于参考标准审查,39.38%被分类为无OA(63/160,K–L = 0),28.13%为轻度(45/160,K–L = 1, 2),15.63%为中度(25/160,K–L = 3),16.88%为重度(27/160,K–L = 4)(图1)。
报告创建性能
图3展示了一个示例病例,包括LLM生成的报告和OA严重程度分类预测。GPT-4o和GPT-4o mini在不同提示下从原始报告生成基于WORMS的报告的准确率和F1分数见图4。具体而言,基于GPT-4o的模型在提取F1分数上显著高于GPT-4o mini(0.865–0.908 vs 0.540–0.624,图4)。同样,GPT-4o在二分类准确率(90.6–93.9% vs 70.9–76.2%,p < 0.001)和有序分类准确率(86.5–89.7% vs 62.5–69.3%,p < 0.001)上均超过GPT-4o mini。关于不同提示和示例数量,GPT-4o和GPT-4o mini表现出部分相似和部分不同的趋势。对于GPT-4o mini,准确率随示例数量增加而提高,其中3-shot提示获得最高准确率(二分类准确率76.2%,有序分类准确率69.3%,图4)。而GPT-4o的趋势略有不同:COT配合1-shot获得最高准确率(二分类准确率93.9%,有序分类准确率89.7%),而0-shot和3-shot提示显示相似的准确率(图4)。
单个特征分类的性能
每个模型最佳设置(GPT-4o为COT配合1-shot,GPT-4o mini为COT配合3-shot)下单个特征的正样本数量和性能指标见表2。总体而言,GPT-4o实现了更高的召回率,识别出更多阳性发现,从而避免遗漏关键信息(87.3% vs 46.7%,p < 0.001,表2),同时与GPT-4o mini相比保持了更高的精确率(94.2% vs 71.2%,p < 0.001,表2)。GPT-4o在单个特征分类中表现出良好至优秀的准确率,二分类准确率范围为82.5%至100%,有序分类准确率范围为76.2%至100%(表2)。值得注意的是,GPT-4o在大多数特征的准确率上优于GPT-4o mini(p < 0.001,表2),但少数正样本数量极低的特征除外,包括后交叉韧带(28个样本,17.5%阳性)以及其他几个阳性样本少于20个的特征(p > 0.05,表2)。
表3进一步详细列出了所有12种提示策略的二分类准确率表现。GPT-4o在所有提示的侧别选择上均达到完美准确率,显著优于GPT-4o mini(100% vs 45.9–47.5%,p < 0.001)。两种模型在四个特征(前交叉韧带、后交叉韧带、内侧副韧带和外侧副韧带)上均表现出优异的准确率,准确率超过80%。对于其余34个特征,GPT-4o表现出中等至优异的准确率,范围为78.7%至100%(表3),显著高于GPT-4o mini(13.7–98.7%,p < 0.001)。观察不同特征时,韧带分类的准确率显著较高(GPT-4o平均准确率为95.4%,GPT-4o mini为83.1%),而在相同模型内,无论使用何种提示,软骨、骨髓水肿、骨赘和半月板的准确率较低(p < 0.001,图S1)。
OA严重程度分类
表4展示了使用不同提示对OA严重程度进行分类的模型准确率。GPT-4o结合COT 1-shot提示在十二种提示策略中达到最高准确率,二分类准确率为98.1%,有序分类准确率为96.2%。对于每种提示策略,GPT-4o在ICK(p < 0.001)和COT(p < 0.001)设置下均显著优于GPT-4o mini。此外,COT优于ICK(最佳有序准确率:GPT-4o为96.2% vs 66.7%;GPT-4o mini为47.5% vs 22.5%;均p < 0.001)。在COT框架内,GPT-4o在1-shot提示下准确率最高,在3-shot提示下准确率最低(有序准确率:96.2% vs 89.4%,p = 0.03,表4);相反,GPT-4o mini表现出随着shot数增加有序准确率升高的趋势,尽管差异无统计学意义(p = 0.07)。值得注意的是,所有三个GPT-4o COT模型均超过了骨科医生设定的准确率阈值,而ICK提示未达到该标准(表4)。
我们进一步检查了不同提示在不同K–L分级中的表现。GPT-4o在COT 1-shot提示下表现最佳(Cohen's kappa值 = 0.95)。而对于GPT-4o mini,最佳表现见于COT 3-shot提示(Cohen's kappa值 = 0.371)。图5给出了这两种提示的详细表现。值得注意的是,两种提示均在K–L 4级中表现出最佳性能(GPT-4o召回率 = 1,GPT-4o mini召回率 = 0.889)。
骨科医生审核
图6展示了骨科医生评审结果的概况。所有四位骨科医生都更偏好大语言模型(LLM)生成的报告而非原始报告(图6A,p < 0.001),分别有99.53% vs 35.94%的报告被评分为“喜欢”或“非常喜欢”,0% vs 21.09%的报告被评分为“不喜欢”或“非常不喜欢”。与原始报告相比,骨科医生还发现从LLM生成的报告中提取关键信息显著更容易(p < 0.001,图6B),分别有96.72% vs 29.22%的报告被评分为“容易”或“非常容易”,0% vs 21.56%被评分为“困难”或“非常困难”。此外,外科医生使用LLM生成的报告提取特征更高效(图6C),与原始报告相比,LLM生成的报告平均节省58.65%的时间(51.27 ± 9.41 s vs 87.42 ± 20.26 s,p < 0.001)。
讨论
已有少数研究报道了大语言模型(LLM)将自由文本报告灵活转换为结构化报告的潜力[17–19]。然而,研究主要集中于生成全器官、多特征的膝关节MRI报告,对骨关节炎(OA)严重程度的预测仍然有限。本研究的目的是评估LLM从原始报告自动生成基于WORMS的结构化报告的性能,并探索其使用各种提示策略对膝关节OA严重程度进行分类的能力。
为提升LLM在我们复杂分类任务中的性能,我们在两种LLM模型上探索了六种提示策略:ICK和COT,分别采用0-shot、1-shot和3-shot方法。在这些策略中,GPT-4o COT配合1-shot提示在报告生成和OA严重程度预测任务中均表现最佳,分别达到93.9%和98.1%的准确率。这些结果显著超过了先前建立的LLM模型初步分类85%的准确率阈值[10],以及先前发表的数据(70%准确率)[13]。这使其在膝关节OA诊疗中成为一个令人振奋的应用,可自动化生成准确的特征分类和OA严重程度评估任务,而这些任务传统上对放射科医生而言耗时较长。我们进一步探索了它们在特定K–L分类上的性能。值得注意的是,K–L = 4(OA最严重的分类)在两种模型中均表现最佳。这一结果是合理的,因为最严重的分类代表了最容易识别的特征性表现。在比较不同提示时,COT在两种模型中均优于ICK提示,与早期研究的结果一致[20, 21]。在COT提示中,GPT-4o配合1-shot表现优于3-shot,而GPT-4o mini随shot数量增加而改善。推测GPT-4o的COT可能已足够稳健,额外的shot(如3-shot)反而可能阻碍其性能,而GPT-4o mini可能需要更多shot来增强其效果[16]。
在我们的研究中,四位骨科医生根据他们的偏好、提取关键信息的难易程度以及所花费的时间,对两类报告进行了评估。这三个方面此前已被确定为评估大语言模型(LLM)生成报告质量的关键要素[10, 22]。我们的研究结果显示,在真实临床环境中同时获取原始报告和LLM生成的报告时,外科医生强烈偏好LLM生成的结构化基于WORMS的报告。这一积极反馈与既往研究结果一致[9, 10]。此外,分析大量自由文本放射学报告并总结关键信息的挑战给临床医生带来了沉重负担,在实践中可能导致错误信息、不恰当的诊疗以及不良健康结局。本研究中外科医生对高效率和易用性的评分表明,将LLM整合到临床骨关节炎(OA)工作流程中可大幅提高生产力,并减轻临床医生面临的文书负担[23]。
尽管GPT-4o在生成基于WORMS的膝关节MRI报告方面表现出熟练能力,但它仍出现了若干具有临床意义的错误,主要源于对单个特征分类的误判,而GPT-4o mini此类错误的发生率更高。两个模型共有的一个常见局限是,与其他特征相比,它们在软骨分类方面的表现相对较弱(图S1)。这一局限在很大程度上归因于软骨特征多部位、多分类性质所带来的复杂性。具体而言,软骨有六个亚区,每个亚区有八个分类(详见附录E1),仅软骨特征就有总计48个不同分类。我们的发现表明,包含大量特征的长文本增加了LLM出现事实不一致和生成误导性摘要的可能性。这一发现与Liyan Tang等人的研究一致[9]。未来,我们计划收集更多数据对这些LLM进行微调,旨在增强其对WORMS分类中所用专业术语的理解。尽管这些模型尚未达到替代专家医疗保健专业人员所需的准确性[24],我们的结果凸显了它们在监督式环境中作为有价值工具的潜力,可帮助减轻放射科医生处理复杂和专业临床任务的负担。
我们的研究存在若干局限性。第一,我们依赖原始报告,这些报告偶尔包含模糊描述或传达不确定性,在解读中引入了一定程度的主观性。第二,这些模型未在其他机构的报告上进行外部验证。但它们也未在内部报告上进行微调,仅提供了少量示例用于训练。此外,评估是在不同放射科医生的报告上进行的,可能因个体报告风格而引入变异性。进一步研究应优先开展外部验证,以考虑机构间在报告风格和内容上的差异。
总之,GPT-4o 在从原始自由文本报告生成基于 WORMS 的膝关节 MRI 报告以及对 OA 严重程度进行分类方面表现出色。外科医生发现 LLM 生成的报告在提取关键信息方面更高效,并更倾向于这些报告而非原始报告。未来研究应调查 LLM 在总结涉及更长上下文和多种模态的综述方面的效能。此外,将 LLM 与其他 AI 技术(如视觉-语言模型)集成,可进一步增强其在临床应用中的能力。
补充信息
电子补充材料
引用
- Xie Y, Hu Z, Tao H, et al. Large language models for efficient whole-organ MRI score-based reports and categorization in knee osteoarthritis. Insights Imaging. 2025. PMID: 40366500. doi:10.1186/s13244-025-01976-w
- 全文:PMC12078906(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC12078906/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。