文献速递技术与安全CTMRDRDSA

虚拟参考放射科医生:用于临床图像阅读与解读的全面AI辅助

The virtual reference radiologist: comprehensive AI assistance for clinical image reading and interpretation.
PubMed 文献 · Eur Radiol · 2024-04-16

这项回顾性个体内比较阅读者研究让6名不同经验水平的放射科住院医师在无辅助和GPT-4辅助下阅读40例影像检查(X线、CT、MRI、血管造影各10例),评估AI对诊断准确性和信心的影响。AI辅助使top-3诊断准确性从181/240(75.4%)略升至188/240(78.3%),诊断信心显著提高(p<0.001),但GPT-4有7.4%的回答为幻觉、0.6%为误读,作者呼吁谨慎并需进一步保障措施。

要点

  • AI辅助使top-3诊断准确性从75.4%略升至78.3%,差异未达统计学显著(p=0.130)。
  • AI辅助下诊断信心显著提高(p<0.001),但GPT-4有7.4%回答为幻觉、0.6%为误读。
  • 经验水平是诊断准确性的显著预测因素,低和中等经验者显著低于高经验者(p≤0.017)。

核心结论

  • 将GPT-4整合入诊断流程使诊断准确性略有提高、诊断信心显著提高。
  • GPT-4可能有害的幻觉和误读要求谨慎,并凸显进一步保障措施的必要。

研究设计与样本

  • 回顾性个体内比较阅读者研究,共240次判读(6名放射科住院医师×40例检查),在德国亚琛大学医院进行。
  • 纳入X线、CT、MRI、血管造影检查各10例,参考诊断基于原始放射报告、相关临床与非影像所见及随访研究确定。
  • 两次判读:第一次无辅助(禁止外部参考),第二次GPT-4辅助(可无限制提示,同样禁止其他外部参考)。
  • 每次判读提供最多3个按概率降序排列的诊断,并用5点Likert量表(1分非常不确定至5分非常确定)记录信心。
  • 两次判读间隔6.3±6.3天(范围0–18天),未设时间限制或最短洗脱期。

关键影像表现/征象

  • 肺隔离症病例(CT矢状位肺窗重建)中,咨询GPT-4后将初始错误鉴别诊断改为正确诊断。
  • 局灶性结节性增生病例(MRI,钆塞酸二钠注射后20分钟T1加权脂肪抑制梯度回波序列[Dixon]轴位)中,无AI辅助时局灶性结节性增生为第一鉴别诊断,AI辅助后仅列为第二诊断。
  • 幻觉涉及骨病变的透亮与致密(X线)、主动脉夹层特征(CT)、肝脏病变信号强度与强化特征(MRI)、血管解剖(血管造影)。
  • 12/240次重读中初始错误鉴别诊断经GPT-4互动后改为正确,4/240次重读中初始正确诊断经AI辅助后变为错误(2例X线、1例MRI、1例血管造影)。

诊断标准与关键数值

  • top-3诊断准确性:无辅助181/240(75.4%)vs AI辅助188/240(78.3%),p=0.130,Cohen's h=0.069。
  • top-1诊断准确性:无辅助154/240(64.2%)vs AI辅助163/240(67.9%),p=0.083,Cohen's h=0.079。
  • 诊断信心在AI辅助下显著更高(p<0.001),且不受检查方式影响。
  • 幻觉定义为看似正确但违背放射学常识或与请求中所述框架信息不一致的回答,共23条(7.4%);误读定义为GPT-4误解问题或提供情境误导/无关回答,共2条(0.6%)。

临床应用与阅片要点

  • 作者指出,AI可能出色覆盖潜在诊断的广度,但仍需受过训练的放射科医生核查一致性与推理。
  • 作者指出,无论经验水平,放射科医生均易出现自动化偏倚,经验不足者显著更可能跟随建议,即使明显错误。
  • 作者指出,与GPT-4的互动无法弥补被忽略、评估不当或描述不佳的所见,仅在具体提示时提供有价值帮助。

局限性

  • 作者指出,GPT-4的幻觉和误读可能有害,要求谨慎并凸显进一步保障措施的必要。
  • 作者指出,AI辅助对诊断准确性的影响未达统计学显著(top-3 p=0.130,top-1 p=0.083),效应量小(Cohen's h 0.069和0.079)。
  • 作者指出,X线在AI辅助下诊断准确性下降,可能与过度依赖和自动化偏倚有关。
  • 作者指出,4/240次重读中初始正确诊断经AI辅助后变为错误,可能为过度依赖和自动化偏倚的潜在迹象。
  • 作者指出,GPT-4无法直接处理图像或提供在线图像库检索功能,其效用仅评为一般。
全文中译16 节 · 点击展开
本译文由 AI 依据开放获取原文逐段翻译,供学习参考,可能存在误差,请以原文为准。原文 © 原作者,按 CC BY 许可使用,本译文为翻译改编。出处:Eur Radiol. 2024 Apr 16;34(10):6652–66. doi: 10.1007/s00330-024-10727-2

引言

大型语言模型(LLMs)正在包括医疗保健在内的各个领域稳步发展。作为首个主流基于对话的人工智能(AI)模型,chatGPT获得了极大的普及[1]。尽管此前的LLMs,如BERT(来自变换器的双向编码器表示),在过去也曾获得普及[2],但基于注意力变换器的LLMs,如chatGPT,已在很大程度上取代了它们。

潜在的应用场景包括放射学报告[3, 4]和利用影像服务的指导[5]。ChatGPT通过了美国医师资格考试[6],并在没有图像的情况下几乎通过了放射学委员会风格的考试[7]。近期研究总结了LLMs在放射学中不断演变的作用和影响。Bajaj等人强调了LLMs在提高图像解读效率和优化放射科医生工作流程方面的潜力[8]。D'Antonoli等人强调了放射科医生需要了解其技术基础、伦理考量和潜在风险[9]。Bera等人分析了关于ChatGPT的现有文献(截至2023年8月),发现了51项研究,详细描述了该模型在放射学中的多方面应用以及总体上“令人印象深刻的性能”[10]。具体而言,ChatGPT评估患者检查并提供放射学诊断的能力已在呈现良好的文献病例系列中得到研究,如《美国神经放射学杂志》的“每月病例”[11]和《放射学》的“请诊断”系列[12]。ChatGPT还被输入适当性标准(由美国放射学会制定)以创建上下文感知的聊天机器人,从而改善临床影像的决策[13]。然而,该工具在放射科医生阅读和解读影像检查时提供“阅片室辅助”的潜力尚未被评估。我们的目标是(i)研究chatGPT对诊断准确性和信心的影响,(ii)研究用户与chatGPT的交互,以及(iii)从准确性、时效性和可靠性方面评估chatGPT回答的质量。我们的假设是放射科医生将从chatGPT的辅助中受益,尤其是经验不足者。在此,我们隐含地在无AI辅助和有AI辅助之间诊断准确性和信心无差异的零假设(H0)下进行操作。相反,备择假设(H1)假定AI辅助提供了可测量的差异。

材料与方法

研究设计和数据集特征

获得当地伦理委员会批准(编号028/19),并豁免了获取个体知情同意的要求。

本研究设计为一项回顾性个体内比较阅片者研究,针对现有影像检查,这些检查在有无GPT-4(ChatGPT的最新版本)辅助的情况下进行前瞻性阅读,以评估其对放射学工作流程的影响。图1详述了研究流程。

图1 研究流程。六名不同经验水平的放射科住院医师在无辅助和AI辅助临床条件下阅读了40项包含临床信息和图像的影像检查。对其鉴别诊断进行了诊断准确性和信心的评估。星号表示经验年数 查看原图 ↗

影像检查的选择

通过筛选我们三级学术医疗中心(德国亚琛大学医院)的本地PACS(图像存档与通信系统,iSite,Philips Healthcare,Best,荷兰),两名具有三年经验的住院放射科医师(R.S.和M.H.)和两名委员会认证的临床放射科医师(D.T.和S.N.[分别具有10年和8年经验])各自选取了十项放射摄影、CT、MRI和血管造影检查(表1)。这些影像检查反映了不同的人口学特征,即患者年龄和性别,以及不同严重程度和复杂性的病情。仅选取了具有明确发现的检查,参考诊断基于原始放射学报告、相关临床和非影像学发现以及随访检查的综合分析而确立。对于发现不一致或相互矛盾的影像检查予以排除。匿名化处理后,患者的年龄、性别及其他细节(如检查原因)从检查中移除,仅保留待评估的检查。例如,血管造影检查经过处理,删除了诊断后治疗及治疗后图像序列。这些检查被逐一反馈至PACS的研究部分,可在临床工作站上访问。为每项检查制定了标准化病例描述,标明相关临床背景,使放射科医师能够将其发现置于适当的临床视角中。

表1 影像检查详情 查看原表 ↗

实验设置与数据收集

招募了六名不同经验水平的临床住院放射科医师。由于德国的放射科住院医师培训通常为五年,其经验水平被三等分为有限(临床经验不超过1年)、中等(临床经验1至4年)和高级(临床经验超过4年但尚未获得委员会认证)。每个经验水平各招募两名放射科医师。

要求放射科医师在两个阶段中基于影像检查和病例描述对每位患者进行诊断:(i) 无辅助和 (ii) AI辅助。“无辅助”意味着禁止使用外部参考资料,例如在线搜索或教科书。“AI辅助”意味着可以不受限制地向GPT-4发出提示。同样禁止使用额外的外部参考资料,以单独考察GPT-4的效果。我们未使用任何额外的GPT-4插件,这意味着GPT-4必须依赖其内部知识。向放射科医师介绍了实验设置,并对其进行了充分的GPT-4交互培训。还告知他们,提示可以查询诊断决策的任何方面,从临床诊断和相关影像学发现到疾病的放射学征象以及分级和分类。为评估与该工具的自然交互,未提供关于优化交互或识别“幻觉”的指导。

影像学研究在院内放射科工作站上阅片。每个病例,放射科医师提供最多三个诊断,按概率降序排列,并使用五点李克特量表提供置信水平,范围从“非常不确定”(评分1)到“非常确定”(评分5)。在独立完成问卷后(第一时段),放射科医师使用人工智能辅助重新阅读相同的影像学研究(第二时段)。未设置时间限制或最低洗脱期,放射科医师可在其选择的时间重新阅读影像学研究。然而,他们被指示在两次阅片之间不得收集额外信息或就患者、研究或鉴别诊断寻求帮助。实验设置的进一步细节见补充文本和补充图1。

结局指标与评估

诊断工作流程的不同方面被评估为性能、交互和用户体验指标。

性能

诊断准确性基于放射科医师提供的诊断进行评估,如果正确诊断(i)在三个鉴别诊断中(“前三性能”)且(ii)为第一鉴别诊断(“首选性能”),则计为正确。如果临床表现和影像学表现无显著差异,则上位诊断(如“外周动脉疾病”)而非更具体的诊断(如“股浅动脉狭窄”)被视为正确。过于模糊的诊断(如“血管病”)或临床表现和影像学表现显著不同(如“结核”而非“粟粒性结核”)被拒绝。歧义诊断由上述四位放射科医师讨论,并结合病例描述和影像学表现进行考量。

交互

放射科医师与GPT-4的交互被参数化并量化为每项研究的提示数量和类型。提示根据其目的分类为(i)询问鉴别诊断,(ii)寻求对分级和分类的澄清,(iii)请求病理学相关信息,(iv)请求解剖学相关信息,(v)询问某种疾病的影像学特征,或(vi)询问如何解读特定影像学研究的基本指导。提示可被分配至不同提示类型。响应质量进行定性评估,四位放射科医师(M.H.、R.S.、D.T.、S.N.)评估GPT-4提供的信息是否经过验证、是否为最新以及是否可靠。他们独立分析所有提示和响应,并记录可能不正确或不一致的响应,随后进行讨论直至达成共识。“幻觉”被定义为看似正确但(i)对照放射学常识显得荒谬或(ii)与放射科医师请求中陈述的框架信息或条件不一致的响应。“误解”被定义为GPT-4误解问题或提供上下文误导或不相关响应。“澄清”被定义为GPT-4缺乏对提示的理解而需要其重新表述。值得注意的是,GPT-4的训练于2021年结束,这在评估响应质量时已被考虑。

用户体验

诊断信心(在有和无人工智能辅助的情况下)按上述方式记录。此外,还要求放射科医生在五点李克特量表上就满意度、实用性、易用性和信任度提供总体反馈,量表范围从“非常差”(评分1)到“非常好”(评分5)。

统计分析和效能分析

统计分析由R.S.、M.H.、D.T.和S.N.使用GraphPad Prism软件(v9.5,美国加利福尼亚州圣迭戈)以及Python(v3.11)及其statsmodel库完成。诊断准确性计算为“前3位表现”和“前1位表现”方法中正确诊断数除以正确与错误诊断数之和。我们在逻辑回归框架内使用广义线性混合效应模型来处理二分类结局,即正确和错误。经验、检查方式和人工智能辅助被视为固定效应,放射科医生被视为随机效应。在得出可能因过拟合和多重共线性而膨胀的系数后,我们使用了一个简化模型,仅聚焦于诊断准确性的主要预测因素。采用类似模型研究预测因素对诊断信心的影响。对于前3位和前1位表现方法,使用两比例z检验确定人工智能辅助与未辅助放射科医生之间的诊断准确性差异是否显著。事后使用Cohen's h量化效应量,作为两个比例差异的度量。给出了均值和95%置信区间,显著性水平设定为α ≤ 0.05。

鉴于关于诊断准确性作为人工智能辅助功能的文献证据稀缺,进行了初步的样本量估计。参考相关文献证据[14],我们假设小效应量为0.2。因此,事先确定最小样本量为208,使用效能0.8、α错误概率0.05、t检验和Wilcoxon符号秩检验(配对样本)以及双侧程序(G*Power,v3.1.9.7;海因里希-海涅大学;[15])。补充图2提供了样本量估计的截图。

结果

本研究于2023年5月10日至6月5日期间进行。我们的研究涉及240个研究的样本量,超过了我们先前效能分析所确定的达到足够效能所需的最低样本量。所有放射科医生均在此期间完成了未辅助(第一场次)和人工智能辅助(第二场次)阅片。阅片场次之间的时间间隔为6.3 ± 6.3天(范围,0–18天)。

“前三名表现”:我们发现,当考虑放射科医生提供的三个诊断时,诊断准确性有中等程度的改善。具体而言,准确率从181/240项研究(75.4%,无辅助)提高到188/240项研究(78.3%,人工智能辅助),这与预期的效应方向和幅度一致。然而,根据当前研究,放射科医生的诊断准确性会受益于使用人工智能辅助这一假设不能被接受,因为计算出的诊断准确性改善效应量较小(Cohen's h:0.069[前三名]和0.079[第一名]),且不具有统计学显著性(p=0.130[前三名]和p=0.083[第一名];z检验)。正确诊断的最大增幅出现在经验较少的放射科医生以及CT和MRI中(图2),这支持了我们的假设(i)。补充表1详细列出了正确和错误诊断的总数以及诊断准确性。

尽管有人工智能辅助,大多数初始鉴别诊断仍未改变。然而,在12/240项重读研究中,最初错误的鉴别诊断在与GPT-4交互后被修正并变为正确(图3)。相反,在4/240项重读研究(两项X线摄影、一项MRI和一项血管造影研究)中,最初正确的鉴别诊断(无辅助)被判定为错误(人工智能辅助)(图4)。

诊断准确性的统计学显著预测因素是经验水平。与经验丰富的放射科医生相比,经验较低和中等经验的放射科医生提供正确诊断的可能性显著更低(p≤0.017)。对于成像方式和人工智能辅助,效应较不明确。对于人工智能辅助,系数为-0.18(p=0.428),表明在没有人工智能辅助时正确诊断的可能性略有但非显著降低。补充表2详细列出了影响诊断准确性的主要预测因素的系数和p值。

“第一名表现”:当仅考虑放射科医生提供的第一个诊断时,诊断准确性从154/240项研究(64.2%,无辅助)正确判读略微提高到163/240项研究(67.9%,人工智能辅助)。再次,最显著的改善出现在经验较少的放射科医生中(图2),这与我们关于人工智能辅助对这些放射科医生有益的假设一致。补充表2和表3详细列出了“第一名表现”的正确和错误诊断计数及相关预测因素。

图2 诊断准确性随成像方式、经验水平和人工智能辅助的变化。当考虑放射科医生提供的前三个诊断中的正确诊断(“前三名表现”)时,每项影像学研究正确和错误判读的详细分类。绿色圆圈表示正确诊断,红色圆圈表示错误诊断。粗体圆圈表示使用人工智能后发生变化的诊断 查看原图 ↗
图3 人工智能咨询的积极效应——示例病例。在这名患有叶内型肺隔离症的患者中(CT,矢状面重建,肺窗),咨询GPT-4将最初错误的鉴别诊断改变为正确的鉴别诊断 查看原图 ↗
图4 AI 咨询的负面影响——示例病例。在该局灶性结节性增生患者中(MRI,T1加权脂肪抑制梯度回波序列[Dixon],轴位图像,注射钆塞酸后20分钟),GPT-4的咨询改变了对鉴别诊断的列表和排序。虽然在没有AI辅助时局灶性结节性增生是首要鉴别诊断,但在有AI辅助时它仅位列第二,最可能是因为遵循了回复 查看原图 ↗

提示词特征

放射科医师在77.5%的研究中使用了GPT-4,共生成309条提示词。大多数提示词涉及鉴别诊断(59.1%[n=217])和特定疾病的影像学特征(27.5%[n=101])。较少请求病理学和解剖学相关信息(9.3%[n=34]和2.7%[n=10])。4条提示词(1.3%)与分级和分类相关,1条提示词(0.3%)要求一般性指导(图5a)。提示词在各成像模态间分布均匀(图5b)。主要以每名患者使用1条提示词为主(占提示词的42.5%),同时使用2条(22.5%)或3条提示词(10.0%)也较为常见(图5c)。42%的提示词由经验有限的放射科医师提供,34.3%由中等经验的放射科医师提供,23.6%由高经验水平的放射科医师提供(图5d)。总体而言,放射科医师与GPT-4之间充分且多样的交互模式反映了预期的自然参与,并证实了假设(ii)。诊断信心:无论采用何种成像模态,放射科医师在AI辅助阅片时对其诊断的信心显著更高(p<0.001)(表2)。然而,在考虑经验水平时,诊断信心仅在中等经验的放射科医师中显著更高(与高经验水平相比)(补充表4)。

图5 提示词数量与特征。在影像学检查的AI辅助阅片过程中,六名放射科医师共提供了n=309条提示词。详列了关于提示词类型(a)、成像模态(b)、每次影像学检查的提示词数量(c)以及放射科医师经验水平(d)的提示词数量(a、b、d)和百分比(c)。由于提示词可归入不同的类型类别,a与c和d之间的提示词总和不同 查看原图 ↗
表2 诊断信心评分与AI辅助、成像模态和经验水平的关系 查看原表 ↗

幻觉

GPT-4的23条回复被归类为“幻觉”(7.4%),2条被归类为“误读”(0.6%),而无需“澄清”。幻觉涉及所有模态以及影像表现及其解读的各个方面。幻觉常涉及关于疾病及其影像学和非影像学表现的不正确信息,例如骨病变的透亮与不透亮(X线摄影)、主动脉夹层的特征(CT)、肝脏病变的信号强度和强化特征(MRI)以及血管解剖(血管造影)。GPT-4偶尔忽视提示词中提供的信息。幻觉未对所提供的鉴别诊断列表产生不利影响。表3详述并评论了所发现的幻觉。补充表5详述了“误读”。尽管回复在很大程度上与当前医学知识一致,但所记录的幻觉实例部分反驳了假设(iii)。

表3 GPT-4的“幻觉” 查看原表 ↗

用户体验

GPT-4的实用性被评为一般(2.8 ± 0.4),满意度和信任度被评为良好(4.0 ± 0.6,3.6 ± 0.8),易用性被评为极好(4.5 ± 0.5)。

讨论

早期研究探讨了GPT-4在临床中的潜在价值,证明其在各种任务和学科中表现优异,尤其是在标准化医学考试中[6, 7, 16]。近期,Kanjee等人使用了具有挑战性的临床病理病例讨论会,发现GPT-4具备执行复杂诊断推理能力的证据[17]。然而,这些研究依赖于不能反映临床现实的研究环境,因此关于GPT-4作为放射科医生辅助工具的实际临床价值知之甚少。我们的研究评估了GPT-4在辅助图像阅读和解读中的实用性,发现诊断准确性有适度改善。临床经验是决定诊断准确性的首要因素,而检查方式和人工智能辅助的影响则更为微妙。人工智能辅助在趋势上是有益的,但其对诊断准确性的影响在统计学上不显著。

我们关于诊断准确性改善的主要发现对于“前三名表现”是有效的。鉴于GPT-4对放射学拥有广泛而详细的知识,这一发现是合理的。值得注意的是,对于X线摄影,我们发现当在人工智能辅助下阅读X线片时,诊断准确性有所下降。在以检查方式为中心的课程中(如在我们医院),X线摄影是首先教授的基础检查方式。我们的放射科医生可能拥有广泛的X线摄影知识,但其表现参差不齐。人工智能交互对X线摄影的不良影响可能由过度依赖和自动化偏差来解释,后者是指倾向于采纳自动化系统建议的倾向。偶尔,我们的放射科医生在人工智能辅助下扩大了鉴别诊断的范围,而非依赖于其特定的专业知识。相比之下,CT、MRI和血管造影中更大的改善可能继发于对这些检查方式的部分有限知识,这些通常属于更高级的住院医师培训阶段内容。

在多项重读影像研究中,放射科医生改变了其解读。在12项重读研究中,这些改变被证明是有益的(即从错误变为正确),而在240项研究中有4项,这些改变是有害的(即从正确变为错误)。对于前者,由于GPT-4的回应,先前未提及的鉴别诊断被纳入考虑,主要涉及具有特定影像特征的罕见诊断,如肺隔离症。对于后者,放射科医生偶尔遵循了GPT-4的指导,同意了所建议的且往往是通用的鉴别诊断。这一发现可能是过度依赖和自动化偏差的潜在迹象。无论其经验水平如何,放射科医生都容易产生自动化偏差,而经验不足的放射科医生显著更可能遵循建议,即使建议明显错误[18]。毋庸置疑,知识渊博、技术娴熟且自信的放射科医生是缓解这些问题的关键。人工智能可以出色地覆盖潜在诊断的广度,但它(仍然)需要训练有素的放射科医生来检查一致性和推理。

当更严格地定义为“top-1 表现”时,诊断准确性下降。虽然在大多数患者中,与 GPT-4 交互后首次诊断保持不变,但我们观察到对诊断准确性的模态特异性影响,这与“top-3 表现”的发现相一致。

我们的放射科医生接受了 AI 辅助,并在 78% 的阅片中使用了它。提示数量表明,我们的放射科医生在需要时与 GPT-4 进行了对话式交流,因为三分之一的 AI 交互中使用了两个或更多提示。提示主要集中在可能的鉴别诊断上,这与放射科医生在阅片时牢记罕见鉴别诊断的目标高度一致。提示还聚焦于影像特征以及病理和解剖学信息。然而,与 GPT-4 的交互无法弥补被忽视、评估不当和描述不当的发现,并且只有在被特别提示时才能提供有价值的帮助。对于不熟悉特定模态的放射科医生来说,描述具体发现的复杂性几乎无法克服。

在 AI 辅助下,诊断信心更高,但这一发现仅部分反映在用户体验评分中。虽然 GPT-4 的易用性被评为“优秀”,但其实用性仅为“一般”,这可能是由于 GPT-4 无法直接处理图像或为在线存储库提供图像搜索功能。

与之前的报告 [19] 一致,我们发现幻觉从忽视诊断相关信息延伸到提供虚假信息。毫无疑问,幻觉具有潜在危害,考虑到 GPT-4 据称的可信度,危害甚至更大,因为我们的放射科医生对 GPT-4 的信任评级为“良好”。LLMs 的临床引入必须伴随适当的保障措施,以确保其准确性和可靠性并防止患者受到伤害。提高用户意识、由医疗专业人员进行质量检查、增强 LLM 对幻觉的鲁棒性(例如,通过过程监督而非结果监督 [20]),以及审计对监管标准的遵守情况,可能是有效对抗幻觉的策略的一部分。

我们的研究存在局限性。第一,每种模态仅纳入十项影像学研究,这妨碍了对特定模态或病变作出临床推断,并限制了普适性。我们并非评估GPT-4在每一个放射学亚专业中的价值,而是旨在跨多种主要影像学场景提供初步和方向性评估。第二,根据研究设计,禁止使用书籍或放射学专业在线参考文献,以单独区分GPT-4的效果。这一限制造成了不反映真实世界放射学实践的研究设置。未来研究应比较成熟的在线资源(如Radiopaedia和StatDx)与GPT-4,以确定它们在阅片室中的价值。第三,我们未在阅片会话之间设置洗脱期,导致部分研究在同一天被阅读,而另一些则相隔超过2周。尽管量化额外人工智能辅助对基准(无辅助)性能影响的性能指标可能受到影响,但我们认为该方法仍可接受,因为(i)先无辅助解读研究,然后在必要时获取辅助,反映了临床实践;(ii)鉴于所选(且部分令人难忘的)患者和特定研究条件,记忆保持可能本来就很高。第四,我们未评估报告时间,因为我们的放射科医生在重新阅读时很可能记得这些研究。第五,我们的评估使用了2023年5月版本的ChatGPT,鉴于不同ChatGPT版本的快速演变和波动性能[21],未来版本可能仅能部分复现该结果。第六,GPT-4在普通和亚专业放射科医生中的使用率和模式仍有待研究。第七,大语言模型(LLM)的响应与其提示方式密切相关[22]。不同提示策略是否以及如何影响GPT-4响应的质量和其幻觉的频率,必须在未来进行研究。第八,我们的样本量估计至多应被视为初步近似值,不应被视为精确测量。尽管0.2的相对较小效应量是有意为之并有相关文献依据[14],但必须承认,人工智能辅助诊断等新兴研究领域的框架条件必须在未来加以完善。第九,精简线性混合效应模型提高了模型的可解释性,但以降低复杂性为代价。我们优先减少变量以降低多重共线性风险,旨在提高清晰度和可理解性;然而,这种方法可能过度简化了影响诊断准确性和置信度的复杂因素交互作用。

结论

总之,我们的研究表明,GPT-4是一种临床有用的辅助工具,可略微提高诊断准确性并显著提高诊断置信度,并可能部分弥合放射科医生的经验差距。GPT-4可能促进更高效和准确的诊断流程,但它不能取代受过训练的放射科医生细微的感知和批判性思维。如果GPT-4或其后续版本用于临床常规,必须实施保障措施以减少幻觉及其潜在危害。

补充信息

电子补充材料

引用

  1. Siepmann R, Huppertz M, Rastkhiz A, et al. The virtual reference radiologist: comprehensive AI assistance for clinical image reading and interpretation. Eur Radiol. 2024. PMID: 38627289. doi:10.1007/s00330-024-10727-2
  2. 全文:PMC11399201(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC11399201/

供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。