儿科放射学中的自主人工智能:BoneXpert用于骨龄评估的使用与认知调查
该研究向欧洲18国282名使用BoneXpert的放射科医生发放8题问卷,97名(34%)回复。安装后每例骨龄评估超过2分钟的受访者从83/97(86%)降至20/97(21%),仅17/97(18%)完全以AI替代放射科医生,58/97(60%)仍自行阅片排除潜在疾病。作者认为BoneXpert显著缩短报告时间,但放射科医生不能被完全替代。
要点
- 安装BoneXpert后,每例骨龄评估耗时超过2分钟的受访者由83/97(86%)降至20/97(21%)。
- 仅17/97(18%)受访者完全以BoneXpert替代放射科医生,其余不同程度用于辅助。
- 58/97(60%)受访者仍自行阅片以排除潜在疾病征象,39/97(40%)从未推翻自动读数。
核心结论
- BoneXpert显著缩短骨龄判定的报告时间,但放射学分析不止于骨龄,还包括识别异常,因此放射科医生不能被完全替代。
- 原本设计为替代放射科医生的人工智能系统可能更适合作为辅助工具,尤其在其未经自主验证(包括图像超出有效范围时省略评级的能力)的情况下。
研究设计与样本
- 研究为向欧洲已使用BoneXpert的科室放射科医生发放8题多选题在线问卷(SurveyMonkey)的调查。
- 问卷于2020年6月15日首次发送、2021年10月25日再次发送,最终向149个医院科室和诊所的282名放射科医生发送。
- 纳入标准为BoneXpert活跃用户、职称为放射科医生或放射科主任、所在国家属欧盟或英国、挪威、冰岛、瑞士(BoneXpert获CE标志的地区)。
- 97名(34%)受访者回复,来自80个(54%)科室和18个国家;每科室平均1.21名受访者。
- 仅分析完整回答全部8题的受访者数据。
诊断标准与关键数值
- 每例骨龄评估耗时超过2分钟的受访者:安装前83/97(86%),安装后20/97(21%)。
- 每例骨龄评估耗时少于2分钟的受访者比例由安装前14%升至安装后79%,超过5分钟者由37%降至1%。
- 完全不评估骨龄(「没有时间」)的放射科医生比例由安装前5%升至安装后17%。
- 完全让BoneXpert自行计算骨龄(AI替代)者32/97(33%),逐份报告复核者14/97(14%)。
- 从未推翻BoneXpert读数者39/97(40%),在超过5%病例中推翻者9/97(9%);83%的受访者在少于5%的骨龄X线片中推翻BoneXpert。
临床应用与阅片要点
- 小科室(年分析量≤中位数300例)中AI替代比例为41%,大科室(年分析量>300例)为25%,差异恰好达到统计学显著(P=0.048)。
- 58/97(60%)因需阅片排查疾病征象而不允许BoneXpert完全接管骨龄评级,13/97(13%)认为阅片是法律义务。
- 认为时间节省和消除观察者变异有价值或极有价值者分别为86/97(89%)和94/97(97%)。
- 对BoneXpert建立信任最重要的因素是临床评估数据(性能数据与同行评议论文),69/97(71%)选择;CE标志和自动拒绝不合格图像分别由47/97(48%)和45/97(46%)选择。
- 99%受访者表示会向其他放射科医生推荐BoneXpert,1%表示不会。
局限性
- 回复率仅34%,更高的回复率会提供更具代表性/更可靠的数据。
- 作者在本院临床实践中认为BoneXpert拒绝约3%的X线片(因骨骼表现异常或摆位不佳)是可接受的,但本应询问用户所经历的拒绝率以及他们是否认为该拒绝率合适。
- 作者假设受访放射科医生的回答代表放射科医生总体的使用模式,数据试图总结放射科医生而非机构层面的使用情况。
- 鉴于仅有97名受访者,后续讨论为对放射学中人工智能使用的定性讨论。
全文中译14 节 · 点击展开
引言
在本文中,我们将人工智能(AI)定义为自动化认知任务的软件。自2012年以来,AI技术取得了显著进展,尤其是在图像分析方面[1]。这引起了新闻媒体的关注,媒体往往高估AI,有时甚至将其妖魔化,导致关于伦理以及未兑现承诺的激烈辩论[2]。
关于AI可能如何影响放射学的未来存在激烈讨论,例如引发了年轻医生是否会更不愿意选择放射科作为培训方向以及AI是否危险等问题[3]。放射学界达成共识,AI不会取代放射科医生,但使用AI的放射科医生将取代不使用AI的放射科医生[4]。然而,许多人也认为至少部分放射学任务将完全由AI接管,可能由治疗医生操作[5]。
参照van Ginneken[5],我们将AI系统细分为三种类型:AI辅助:辅助放射科医生的AI,
AI替代:替代放射科医生的AI,以及
AI扩展:提取超出人类常规所能提取的图像信息的AI。
在本文中,我们以骨龄评估为例,研究了AI在放射学中的应用。骨龄是衡量骨骼成熟度的指标,通常通过手部和腕部X线片进行评估(图1)。骨龄以年为单位表示,是指参考人群中半数儿童基于骨骺相对宽度等特征达到观察到的成熟程度时所对应的年龄。
最常用的骨龄方法是Greulich和Pyle[6]法,其基于1931年至1942年间美国中产阶级儿童的参考人群。
BoneXpert方法(Visiana,Hørsholm,丹麦)用于骨龄的自动测定,由Visiana公司于2009年推出[7]。其预期用途是完全替代人工骨龄评定,据此,开发期间的所有临床研究均以BoneXpert作为独立阅片者进行。图像分析基于传统机器学习方法,涉及基于主成分分析得出的形状、强度和纹理评分来预测骨龄。该方法试图定位手部和腕部几乎所有的骨骼(不包括籽骨),如图1所示,并为每块骨骼确定独立的骨龄值。如果某块骨骼的视觉外观超出机器学习过程所覆盖的范围,或者其骨龄值与从所有管状骨确定的平均骨龄偏差超过预设阈值,则该骨骼被剔除。对于7岁以上的患者,阈值设定为2.4年,然后线性递减至出生时的1.2年。最终骨龄结果计算为被接受骨骼的平均值。如果被接受的骨骼少于8块,该方法会拒绝该图像,以避免自动评定出错的风险。这一内部验证过程被认为是AI替代系统的关键。该软件生成带注释的医学数字成像和通信(DICOM)文件(图1)。
尽管BoneXpert被归类为人工智能替代型,但根据用户偏好,它也可作为人工智能辅助工具使用。BoneXpert还发挥人工智能扩展作用,因为它可计算骨健康指数(一种衡量第2至第4掌骨骨干皮质厚度的指标),并将患者的骨健康指数与相同骨龄和性别的健康人群进行比较。
多位作者已在临床实践[8, 9]以及涉及多种疾病的回顾性研究中评估了BoneXpert的诊断准确性,例如矮身材[10, 11]、性早熟[12]和先天性肾上腺皮质增生症[13],以及在不同种族人群中[8, 14–16]。这些研究发现平均准确性(均方根误差)为0.72年[17]。2019年,该软件进行了更新(BoneXpert版本3),利用训练数据可及性增加的优势,将准确性提高至相对于单一评估者的均方根误差为0.63年,相对于六名评估者平均值的均方根误差为0.45年,从而明显超越了人类的准确性[18, 19]。BoneXpert是首个上市的人工智能替代型放射学系统,截至2021年4月,它已被200个放射科使用,主要在欧洲,合计每年完成超过100,000次分析。
骨龄评估非常适合完全自动化的原因有以下几点:它不是高风险任务。在临床环境中,骨龄评估出错[20, 21]的后果可能不如例如漏诊癌症那样严重(尽管当然并非总是如此)。
骨龄可从手和腕部21块骨骼中的每一块来确定(不包括腕骨)。这种冗余允许排除离群骨骼,从而使自动化评估对单块骨骼的错误非常稳健。
21块管状骨(指骨、掌骨以及桡骨远端和尺骨远端)的解剖结构在图像上显示得非常清晰,没有骨骼重叠,位置变异也很小。这使得开发能够可靠分割骨骼的算法变得容易。在随后的图像解读中,骨骼始终以相同的投影被观察,即位置变异只是一个很小的混杂因素。
放射科医生确定骨龄是主观的,使用与Greulich和Pyle参考图谱的视觉比较。图谱中通常没有完美匹配;相反,必须寻找最相似的参考图像。这是一项复杂的认知任务,需要专业知识。另一方面,计算机的优势在于它们可以将图像数据转换为数字,从而将骨龄作为连续变量进行评估。
骨骼众多,只有仔细评估所有骨骼才能获得最高准确性,如果手动完成,这需要大量时间。
由于最后两点(d和e),一些放射科医生对骨龄确定任务不太热衷,可能会将其委派给初级放射科医生。骨龄报告缺乏受欢迎程度可能导致报告延迟。
自动骨龄评估的基础已经积累了几十年。Tanner是骨龄评估领域的重要贡献者[22, 23],早在1989年就展示了一个半自动骨龄系统的工作原型,并且他就计算机化骨龄评估发表了如下言论[24]:“这无疑是前进的方向,彻底消除那过于容易出错的评估者。”
二十年过去了,Tanner关于用人工智能替代骨龄测定的愿景才随着2009年BoneXpert的推出而实现,这为临床放射科医生提供了一个独特的机会,可以在日常工作中体验使用人工智能替代系统。
本研究的目的是调查自动化系统在临床实践中如何使用:它在多大程度上替代了放射科医生,是否节省了时间,以及哪些功能可能增强放射科医生对系统的信任。
材料与方法
数据收集使用通过SurveyMonkey(SurveyMonkey,加利福尼亚州圣马特奥)实施的在线问卷进行。该调查于2020年6月15日首次通过电子邮件发送,并于2021年10月25日再次发送。收件人根据BoneXpert客户组合选择,纳入标准为:收件人应为BoneXpert的活跃用户。
职位应为“放射科医生”或“放射科主任”。
所在国家应为欧盟成员国,或英国、挪威、冰岛或瑞士(BoneXpert已获得CE标志的地区)。
这产生了分布在149个医院科室和诊所的282个电子邮件地址。如果未收到回复,在初始电子邮件之后又发送了三封提醒邮件。
该调查包含八个多项选择题(在线补充材料1)。前四个问题旨在调查该软件的实际使用情况:使用该软件节省的时间、放射科医生推翻BoneXpert读数的频率,以及该软件是作为人工智能替代(AI-replace)还是人工智能辅助(AI-assist)使用。虽然与骨龄评估不直接相关,为完整起见,我们纳入了第五个关于该软件在确定骨健康指数方面功能的问题。最后三个问题评估了放射科医生对该软件的主观感受:他们最看重其功能中的哪些特点、其可信度,以及他们是否会向他人推荐BoneXpert。调查还设置了开放回答选项(“其他——请在下方注明”),以收集设定选项之外的答案。BoneXpert的许可条件明确规定,不允许将其用于评估寻求庇护者的年龄,欧洲儿科放射学会也不认可使用骨龄来确定无证件的实际年龄[25]。据此,此类用途被排除在本调查之外。
本研究无需获得书面知情同意和机构审查委员会批准,因为不涉及患者。参与问卷为自愿性质。受访者被告知,问卷的目的是发表一篇论文,且其匿名性得到保证。
统计分析使用MATLAB(MathWorks,Natick,MA)进行。P值通过自举法计算(对97名受访者进行一百万次有放回重采样,见[26]第10章)。P<0.05为显著。仅对回答了全部八个问题的受访者的数据进行分析。
结果
问卷答复
在282名收件人和149个科室中,97名(34%)收件人做出了答复,代表80个(54%)科室和18个国家(图2)。因此,每个科室的平均答复人数为1.21。三个科室提交了三份答复:Alder Hey(英国)、Odense(丹麦)和Linköping(瑞典);其余各提交了一份或两份。BoneXpert的年度分析数量从20到3,500不等;97份答复的中位年度分析数量为300。调查未采集答复科室进行骨龄评估的年龄分布。
问题与回答
表1、表2、表3和表4呈现了八个问题中的六个及其回答。其余两个问题(第5题和第8题)相对简单,因此未列入表格。
节省时间(第1题和第2题——表1)
安装BoneXpert后,骨骼评估工作流程发生了明显变化(图3);83名(86%)受访者报告在安装BoneXpert之前每位患者的骨龄评估耗时超过2分钟,而安装后为20名(21%)。
人工智能(AI)替代还是AI辅助?(Q3——表2)
对Q3的回答显示,在实际应用中,BoneXpert的使用涵盖了从辅助报告者到替代报告者的完整范围。在光谱的一端,32名(33%)应答者允许自动化方法完全自行计算骨龄。在光谱的另一端,14名(14%)应答者审阅每一份报告以确保骨龄判定正确。多数58名(60%)不允许BoneXpert完全接管骨龄评定,原因是需要审阅图像以发现疾病征象,另有13名应答者(13%)认为审阅图像是法律义务。
我们通过将97份回答分为两组进一步探讨了AI替代/AI辅助问题:49份来自每年分析数量小于或等于中位数(300)的较小站点,48份来自每年分析数量大于中位数的较大站点。在小站点组中,AI替代(对Q3回答“是”)达到41%,而在大站点组中仅为25%(图4)。该差异刚好达到统计学显著性(P=0.048)。
推翻软件判定(Q4——图5)
考虑对Q4的回答,39名(40%)应答者从未推翻BoneXpert的判读,而9名(9%)在超过5%的病例中推翻了其判读。
骨骼健康指数(Q5)
三分之一的应答放射科医生(33名)认为骨骼健康指数(BHI)具有临床实用性,16名(17%)认为其不实用,其余48名(49%)不确定。
价值(Q6——表3)
认为节省时间和消除观察者变异性有价值或非常有价值的应答者人数分别为86名(89%)和94名(97%)。相当数量的应答者,68至81名(70%至83%),也认为BoneXpert在去除繁琐任务、与PACS集成以及更早获得结果方面的效用是有价值或非常有价值的特征。
信任(Q7)
数据的临床评估(即性能数据和同行评审出版物)是产生对AI信任的最重要因素,被69名(71%)应答者选择。监管许可(即CE标志)和自动拒绝不合格图像是其他重要方面,分别被47名(48%)和45名(46%)应答者选择。
为进一步评估问题7的回答,我们将受访者分为两组:AI替代组,定义为对问题3(“您是否愿意让BoneXpert完全接管骨龄评定?”)回答“是”者;AI辅助组,定义为其余受访者。表4比较了32名(33%)AI替代组受访者与65名(67%)其他受访者对问题7的回答,并显示两者之间唯一具有统计学显著性的差异是,来自曾自行对BoneXpert进行自我验证的科室的放射科医生更有可能同时审阅X线片。
建议(问题8)——您是否会向另一位放射科医生推荐BoneXpert?
关于问题8,99%的受访者回答“是”,1%回答“否”。
讨论
关于AI在放射学中的未来角色,存在两种对立的观点,分别以Langlotz [4]主张AI辅助和van Ginneken [5]主张至少对某些检查采用AI替代为代表。
在本文中,我们报告了一种广泛使用的AI替代系统如何改变了欧洲各地放射科科室内的临床工作流程。尽管回答由使用BoneXpert的个体放射科医生提供,但我们假设这些数据代表了放射科医生总体的使用模式。因此,这些数据试图总结的是放射科医生之间的使用情况,而非机构之间的使用情况。鉴于仅有97名受访者,以下内容是对放射学中AI使用情况的定性讨论。
BoneXpert被设计为一种AI替代系统,其依据的推测是骨龄评定特别适合此类系统。然而,调查显示,82%的受访放射科医生在已安装自动化方法的情况下,仍在对X线片进行某种程度的评估。这表明BoneXpert发挥的是AI辅助作用。调查揭示情况更为复杂,且“阅读骨龄手腕部X线片”实际上由两项任务组成:一项是骨龄评定本身的定量任务,以及
一项一般的定性诊断任务。
第一项任务是机械性的、耗时的,基于若干成熟度指标,如每块骨的“骨骺宽度”和“骨骺融合程度”。为执行此项任务,甚至曾被认为不了解背景信息(如诊断、既往评定结果或患者实足年龄)是一种优势 [27]。
第二项任务是排除潜在病理,属于定性任务,但对放射科医生而言执行起来相对较快,且是他们擅长的分析类型;它需要广泛的经验、对背景信息(如患者病史)的理解,以及从其他部位的骨骼放射学进行概括的能力 [28]。虽然AI系统可以训练来执行这些任务,但获取足够大的数据集以支持对骨骼发育不良(例如)进行具体诊断将很困难。
我们发现,在第一个任务中,人工智能已在很大程度上取代了放射科医生,但程度有所不同。图3对此进行了说明,其显示随着自动化方法的引入,报告时间从通常超过2分钟缩短至通常少于2分钟;图5则显示,尽管大多数放射科医生会审阅X线片,但自动化判读结果很少被放射科医生推翻。我们可以总结我们的发现:在引入自动化方法后,放射科医生仍在阅读X线片,但主要是为了排除可能提示潜在疾病的影像学表现。
表3列出了放射科医生最看重的自动化方法特征,其中排名最高的特征是“BoneXpert消除了人工评估者间的变异性,并给出标准化的骨龄值”。这一方面对患者具有价值,因为在对患者进行纵向随访时,自动化方法更好的精确度具有临床意义。在这些情况下,临床医生希望评估骨龄增量,而由于评估者间的变异性,这些增量通过人工判读确定得不够精确,这严重限制了人工骨龄判读的实用性,例如在生长激素治疗期间[29, 30]。
表4列出了受访者报告的可使其信任自动化方法的方面。出版物和性能数据的排名高于法规符合性,这相当于说,放射科医生对透明的同行评审科学出版物的信任程度高于对CE认证过程的信任。在表4中,我们单独列出了AI替代组,即完全将骨龄判读交给自动化方法的32名(33%)受访者。相比于AI辅助组,他们倾向于更信任法规符合性,尽管这一发现无统计学显著性(P=0.11)。AI辅助组中有更多人(13名,20%)在其本科室对自动化方法进行了验证,而AI替代组仅有2名(6%)。我们或可将AI辅助组描述为更了解BoneXpert在识别病理方面的局限性。有趣的是,我们的结果还提示,较小的科室更倾向于将该方法用作AI替代。也许这反映了患者人群的差异,例如患有骨骼发育不良/骨骼病理的儿童更可能在大型专科医院就诊。
我们已经看到,自动化方法最常在人阅读者的某种监督下使用。尽管如此,我们认为,该方法已被验证能够自主工作,并且能自动拒绝被认为不适合自动评分的X线片,这一事实是有益的。后一种功能作为一种安全措施,提请放射科医生注意意味着图像无法由BoneXpert读取的病理或质量问题。然而,在一部分病例中,机器实际上自行评估X线片。这在图5中直接可见,该图显示39名(40%)放射科医生承认从未推翻BoneXpert,尽管给出了替代答案选项“我在不到5%的病例中推翻BoneXpert”。这一发现强调了验证AI系统能够独立工作的重要性。AI系统应包括安全措施,分析输入数据的充分性(图像质量、解剖结构等),并仅在适合AI系统时,即在其有效范围内生成结论。否则,依据不足的分析可能会被观察力较差的人忽视。我们在Q7中找到了一些支持这一点的证据,其中45名(48%)放射科医生回答说,“如果系统对其解释不确定,它会自动拒绝图像”这一事实对于信任该系统很重要。这一特性或许被用户和行业都低估了。除BoneXpert外,作者还知道另外两个自动骨龄系统,VUNO Med-Bone Age(VUNO,首尔,韩国)和IB Lab PANDA(ImageBiopsy Lab,维也纳,奥地利)[31]。两者都没有包含如此复杂的图像验证机制。与BoneXpert相比,看看这些系统在临床实践中如何使用将很有趣。
我们认为,AI辅助系统不应仅基于其作为AI辅助使用的C研究就被批准用于临床。还必须有大范围的研究证明其自主性能至少与放射科医生一样好,而这些研究应包括不充分/质量差的图像,系统应要么正确评分,要么完全不评分[18]。我们相信,AI替代/AI辅助的这一方面在文献中尚未得到充分研究。
本研究存在局限性。第一,应答率仅为34%;更高的应答率本可提供更具代表性/更可靠的数据。第二,在我们自己的临床实践中,我们认为BoneXpert拒绝约3%的X线片(由于骨骼外观异常或体位不佳)是可以接受的,但询问用户其经历的拒绝率是多少以及他们是否认为这可接受本会是有益的。第三,该调查仅纳入了已经购买许可证的医院,因此更可能对该软件持正面看法(我们本可以通过询问受访者是否直接参与购买BoneXpert的决策来调查这一潜在偏倚)。如果我们在参与医院免费安装该程序并在安装后询问放射科医生,即如果我们进行的是前瞻性研究而非观察性研究,偏倚风险 presumably 会降低。第四,我们假设每位放射科医生都会在整个儿科年龄范围内进行骨龄评估,但情况可能并非如此,且可能影响BoneXpert的使用模式(AI替代或AI辅助)。最后,我们开展调查并以个体而非机构层面呈现结果。虽然可能存在一些信息重复,但我们采取这一方法是因为我们认为科室内的个体在使用和看法上可能对新技术的使用和观点存在差异。
结论
绝大多数(82%)使用BoneXpert AI软件的受访者并未将放射科医生完全排除在骨龄测定任务之外。本调查说明骨龄评级比仅仅给出骨龄数值更为复杂。大多数机构的做法是还评估图像以寻找可能提示潜在疾病的征象。我们鼓励这一做法,因此不鼓励内分泌科医生(以及其他专科医生)完全绕过放射科医生,因为在骨龄之外可能存在相关发现,否则重要诊断可能被遗漏。
BoneXpert的引入代表了机器与人类之间高效的分工——各自做其最擅长的事,且做得快速而安全。这是放射学中善用AI的一个范例:工作流程得到改善,评估的准确性和精确度提高[32],放射科医生的时间被释放出来以执行更复杂的影像任务。该方法已被验证能够自主工作,包括在图像超出有效范围时能够省略评级,这一事实令人安心。
补充信息
ESM 1(PDF 84 kb)
引用
- Thodberg HH, Thodberg B, Ahlkvist J, et al. Autonomous artificial intelligence in pediatric radiology: the use and perception of BoneXpert for bone age assessment. Pediatr Radiol. 2022. PMID: 35224658. doi:10.1007/s00247-022-05295-w
- 全文:PMC9192461(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9192461/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。