利用数字蜂群智能平台提升放射科医生共识及其应用探索
研究让3名放射科主治医师和5名住院医师在数字蜂群平台上实时盲评膝关节MR半月板病变,并与关节镜和资深放射科医生标准比较。蜂群共识的观察者间信度优于多数投票和最自信投票,且5人蜂群优于3人蜂群,并超过AI算法预测。
要点
- 蜂群共识可提升半月板病变评级的观察者间信度,优于多数投票和最自信投票。
- 蜂群规模增大(5人 vs 3人)可进一步提高信度,并改善对正常病例的识别。
- 蜂群共识的特异度高于多数投票和最自信投票,有助于减少过度诊断。
核心结论
- 蜂群共识投票在放射科主治医师和住院医师中均优于个体、多数投票和最自信投票,且优于先进AI算法预测。
研究设计与样本
- 研究为前瞻性实验设计,使用36例膝关节MR矢状面CUBE序列,来自三个医疗中心,以关节镜和资深放射科医生为参考标准。
- 队列1为3名肌肉骨骼放射科主治医师,队列2为5名放射科住院医师,均先独立评级,经15天洗脱期后参与实时蜂群会话。
- 部分队列2(3名住院医师)再次参与蜂群会话以评估蜂群规模影响,另用AI模型对同一36例扫描进行预测比较。
诊断标准与关键数值
- 半月板病变定义为WORMS>0,选项包括无、任一一个间室(四个半月板角)或超过一个间室。
- 主治医师蜂群投票IRR(k=0.34)较多数投票(k=0.11)提高23%;3名住院医师蜂群(k=0.25)较多数投票(k=0.02)提高23%;5名住院医师蜂群(k=0.37)较多数投票(k=0.07)提高30%。
- 主治医师蜂群特异度53.3%,较多数投票13.3%提高40%;3名住院医师蜂群特异度较多数投票和最自信投票提高20%(临床标准)和37.5%(放射标准);5名住院医师蜂群特异度33%(临床标准)和50%(放射标准)。
- AI模型在二分类评估中敏感度和特异度均为85%,其IRRc为k=0.10,IRRr为k=0.15。
临床应用与阅片要点
- 在疑难病例评级中,可采用实时蜂群共识平台辅助决策,尤其有助于提升特异度和减少过度诊断。
- 注意蜂群会话需所有参与者实时在线并接收群体意向反馈,且参与者之间保持盲态以避免人际偏倚。
- 蜂群规模可能影响共识效果,较大规模(5人)在信度和正常病例识别上表现更好,但需考虑决策时间。
局限性
- 研究仅使用单序列(矢状面CUBE)图像,可能限制诊断信息并影响绝对kappa值。
- 样本量较小(36例),且蜂群会话中部分情况可能无法在限定时间内达成共识。
- 研究设计为实验性,未在常规临床工作流程中验证。
全文中译16 节 · 点击展开
引言
放射科医生之间的共识对于准确诊断疾病、患者诊疗以及避免无意的医疗差错至关重要[1]。美国国家医学院的指南推荐基于团队的诊断,认为其优于个人判读[2]。在判读复杂的多因素疾病并在多分类量表上对病变进行分级时,在专家之间获得高评分者间信度可能具有挑战性。评分者间信度可变的现象已在各影像亚专科中广泛记录[3–7],并可能导致漏诊以及限制在正确的时间进行适当的医疗干预[8](图1)。
放射科医生在训练和基准测试机器学习模型方面也发挥着重要作用。他们对疾病进行分类和分级、标注病变,并在图像上分割解剖体积[9, 10]。放射科医生的意见通常被视为训练模型的“金标准”,并用于衡量模型的性能。
鉴于标注任务可能耗时,另一种方法是让业余标注专业人员(非临床医生)标注大量图像,由放射科医生对不一致的病例进行仲裁并对数据集进行质量检查。然而,使用非专家充满风险,可能产生噪声标签[11, 12]或 outright 错误[13],这在医学等高风险人工智能(AI)系统中具有严重后果[14]。已开发出众多技术方法来减轻标签噪声的影响。这些包括标签清洗和去噪技术[15, 16]、修改损失函数[17, 18]或数据重加权[19–21]。然而,这些方法均未完全消除噪声标签的根本原因,即标签创建时源于人际主观性。
在专家和业余数据标注这两种方法中,均存在一种假设,即作为专家的监督放射科医生提供了真实值,但这未能考虑到多位专家自身之间观察到的不一致。
医学中用于确定共识答案的一些常用方法包括多数投票[22, 23]、最自信投票[24]、仲裁[25]和德尔菲技术[26, 27]。在本研究中,我们研究一种称为群体智能的新技术,以提高专家参与者之间的共识。群体智能受鸟类和昆虫中观察到的现象启发[28–30],是一种在多个自主代理组成的群体中实时协作寻找最优答案的方法。这一概念已在从经济预测[31]、机器人技术[31]到影像AI[32]等领域得到应用。
相关工作与关键概念
群体智慧或群体智慧被定义为准独立多智能体系统的一种涌现属性,其中来自各智能体的聚合响应优于个体响应[33]。这或许由Galton的实验得到了最好的证明,该实验表明群体对牛体重的平均估计超过了最佳个体猜测[34]。多项研究已证明了群体智慧现象及其各种影响因素[35]。个体信念[36]、专业水平[37]、认知多样性[38]、人格特质[39]和社会互动[40]均可影响群体决策。我们在表1中描述了基于团队的决策过程的关键概念,这些概念对于理解我们的研究设计具有重要意义。
swarm intelligence(SI)是群体智慧的一种特殊形式,用于改善广泛生物物种的群体决策,从成群蜜蜂、集群鱼类到群飞鸟类。近年来,一种称为人工群体智慧(ASI)的技术已被开发出来,以在联网人类群体中实现类似的益处[41, 42]。本研究使用了一个名为swarm的软件平台,使联网的人类智能体能够利用ASI技术共同工作来做出评估。该软件旨在连接人类智能体,具有两个显著特征;它要求所有智能体实时参与,并且具有闭环反馈系统,该系统在每个后续时间步更新并告知智能体组合后的群体意图。因此,它捕捉了个体信念、协作、协商和意见转换的动态过程,而不仅仅是事后多数或平均投票分析。
我们研究的主要目的是考察不同专业水平的临床专家(放射科医师、放射科住院医师)之间同步、盲法、非社会性互动对特定任务(膝关节MR半月板病变评估)的影响,同时回答固定问卷,并测量其对评分者间信度的影响。我们的次要目的是考察参与者数量(群体规模)对改善评分者间信度的影响。
方法
影像学与临床数据集
本研究使用先前获取的36名受试者的膝关节MRI及相应临床记录进行,这些受试者是为一项纵向研究招募的[43]。受试者在三个医疗中心之一(UCSF、Mayo Clinic、Hospital for Special Surgery)招募并扫描,以确保患者数据的多样性。所有受试者均接受了骨科医生对患膝的关节镜评估和修复,该医生记录了各间室(半月板、软骨、骨和韧带)中病变的发现。
患者人口学分布为年龄 = 42.79 ± 14.75 岁,BMI = 24.28 ± 3.22 kg/m2,男性/女性为 64%/36%。研究对象招募条件为年龄 > 18 岁,排除标准为同时使用任何研究性药物、研究侧膝关节骨折或手术干预,以及任何MR禁忌证。所有受试者均签署了经所在机构人体研究委员会批准的书面知情同意书。本研究经机构审查委员会批准。
研究参与者(放射科医师和放射科住院医师)与任务
招募了两个阅片者队列,在多个时间点评估膝关节扫描(图2)。所有阅片者仅在机构图像归档与通信系统(PACS)上检查矢状位CUBE序列。他们被要求对每次检查回答同一个问题:“选择观察到半月板病变的区域”,其中病变定义为全器官磁共振成像评分(WORMS)> 0 [44]。提供的六个可能答案选项为(1)无,(2–5)四个半月板角(前角和后角;内侧角和外侧角)间室中的任一个,或(6)多于一个间室(表2)。
队列1包括3名获得委员会认证的肌肉骨骼放射科主治医师(平均19年经验,范围4–28年),他们在两个时间点阅读MRI扫描。首先,在基线时,他们独立对扫描进行单独分级,并对其阅片给出自报置信度评分(量表:1至10)。经过15天的洗脱期后,所有36次检查由这些主治医师重新评估,同时实时参加群体智能会话(Unanimous AI,旧金山)。
队列2包括5名放射科住院医师(PG第3–5年)。与主治医师类似,他们首先在基线时独立对扫描进行分级,并提供自报置信度评分。经过15天的洗脱期后,所有36次扫描由全部5名住院医师第二次重新评估,同时参加群体智能会话。再经过15天的洗脱期后,5名住院医师中的3名(部分队列2)第三次重新评估这36次扫描,同时参加第二次群体智能会话。这样做是为了测量群体规模对评分者间信度的影响。
群体智能平台
为了获得参与研究的放射科医师和受训人员的共识答案,我们使用了群体智能平台(Unanimous AI,旧金山),该平台以蜜蜂的决策过程为模型 [45]。该平台允许多个位于远程的参与者通过互联网以盲法方式实时协作。
该平台由2个关键组件组成:(1)一个基于网络的应用程序;(2)一个运行专有集群算法的云端服务器。参与者使用标准网络浏览器登录在线集群会话,并在平台的六边形图形用户界面(GUI)上回答问题。GUI实时捕获全体参与者的输入,并基于集群算法生成的输出提供即时反馈,实质上形成了一个闭环反馈系统(图3)。
使用该系统,两个队列均通过协作移动图形圆盘在一组答案选项中进行选择,从而实时回答问题。每位参与者通过移动图形磁铁来拉动圆盘以提供输入,从而将其个人意图施加于集体系统。偏好被记录为连续不断的输入流,而不仅仅是静态投票。每位参与者的确信度通过其磁铁与圆盘之间的距离来表示(强拉力 versus 弱拉力)。所有参与者对圆盘的净拉力使圆盘沿该方向移动,直至在某一答案选项上达成共识。因此,集体答案的输出也会在GUI上实时更新,这可通过活跃集群会话期间圆盘轨迹的变化观察到。由于所有用户在实时中持续调整其意图,圆盘基于所有参与者之间复杂的相互作用而移动,促使群体同步汇聚。
与此同时,集群算法通过追踪每位用户磁铁拉力的方向和强度,并将其与其他参与者进行比较,在每个瞬间评估每位用户的意图。这随后用于(i)基于集体偏好在每个时间步计算共识答案,以及(ii)以更新后的圆盘轨迹形式向参与者提供即时反馈,使其能够根据不断演变的群体决策保持或切换其原始答案选择。由集群算法计算的共识决策考虑多种因素,如(i)集群参与者数量,(ii)参与者的初始偏好,(iii)参与者的行为(意见一致 versus 变化),(iv)确信度水平,以及(v)答案选项类型(有序 versus 分类)。
集群会话
队列1(3名肌肉骨骼放射科医生)在完成膝关节扫描个体评估并经过洗脱期后,参加了单次蜂群会话。队列2(放射科住院医师)在完成个体评估并经过洗脱期后,连续参加了两次蜂群会话。第一次住院医师蜂群会话有5名住院医师参加。第二次住院医师蜂群会话有3名住院医师参加,旨在测量蜂群规模的影响。
为回答本研究中的每个问题,两个队列的所有参与者均有60秒时间首先审阅膝关节扫描,然后再有60秒时间积极参与蜂群会话、协作并给出他们的共识答案。在某些意见强烈对立的情况下,蜂群可能无法在规定的决策时间内达成答案,此时平台将其记录为“无共识”。两个队列的所有参与者彼此之间均设盲,且在会话期间不进行交流,以防止任何形式的偏倚。
AI模型推理
为将最先进的AI模型与放射科医生和住院医师的蜂群表现进行基准比较,我们在同一组36例膝关节MR扫描(仅矢状位CUBE序列)上运行了该模型。一个用于半月板病变定位和分类的AI流程在一项基于1435例膝关节MRI(n = 294名患者;平均年龄43 ± 15岁;153名女性)的回顾性研究上进行了训练和验证[46]。该AI流程由一个V-Net卷积深度学习架构组成,用于生成所有四个半月板角的 segmentation mask,这些mask用于裁剪包含这些感兴趣区(ROI)的较小子体积。这些子体积被用作输入,以训练和评估为分类半月板异常而开发的三维卷积神经网络(3DCNN)。在留出集上的评估显示,在二分类评估(“病变”或“无病变”)中,敏感性和特异性分别为85%和85%。
统计分析
所有回答被分为3类(无、一个间室、多于1个间室),以便于比较个体参与者投票、蜂群投票和AI预测。同一队列参与者中个体回答的置信度评分经过协调,使用Cronbach's alpha评估内部一致性。计算了病变存在或不存在的敏感性、特异性和Youden指数(准确性度量)。
然后使用第一个时间点的回答计算多数投票,并在每个队列中选择最自信的投票者。Cohen's kappa(k)值以均值、标准差和置信区间列表呈现,通过对观测值中的全套病例进行100次重采样bootstrap,以评估评分者间信度,如下文所述。
主治医师评分者间信度与临床参考标准比较(IRRc)
第一组分析比较了主治医师(队列1)的回答与作为临床参考标准(SOR)的关节镜记录。计算了个体主治医师、其多数投票和最自信投票的IRR。主治医师蜂群投票相对于临床SOR的IRR也进行了计算。
住院医师评分者间信度与临床参考标准比较(IRRc)
第二组分析将住院医师(队列2)与临床参考标准(SOR)进行比较。计算了单个住院医师、其多数投票以及最自信投票的评分者间信度。还计算了群体投票相对于临床SOR的评分者间信度(IRR),包括5名住院医师和3名住院医师的群体投票。
住院医师评分者间信度与放射学参考标准的比较(IRRr)
在许多情况下,来自手术评估病灶的临床金标准可能无法获得。此外,放射科医师与外科医师之间的评分者间信度也可能较低。在此类情况下,经验丰富的放射科医师的判读通常被视为参考标准,尤其是在评估受训者时。
为评估此类场景下的群体表现,我们将参与研究的最资深主治医师的判读结果作为放射学参考标准。计算了单个住院医师、其多数投票以及最自信投票的评分者间信度。还将群体投票的评分者间信度与放射学参考标准进行比较,包括5名住院医师和3名住院医师的群体投票。
人工智能预测与临床及放射学参考标准的比较(IRRc和IRRr)
与住院医师和主治医师队列类似,将模型推理的预测结果与临床和放射学参考标准均进行了比较。
结果
根据临床参考标准的类别分布如下:正常(15/36例检查)、单一间室病变(13/36例检查)、多于一个间室病变(8/36例检查)。根据放射学参考标准的类别分布如下:正常(8/36例检查)、单一间室病变(8/36例检查)、多于一个间室病变(20/36例检查)。
主治医师队列和住院医师队列均显示出极好的内部一致性,Cronbach's alpha分别为0.91和0.92。敏感度、特异度和Youden指数见表3。两个队列在检测半月板病变方面均具有高敏感度,多数投票、最自信投票和群体投票之间相当。群体投票在所有场景中均显示出特异度的改善,且随着住院医师群体规模的增加,特异度也有所提高。主治医师群体投票的特异度较主治医师多数投票(13.3%)提高了40%(53.3%)。在与临床参考标准比较时,3名住院医师群体投票较多数投票和最自信投票的特异度提高了20%。在基于放射学参考标准的比较中,3名住院医师群体投票较多数投票和最自信投票的特异度提高了37.5%。同样,5名住院医师群体投票的特异度为33%(基于临床参考标准)和50%(基于放射学参考标准),远高于5名住院医师多数投票和最自信投票。这对于防止病变过度诊断具有重要的临床意义。
参加研究的主治医师和住院医师队列与临床及影像学参考标准之间评定者间信度的自举法Cohen's kappa值列于表4,并附相应的95%置信区间。群体共识投票的评定者间信度(IRR)始终高于个体投票者、其多数投票以及最自信投票者。在主治医师和住院医师队列中均观察到群体投票具有更优的IRR。更重要的是,在IRRc和IRRr中均观察到群体IRR的增加。因此,群体方法学改善了与任一参考标准的一致性,表明其对于评估的有用性,即使在临床和影像学观察可能存在不一致的情况下亦然。随着住院医师群体规模的增加,IRR也观察到增加。有趣的是,5名住院医师群体的IRRc一致性与3名主治医师群体的IRRc处于相当水平。虽然本研究报告的绝对kappa值处于轻微至一般范围,但这些应结合参与者所能获得的有限影像检查(仅单一矢状面MR序列)来审视。个体主治医师的IRRc范围为k = 0.08至0.29。3名主治医师群体投票的IRRc高于3名主治医师多数投票和3名主治医师最自信投票(图4)。检测正常病例的一致性从多数投票的13%(2/15)显著增加至群体投票的53%(8/15)。由于最资深放射科医师属于该队列,故未计算主治医师的IRRr。
个体住院医师回答的IRRc范围为k = 0.01至0.19,低于主治医师。3名住院医师群体投票的IRRc高于3名住院医师多数投票和3名住院医师最自信投票(图5)。多数投票和最自信投票未能识别任何正常病例。群体投票检测正常病例的一致性为20%(3/15)。5名住院医师群体投票的IRRc再次高于5名住院医师多数投票和5名住院医师最自信投票。3名住院医师多数投票和最自信投票未能识别任何正常病例。5名住院医师多数投票未能识别任何正常病例。群体投票检测正常病例的一致性增加了33%(5/15)。
个体住院医师回答与放射学观察的IRRr范围为k = 0.09至0.22。这高于住院医师的IRRc,表明他们与其直接培训者(即放射科主治医师)的一致性优于与骨科外科医师的一致性。与先前发现一致,3名和5名住院医师群体投票的IRRr均高于其各自的多数投票和最自信投票(图6)。多数投票和最自信投票未能识别任何正常病例。群体投票检测正常病例的一致性为37.5%(3/8)。多数投票和最自信投票未能识别任何正常病例。5名住院医师多数投票未能识别任何正常病例。在两个规模队列中,群体投票检测正常病例的一致性均有所增加。
与3名住院医师和3名主治医师群体相反,5名住院医师群体在一次检查中未能在规定时间内达成共识。这一单次事件不足以对群体规模与最佳决策时间之间的关系做出结论性评论,并随后在与多数投票和最自信投票的比较中被排除。
模型推理的AI预测的IRRc为k = 010,IRRr为k = 0.15。这与个体住院医师评定者间信度的范围相当(图7)。
讨论
多项研究报告了放射科医师在解读半月板病变时存在不同的评定者间信度(IRR)[47]。意见差异可能基于位置、区域、组织质量和病变严重程度而产生。Shah等报告,患病率和偏倚校正后的kappa从内侧半月板1区的较差(k = 0.22)到外侧半月板3区的极好(k = 0.88)不等[48]。一些导致低一致性的影像相关因素包括图像分辨率有限、运动伪影,以及在日益增加的工作量下分配给放射科医师的图像解读时间有限[49]。
关节镜评估通常被视为评估放射学解读的临床参考标准[50]。然而,外科医生在关节镜检查时视野较窄,且无法同时从多个方向(矢状面、轴面、冠状面)观察感兴趣区域。这些因素限制了将手术观察视为可靠的临床金标准。
此外,影像学检查与关节镜检查之间可能存在数天至数周的滞后时间,这使得病变可能改善或恶化,从而进一步限制其与放射科同事之间的一致性。Kim等报告了方法间信度(放射学-关节镜检查)的kappa值范围为0.40至0.71,取决于病变的侧别和前交叉韧带(ACL)撕裂的存在与否[51]。这种意见差异对于形成临床共识和为人工智能(A.I.)训练定义金标准标签是有问题的。鉴于放射科医生的报告和关节镜评估可能存在一定分歧,我们也检验了群体方法(swarm methodology)相对于放射学参考标准(最资深的放射科医生)的应用。
过去多位研究者提倡使用共识投票来改善医学诊断[52],并证明了多数投票或平均投票的优越性能[53]。然而,迄今为止尚无研究比较过来自实时盲法协作的共识投票与事后多数投票。关于究竟是什么提高了众包答案的准确性——是社会互动的影响[54]还是纯粹的统计聚合——一直存在不同意见。社会互动还可能因人际偏见而进一步复杂化,这种偏见可能改善或恶化群体表现[55, 56]。因此,理解这些因素的确切影响是至关重要的,尤其是当它们被应用于做出临床决策时。
我们当前的研究通过首先在无偏见环境中,在同等专业水平的盲法参与者(放射科医生或住院医师队列)之间进行非社会性互动来探索这些问题。接下来,住院医师队列重复了一次参与者更少的群体会话,以测量群体规模对回答的影响。我们的结果表明,群体规模和互动都会影响表现,尽管在匿名化条件下为获得最佳答案进行协商是抵御同伴压力的关键。
我们研究的一个关键方面是在同一组36例膝关节检查上评估人工智能(AI)模型的表现。该模型已在本机构多位放射科医生和住院医师随时间创建的标签上进行了训练和测试。AI的IRRc为k = 0.10,与3名住院医师最自信投票的IRRc相当。AI的IRRr为k = 0.15,与3名住院医师最自信投票的IRRr相当。换言之,AI的表现已经与其训练者一样好。然而,在两种情况下,kappa值均显著低于住院医师或主治医师群体会话的kappa值。超越当前结果以改善模型性能的一个有用策略是使用群体投票作为训练数据集中的标签。利用群体智能进行AI训练将提供更高质量的标签,这些标签更准确,可缓解噪声标签的问题,并减少对大多数深度学习模型目前所需的大型训练数据集的需求。
在我们的研究中,基于特定成像方式(磁共振(MR))以及评估半月板损伤的特定任务,群体投票使评分者间信度(IRR)最高提升了32%。在不同成像方式的其他诊断成像场景中,通过实时共识投票来研究诊断率的提升也很重要。群体平台将成为专家放射科医生协作评估复杂或模糊病例的有用工具。一个潜在的首个应用场景是已经要求多次阅片的成像工作流程,例如欧洲实践中对乳腺钼靶进行的双重阅片[57]。
我们的研究有一些局限性。虽然我们旨在通过使用PACS模拟常规放射科工作流程,但鉴于运行群体会议的时间限制,它并未 capture 完整的体验。通常,放射科医生在MR检查中可以访问多个序列和视图,并有既往检查和其他相关临床记录可供比较。我们推测,如果具备完整的MRI检查资料,我们研究中的评分者间信度会更高,并与其他已报道的研究一致。
鉴于疫情期间的排程挑战,我们仅按要求为本初步研究执行了必要的群体会议。虽然我们观察到群体一致性在两种参考标准下均有改善,但本研究中的总体数据集不够大,不足以在个体投票或多数投票之上产生统计学显著的差异。
尽管我们能够观察到随着群体规模增加(五名住院医师群体对比三名住院医师群体)评分者间信度和特异度有所改善,但仍需要更多参与者的进一步研究来估计最佳群体规模。鉴于专家放射科医生的可用性有限,了解更大群体所带来的诊断收益是否在某个参与者数量达到峰值将很重要。
结论
总之,利用数字群体平台改善了放射科医生之间的一致性,并使参与者能够表达无评判的意图。这种新方法优于传统共识方法(如多数投票)。我们工作的未来方向包括执行系列群体会议,为AI训练生成更准确的标签。我们还旨在探索群体平台用于评估受训者表现。我们中心的住院医师可以与同行自我评估其诊断意见,培训项目可以以客观方式评估不同队列随时间的群体表现。
补充信息
以下是电子补充材料的链接。补充文件1(MP4 1677 KB)
引用
- Shah, Astuto Arouche Nunes, Gleason, et al. Utilizing a Digital Swarm Intelligence Platform to Improve Consensus Among Radiologists and Exploring Its Applications. J Digit Imaging. 2022. PMID: 36414832. doi:10.1007/s10278-022-00662-3
- 全文:PMC10039189(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10039189/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。