八位观察者使用IOTA简单规则与O-RADS词典描述附件肿块的观察者间一致性
研究纳入114例女性118个附件肿块的盆腔超声,由4名主治和4名研究员盲法使用IOTA简单规则和O-RADS词典评估。IOTA总体观察者间一致性优秀(ICC 0.765),O-RADS总体良好(ICC 0.621);O-RADS特征一致性从一般到中等不等,且更高读者经验未提高O-RADS一致性。
要点
- IOTA简单规则各特征观察者间一致性均匀且总体优秀,O-RADS各特征一致性范围较宽。
- O-RADS中腹水和腹膜结节一致性接近完美(k值0.89和0.97),其余8个特征k值0.39-0.61。
- O-RADS总体ICC在研究员为0.725、主治为0.517,更高经验未提高一致性。
核心结论
- IOTA简单规则观察者间一致性总体优秀,O-RADS总体良好但各特征一致性不一。
- 更高读者经验并未提高O-RADS的观察者间一致性。
- 观察者间一致性更高不一定与诊断准确性相关。
研究设计与样本
- 回顾性阅片者诊断性能研究,纳入2008年1月至2014年12月在斯坦福大学医学中心行常规非产科盆腔超声的114例女性118个附件肿块。
- 由8名放射科医生(4名主治和4名研究员)盲法使用IOTA简单规则和O-RADS词典评估,参考标准为最终病理或影像/临床随访。
- 有序变量用ICC(双向随机效应模型、绝对一致性、单评分者),名义变量用自由边际kappa,双侧显著性水平α设为0.05。
关键影像表现/征象
- IOTA恶性特征M2-4一致性接近完美(k值0.80-0.82),M1和M5一致性中等(k值0.68-0.69)。
- IOTA良性特征B2和B3一致性接近完美(k值0.81-0.90),B4和B5中等(k值0.69-0.70),B1一般(k值0.60)。
- O-RADS腹水和腹膜结节一致性接近完美(k值0.89和0.97),其余8个特征一致性从一般到中等(k值0.39-0.61)。
诊断标准与关键数值
- IOTA最终结论ICC:全部8名读者0.765、研究员单独0.757、主治单独0.769。
- O-RADS最终结论ICC:全部8名读者0.621、研究员单独0.725、主治单独0.517。
- O-RADS各分类占比:O-RADS 0为1.1%、O-RADS 1为0.1%、O-RADS 2为27.5%、O-RADS 3为16.2%、O-RADS 4为29.6%、O-RADS 5为25.5%。
- IOTA各分类占比:良性55.6%、不确定17.7%、恶性26.7%。
临床应用与阅片要点
- O-RADS中区分内壁光滑与不规则及实性成分数目时一致性较低,部分内壁结节可被解读为不规则内壁或实性成分。
- 尺寸小于3 mm视为不规则内壁,3 mm及以上视为实性成分,测量差异可能影响O-RADS评分。
- 彩色多普勒血流评分主观性可影响一致性,例如实性肿块彩色评分2-3分为O-RADS 4,彩色评分4分升级为O-RADS 5。
局限性
- 本研究为单机构研究。
- 未评估各风险分层系统的诊断准确性。
- 图像为回顾性阅片,可能无法复现真实临床评估。
- 未评估两种系统与最终病理比较的诊断性能或准确性,也未要求阅片者达成共识或确定每个卵巢病变的「正确」分类。
- 未来可能需要更大规模多中心、多阅片者研究评估机构或区域间解读差异和观察者间一致性。
全文中译9 节 · 点击展开
引言
众多超声(US)指南试图指导附件肿块的准确特征描述及后续管理。这些指南包括国际卵巢肿瘤分析(IOTA)简单规则、美国放射学会卵巢-附件报告和数据系统(O-RADS)、超声放射医师学会(SRU)共识指南、妇科影像报告和数据系统(GI-RADS)以及肯塔基大学形态学指数。这些系统依赖于主观评估、基于模式的识别、形态学评分、简单评分系统和/或统计推导的算法[1–9]。我们旨在使用两种最广泛使用的系统——现有的IOTA简单规则和较新的O-RADS词典——评估附件肿块分类的观察者间一致性。
2008年,IOTA小组发表了循证术语,促成了“简单规则”的制定[1, 2]。这些规则包括一组提示良性的五项超声特征(B规则)和一组提示恶性的五项超声特征(M规则)。基于这些规则,附件肿块被分类为良性、恶性或不确定[1, 2]。该系统具有高诊断性能和良好的风险预测能力,但鉴于所有IOTA不确定病变都需要进一步的影像学检查——在一项研究中约占患者病例的20%[9]——其在临床实践中的应用仍然有限。
2019年,美国放射学会引入O-RADS,以提供国际标准化的风险分层词典,并将各种诊断和管理方法统一为单一模型[8, 9]。该词典提供了生理性囊肿(即卵泡、黄体)以及非生理性良性和恶性附件肿块的描述词和定义。基于病变描述词,该系统进一步分为六个风险类别。这些包括O-RADS 0,评估不完整;O-RADS 1,健康的正常绝经前卵巢或≤ 3 cm的生理性单纯囊肿;O-RADS 2,几乎肯定良性,恶性风险< 1%;O-RADS 3,恶性低风险(1–10%)病变;O-RADS 4,恶性中等风险(10- < 50%)病变;以及O-RADS 5,恶性高风险(≥ 50%)病变[8, 9]。作为O-RADS的一部分,还为每个类别提供了管理或随访建议。
方法
研究设计
在一项基于阅片者的回顾性诊断性能研究中,研究对象为因常规非产科盆腔超声就诊于放射科的女性。该研究符合《健康保险流通与责任法案》(HIPAA),并获得机构审查委员会(IRB)批准。由于研究的回顾性性质,免除知情同意。对2008年1月至2014年12月期间在斯坦福大学医学中心接受常规非产科盆腔超声的所有女性进行了病历审查和超声图像审查,共获得7359次检查。
纳入和排除标准
由一位在盆腔超声和卵巢癌方面具有专业知识和专长(NA)的研究型放射科医师在影像归档和通信系统(PACS)工作站上回顾了盆腔超声检查。所有伴有附件肿块(囊性、实性或囊实性混合)的检查均纳入研究。双侧附件肿块的患者分别记录为两个病灶。正常或不完整的检查——即未进行经阴道扫描或彩色多普勒——被排除。此外,以下检查被排除:卵巢外病变、生理性卵泡或黄体,以及绝经后女性中< 1 cm的囊性病变。
研究型放射科医师(NA)查阅了电子病历,并记录了患者年龄、绝经状态以及可获得的最终病理诊断。对于未切除的病灶,具有充分随访(≥ 2年随访,并有影像学记录显示病灶良性)的附件肿块纳入最终分析。接受任何模态的2年影像学随访:超声、计算机断层扫描(CT)或磁共振成像(MRI)以记录稳定性或消退。在某些情况下,也记录了特征性描述典型病变的随访CT或MRI(例如,CT或MRI上见肉眼脂肪以确认疑似皮样囊肿)。在我们的系统中无法获得影像学对比的情况下,使用临床医生注明稳定2年的记录代替2年影像学随访。所有数据均被收集和记录,最终纳入114例患者共118个附件肿块(图1)。
图像回顾与数据收集
随后,由八位不同临床经验水平的放射科医师在PACS上评估所有纳入受试者的盆腔超声图像:4名专科培训医师和4名主治医师(分别具有4年、4年、7年和> 15年经验)。所有阅片者对最终诊断设盲,并接受了关于分类系统的相同培训材料。每个附件肿块根据IOTA简单规则(表1)和O-RADS词典(表2)的特征类别进行评估。然后将病变分类为IOTA良性(≥ 1个B特征存在且无M特征)、恶性(≥ 1个M特征存在且无B特征)或不确定(M和B特征同时存在或均不存在),病例示例见图2 [2]。类似地,使用O-RADS超声风险分层和管理系统分配O-RADS类别(O-RADS 2-5),病例示例见图3 [9]。
统计分析
对O-RADS和IOTA下的每个特征类别进行观察者间一致性分析。O-RADS、IOTA及其子成分可视为有序或名义变量。对于有序变量,使用R Studio版本1.3.1073中ICC命令(IRR包)计算组内相关系数(ICC)。按照既往指南建议[10],我们采用双向随机效应模型、绝对一致性、单一评分者类型。ICC的解释如下:< 0.40,差;0.40–0.59,一般;0.60–0.74,良好;0.75–1.00,优秀[11]。对于名义变量,使用在线计算器(http://justusrandolph.net/kappa)计算自由边际kappa [12]。自由边际多评分者kappa是Fleiss多评分者kappa的替代方法。Fleiss kappa中机会一致性的计算基于固定边际概率。因此,当评分者事先知道每个类别病例的固定比例时,Fleiss kappa适用。然而,在本研究中,评分者对每个类别的病例数设盲[12]。自由边际kappa是适合我们研究设置的统计量。自由边际kappa值的解释如下:< 0,差;0.01–0.20,轻微;0.21–0.40,一般;0.41–0.60,中等;0.61–0.80,显著;0.81–1.00,几乎完全一致[13]。计算全部8名放射科医师(4名主治医师和4名专科培训医师)之间一致性的ICC和kappa及其95%置信区间(CI)。还分别计算了仅主治医师之间以及仅专科培训医师之间的一致性。双侧显著性水平( )设定为0.05。
结果
研究对象和人口学特征
本研究共纳入114名女性、118个附件肿块,纳入和排除标准总结于图1。患者年龄中位数为41岁,范围为18至88岁。包括良性和恶性病例在内的队列年龄和月经状态详见Table 3。病变大小中位数(IQR)为7.0(6.3)cm。我们研究中的全部118个附件肿块作为另一项独立且不相关的多机构研究的小子集纳入,该研究评估O-RADS的诊断准确性[25]。
影像学或病理学随访
在118个附件肿块中,77%(91/118)为良性,23%(27/118)为恶性。在良性病例中,55%(50/91)的病变经切除且病理结果为良性,而45%(41/91)未切除,并在影像学或临床随访中保持稳定或体积缩小。未切除的附件肿块在2年内通过影像学(超声、CT或MRI)显示稳定或体积缩小,或者如果我们的系统中没有影像学资料,则根据临床记录判定为稳定2年。总体而言,65%(77/118)的附件肿块最终被切除(表3)。
观察者间一致性
在本研究中,所有阅片者中O-RADS 0、1、2、3、4和5类别的百分比分别为1.1%、0.1%、27.5%、16.2%、29.6%和25.5%。所有阅片者中IOTA良性、不确定和恶性类别的百分比分别为55.6%、17.7%和26.7%。
IOTA:在IOTA简单规则中,五个恶性病变特征类别中有三个(M2-4)观察者间一致性几乎完美,其余两个恶性特征类别(M1和M5)一致性显著,k值分别为0.80–0.82和0.68–0.69。五个良性特征类别中有两个(B2和B3)观察者间一致性几乎完美,两个(B4和B5)一致性显著,其余一个良性特征(B1)一致性中等,k值分别为0.81–0.90、0.69–0.70和0.60。最终IOTA结论在所有八名阅片者合并、仅研究员、仅主治医师中均表现优异,ICC值分别为0.765、0.757和0.769(表4)。
O-RADS:十个特征类别中有两个(腹水存在和腹膜结节)观察者间一致性几乎完美,k值分别为0.89和0.97。其余八个特征类别(病变类型、内壁类型、分隔类型、分隔数量、实性成分数量、实性成分轮廓和彩色评分)的解释一致性从一般到显著不等,ICC和k值范围为0.39–0.61。最终O-RADS结论在所有八名阅片者合并中表现良好,仅研究员中表现良好,仅主治医师中表现一般,ICC值分别为0.621、0.725和0.517(表5)。
讨论
附件肿块的Proper特征描述和风险分层很重要,因为卵巢癌是所有妇科恶性肿瘤中最致命的,也是女性癌症相关死亡的第五大原因,总体5年生存率仅为46% [14, 15]。超声是用于评估附件和帮助区分良恶性卵巢病变的一线初始影像学方法。多年来已提出并验证了多种基于超声的指南和评分系统 [1–9, 16, 17]。其中,IOTA简单规则和O-RADS获得了显著关注。我们发现观察者间一致性总体在IOTA简单规则中表现优异,在O-RADS中表现良好。
我们假设,两种系统之间观察者间一致性的差异与风险分层方法有关:虽然模式识别在IOTA简单规则的初步评估中很重要,但最终将其划分为良性、不确定或恶性是基于算法评分系统。另一方面,O-RADS是一种完全基于模式的评分系统,存在一定程度主观性和测量误差的可能性,这可能影响这种细微的模式识别。我们特别发现,O-RADS中有两个特征的观察者间一致性较低(评分为“一般”),主要原因是区分光滑与不规则内壁以及实性成分数量的差异。内壁上的局灶性结节可能被某些人解释为不规则内壁,而其他人可能将此发现解释为实性成分。测量差异可能进一步导致O-RADS评分的差异,因为尺寸小于3 mm被视为不规则内壁,而3 mm或以上被视为实性成分。彩色多普勒血流评分为主观性可进一步影响一致性。例如,一个外观为实性的肿块,彩色评分为2-3(轻度至中度血流)将为O-RADS 4,而彩色评分为4会将肿块升级为O-RADS 5。最后,在O-RADS词典下对什么构成“实性成分”的解释存在一些变异性,可能导致分类差异(即脂肪、Rokitansky结节、腹膜包涵囊肿内的正常卵巢、输卵管卵巢脓肿中的输卵管或炎性组织等)。
在Basha等人的一项研究中,将O-RADS的诊断性能与IOTA和GI-RADS(妇科影像报告和数据系统)进行了比较。他们发现,与其他两个系统相比,O-RADS具有更高的敏感性和相似的特异性和可靠性[18, 19]。他们还发现,所有三种风险分层系统的观察者间一致性相似。尽管他们的研究纳入了更大的附件肿块样本,但他们仅使用了5名放射科医生,所有医生在盆腔影像方面均有超过15年的经验,且未对初始超声报告设盲。Pi等人[20]的一项较小研究纳入了3名阅片者和50个附件肿块,发现O-RADS系统具有极好的诊断准确性和观察者间一致性,但未将O-RADS与其他现有分类系统进行比较。
目前已有少数基于不同超声评分系统的性能比较研究,但尚无研究专门关注观察者间一致性。Hiett等[22]比较了IOTA简单规则、ADNEX模型和O-RADS,指出在鉴别盆腔良恶性肿块方面敏感性相似,而IOTA模型的特异性更优。Patel-Lippman等[21]开展了一项IOTA简单规则与SRU之间的比较研究,证明IOTA简单规则略优于SRU指南(AUC,0.9805对0.9713;p = 0.0003),且两者对恶性肿瘤的检测均具有高度敏感性。Xie等[23]的另一项研究指出,在IOTA或O-RADS下检测恶性肿瘤的曲线下面积、敏感性和特异性,可通过纳入患者的CA-125水平而得到类似改善,正如ADNEX模型中所做的那样。尽管未向我们的读者提供肿瘤标志物信息,且在初次超声判读时通常无法前瞻性获得该信息,但其对于妇科医生和妇科肿瘤医生决定性质不确定的附件肿块的诊疗方案无疑具有作用[24]。
我们纳入了处于不同工作年限的腹部影像学专科培训医师和主治放射科医师,以确定经验是否可能影响观察者间一致性的程度。所有参与者事先均获得了相同的培训材料和资源以供复习。有趣的是,专科培训医师和主治医师之间对IOTA简单规则的观察者间一致性均为优秀。然而,在O-RADS方面,专科培训医师之间的观察者间一致性优于主治医师。在分析具体的O-RADS和IOTA特征类别时,主治医师在两个O-RADS特征(病变类型和实性成分数量)上的一致性高于专科培训医师。另一方面,专科培训医师在O-RADS内其余八个特征上的一致性更高。因此,工作年限似乎并未改善O-RADS的观察者间一致性。重要的是要认识到,更高的观察者间一致性并不一定与诊断准确性相关。因此,尽管专科培训医师可能比主治医师具有更高的一致性,我们对关于两组诊断准确性的任何推断均持谨慎态度。
我们承认本研究存在若干局限性。首先,这是一项单机构研究。未来可能需要开展更大规模、多阅片者的多中心研究,以评估判读的机构或区域差异以及观察者间一致性。其次,我们未评估各风险分层系统的诊断准确性。因此,尽管IOTA可能具有更好的观察者间一致性,但我们并不知道其中之一的诊断性能是否优于另一个。事实上,诊断性能对于确定各系统的优劣至关重要。第三,图像为回顾性判读,因此可能无法复现附件肿块的实时评估,因为我们仅限于检查时获取的图像。随着技术和超声细节的进步,诊断判读和准确性也可能相应改变。最后,我们未评估这两种系统与最终病理相比的诊断性能或准确性。由于每次检查有大量放射科医师进行判读,我们未要求放射科医师达成共识,也未确定每个卵巢病变的“正确”分类。一项纳入更大队列的独立多机构研究已分析了O-RADS的分类特异性诊断性能[25]。
总之,我们发现,在八名设盲阅片者审阅118个附件肿块时,IOTA具有极好的观察者间一致性,O-RADS具有良好的观察者间一致性。阅片者经验更丰富并未改善O-RADS的观察者间一致性。
引用
- Antil N, Raghu PR, Shen L, et al. Interobserver agreement between eight observers using IOTA simple rules and O-RADS lexicon descriptors for adnexal masses. Abdom Radiol (NY). 2022. PMID: 35763052. doi:10.1007/s00261-022-03580-8
- 全文:PMC9388428(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9388428/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。