CLEAR:影像组学研究报告清单(ESR与EuSoMII背书)
CLEAR是由国际专家组用改良德尔菲法制定的影像组学研究报告清单,共58项,其中56项为「必需」、2项为「推荐」,并附43项简版CLEAR-S。清单旨在规范影像组学研究的规划、写作与审稿,提升可重复性与可靠性。
要点
- 阅片或审稿时可用CLEAR清单核对影像组学研究的方法学完整性。
- CLEAR共58项,56项为必需项,第53与第58项为推荐项。
- 简版CLEAR-S含43项方法学质量条目,可用于系统综述。
核心结论
- CLEAR提供影像组学研究的最低报告要求,作为作者与审稿人的标准化工具,以改善研究质量、可靠性与可重复性。
研究设计与样本
- 由主要作者设计、国际共同作者修订,并采用改良德尔菲法最终确定条目,获ESR与EuSoMII背书。
- 清单共58项,其中56项为「必需」项,第53与第58项为「推荐」项。
- 另提出含43项方法学质量条目的简版CLEAR-S,可用于未来系统综述。
诊断标准与关键数值
- CLEAR清单要求逐项对照正文记录,建议使用在线版填写并导出PDF作为补充材料提交。
- 在线版与简版CLEAR-S可通过同一链接获取,更新版本经社区反馈、小组讨论、专家投票后发布。
临床应用与阅片要点
- 投稿影像组学研究时按CLEAR逐项自查,并在补充材料中提交填好的清单。
- 审稿时用CLEAR核对分割、特征提取、降维、建模与验证等关键方法学细节。
- 系统综述可选用CLEAR-S的43项方法学质量条目进行评价。
局限性
- 原文指出影像组学研究普遍报告不足、可重复性差,清单为最低要求而非全面标准。
- 清单需通过社区反馈与投票持续更新,当前版本可能随方法学进展而调整。
全文中译28 节 · 点击展开
引言
放射组学是对医学图像进行处理,利用所得定量数据进行临床决策[1]。医学期刊上已发表了大量关于放射组学的文章,近年来呈指数级增长[2, 3]。尽管放射组学在支持临床决策方面具有巨大潜力,但目前其应用大多局限于学术研究,对日常临床实践几乎没有影响[4, 5]。这种转化差距有多种原因,例如与稳健性、可重复性、标准化、数据集设计、指标选择以及代码可获得性相关的挑战[6–8]。然而,理解这些障碍的一个主要瓶颈在于,由于报告质量差,放射组学研究中所做具体工作的信息在很大程度上无法获取[9]。
已发表的放射组学研究中只有少数应用可以被重复[10, 11]。放射组学流程的工作流因涉及多个步骤和细节而变得复杂,这可能导致报告不充分,从而无法重复研究发现[5, 12–14]。研究方法和发现报告不清、不完整,限制了对其的批判性评价以及有效传播[15]。放射组学研究论文的作者必须通过补充数据、代码和模型充分详细地描述方法学,以使读者能够重复结果[16]。
报告清单和指南有可能提高报告质量,进而提高研究的整体质量[17, 18]。目前,尚无单一清单专门聚焦于放射组学,涵盖研究和评价过程的所有方面,且同时适用于作者和审稿人。放射组学领域迫切需要严格的报告指南以走向成熟[19–21]。这种新清单的潜在益处将在使用者(如作者、研究者和审稿人)和期刊之间均等分配[22]。使用者将能够向读者提供更可靠的科学信息。出版方将通过提高放射组学出版物的严谨性,从期刊可信度的提升中获益。
本工作的目的是制定一个统一的放射组学研究文档标准,以指导作者和审稿人。我们的动机是提高已发表放射组学研究的质量、可靠性,进而提高其可重复性。为此,我们提出CLEAR清单,即放射组学研究评价清单(CheckList for EvaluAtion of Radiomics research)(表1),应在每次投稿时一并提交。
关于CLEAR清单
制定过程
该清单由第一作者在考虑文献中既往工作的基础上设计,随后由所有其他在放射组学、深度学习和统计学方面具有专长的国际共同作者修订。最终条目选择还采用了改良德尔菲法(所有方法学细节和结果见附加文件1:S1)。
我们将该清单命名为CLEAR(CheckList for EvaluAtion of Radiomics research,放射组学研究评价清单),以传达更加透明的理念。它包含58个条目,提供了呈现临床放射组学研究的最低要求。其中,56个条目为“必要”条目。另一方面,其余2个条目(第53条和第58条)应视为“推荐”条目。
还提供了一个包含43个条目的简化版本,称为CLEAR-S(CLEAR清单的简化版),仅包括可用于未来系统评价的方法学质量条目。
如何使用
我们建议将清单(表1)与正文对照使用,以确保每个清单条目均有记录。附加文件2:S2(无解释)、附加文件3:S3(有解释)、附加文件4:S4(无解释的CLEAR-S)和附加文件5:S5(有解释的CLEAR-S)可供用户下载清单。
我们强烈建议使用清单的在线版本。它易于填写并导出为PDF作为补充材料提交。在线版本具有用户友好的设计,可防止用户翻回论文正文查找条目解释。当前版本的CLEAR清单可通过以下链接访问(见https://clearchecklist.github.io/clear_checklist/CLEAR.html)。包含43个条目的简化版本(CLEAR-S)也可通过同一链接访问。一旦清单在未来更新,同一链接将始终提供更新版本,旧版本可通过CLEAR清单的存储库访问(见https://github.com/clearchecklist/clear_checklist)。
如何贡献
我们希望CLEAR清单能激发对所提议条目的讨论。我们鼓励影像组学社区向我们提供关于如何在未来版本中改进该清单的意见。为使CLEAR清单成为在线动态文档,已建立公共存储库供社区对清单进行评论和贡献(见https://github.com/clearchecklist/clear_checklist)。
我们更新指南的政策如下:i,评估社区反馈;ii,小组讨论更新;iii,专家组成员投票;iv,最终更新指南。
所用术语
本清单使用以下术语以保持一致。“训练集”和“验证集”分别用于指代训练和调优算法的数据分区。“测试集”用于指代内部验证模型的数据(即来自与训练集或验证集相同机构的数据)或外部验证的数据(即来自不同机构的独立数据)。“实例”用于表示单个数据元素(例如,病灶、肿瘤或患者)。
CLEAR清单条目
标题
条目#1. 相关标题,明确影像组学方法学。在标题中注明使用了影像组学。以下细节也可考虑在标题中明确:影像组学技术(例如,手工设计、工程化、深度、delta等)、模态(例如,计算机断层扫描[CT]、磁共振成像[MRI]、超声)、扫描的重要方面(例如,平扫、动态增强)、机器学习的使用(例如,基于机器学习)、外部验证和多中心设计。
摘要
条目#2. 包含相关信息的结构化摘要。提供目的、方法、结果和结论的结构化摘要,仅呈现与研究目的直接相关的最重要方面。摘要应能够独立理解,无需阅读正文。考虑期刊的投稿指南,建议明确以下项目:基线特征(例如,患者数量、扫描次数、图像数量、类别)、数据来源(例如,公开数据、机构数据)、研究性质(例如,前瞻性、回顾性)、分割技术(例如,自动、半自动或手动)、特征提取技术(例如,手工 crafted、工程化、深度学习)、降维技术(例如,特征选择、可重复性分析、多重共线性)、建模细节(例如,算法/模型)、验证技术(例如,交叉验证)、未见数据测试(内部留出、外部测试)、模型性能指标(例如,曲线下面积)及不确定性度量(例如,置信区间)、最终特征集的数量、带 p 值的传统统计方法,以及开放科学状态(例如,数据、代码和/或模型的公开可用性)。
关键词
条目#3. 影像组学的相关关键词。列出表明(例如,影像组学、纹理分析)并表征影像组学研究(例如,机器学习、深度学习、计算机断层扫描、磁共振成像、可重复性)的主要关键词,除非期刊要求独家使用某些术语(例如,MeSH 术语,其尚未包含影像组学特异性术语)。
引言部分
条目#4. 科学或临床背景。定义科学或临床问题,总结相关文献和知识空白,包括对当前知识状态的简要回顾。描述为何该科学问题在技术上或临床上具有重要意义。
条目#5. 使用影像组学方法的理由。描述为何考虑影像组学方法。需要描述当前所用方法的性能和问题方面。提及影像组学方法将为解决这些问题提供什么。结合研究问题,明确说明影像组学如何影响临床实践。
条目#6. 研究目标。描述研究目的,同时聚焦于科学问题。提及对当前文献的预期贡献。
方法部分
研究设计
条目#7. 遵循指南或清单(例如,CLEAR 清单)。表明使用 CLEAR 清单进行报告,并将清单作为补充数据提交。如果在 CLEAR 清单之外还使用了其他清单或指南,也请同样处理。
条目#8. 伦理细节(例如,批准、知情同意、数据保护)。描述伦理问题以确保研究适当进行。如果数据来自私人来源,提供关于伦理批准、知情同意和数据保护(例如,去标识化)的信息。
条目#9. 样本量计算。描述研究前或研究后如何确定样本量或功效(例如,样本量/功效计算,基于可用性)。
条目#10. 研究性质(例如,回顾性、前瞻性)。指明研究是前瞻性还是回顾性,以及病例/对照或队列等。对于前瞻性研究,如有可能,提供注册详情。
条目#11。纳入标准。首先定义纳入标准。然后,指定排除标准。通过使用纳入标准的相反条件作为排除标准来避免冗余。说明选择过程(例如,随机、连续)。在结果中保留纳入标准的数字细节。
条目#12。技术流程流程图。提供用于总结研究中关键方法学步骤的流程图。由于放射组学方法的复杂性,此类流程图有助于读者更好地理解方法学。
数据
条目#13。数据来源(例如,私有、公共)。说明数据来源(例如,私有、公共、混合[私有和公共兼有])。明确说明不同数据分区中使用的是哪种数据来源。如果来源为公共数据,提供网页链接和参考文献。如果使用公共数据,提供图像或患者标识符作为补充。
条目#14。数据重叠。说明数据集的任何部分是否曾在既往发表中使用过。描述当前研究与既往研究在研究目的和方法学方面的差异。
条目#15。数据拆分方法。描述将数据拆分为训练集、验证集和测试集的情况。提及创建了多个拆分(例如,k折交叉验证或自助法)。说明分配是如何进行的(例如,随机、半随机、手动、按中心、按时间顺序)。标明每个分区的比例及类别构成比。描述数据在哪个层面进行拆分(例如,按患者、按图像、按检查、按扫描仪、按机构)。明确说明为避免数据集间信息泄漏所采取的措施(例如,在特征归一化、特征选择、超参数优化和模型训练之前创建留出测试集)[23]。注意任何测试数据仅应使用一次用于最终模型的评估,以防止乐观偏倚。声明数据分区之间的系统性差异。
条目#16。成像方案(即,图像采集和处理)。提供成像方案和采集参数及后处理细节。定义物理像素和体素尺寸。明确说明使用的是单台、多台还是各种扫描仪,以及每种方案的实例数量。如果使用了对比剂,定义期相的时间。说明是否进行了患者准备(给药、扫描前血糖控制等)。
条目#17。非放射组学预测变量的定义。描述作为非放射组学预测变量出现的数据元素。非放射组学变量可能是人口学特征(例如,年龄、性别、种族)、广泛使用的传统实验室生物标志物(例如,癌胚抗原),或日常临床实践中使用的传统方法(例如,放射科医师的定性判读、Hounsfield单位评估、实体瘤疗效评价标准[RECIST]、神经肿瘤疗效评估[RANO]标准)。了解这些预测变量是如何确定的(例如,基于文献综述)将会有所帮助。如适用,描述预测变量的任何变换(例如,连续预测变量的二值化、分类变量水平的分组)。
条目#18. 参考标准(即结局变量)的定义。描述影像组学方法将预测的参考标准或结局指标(例如,病理分级、组织病理学亚型、基因组标志物、局部-区域控制、生存期等)。提供选择该参考标准的理由(例如,更高的可重复率)。明确说明参考标准的可重复性问题、潜在偏倚和局限性。
分割
条目#19. 分割策略。说明用于分割或标注的软件程序或工具。注明软件版本和确切的配置参数。提供软件的参考文献和网页链接。描述分割方法(例如,自动、半自动、手动)。提供分割规则(例如,从可见轮廓的边缘收缩或扩张、包含/排除区域)。提供图片以展示分割方式。如果分割被传播用于多模态(例如,CT和MR)、多期(例如,平扫、动脉期、静脉期CT)或多序列(例如,T2加权、增强后T1加权、弥散加权成像)分析,请提供图像配准的详细信息(例如,软件、版本、链接、参数)。如果影像组学特征是从单层2D图像中提取的,请解释选择该层的标准。在存在多个病灶的情况下,说明是否对所有病灶进行了分割,并描述特征值是如何汇总的。如果仅选择一个病灶,请描述选择标准(例如,原发灶或体积最大的病灶)。
条目#20 执行分割的操作者详细信息。说明有多少名读者执行了分割,以及他们的经验。在有多名读者的情况下,描述如何达成最终的分割形式(例如,读者共识、分割交集、用于进一步可重复性分析的独立分割、由多名专家评审者逐步改进直至收敛),这对于训练数据尤为重要,因为测试数据的分割过程应尽可能接近临床实践,即由单一读者进行分割。
预处理
条目#21. 图像预处理细节。说明用于预处理的软件程序或工具。注明软件版本和确切的配置参数。如有可能,提供软件的参考文献和网页链接。描述所有应用于图像的预处理技术及相关参数,包括归一化(例如,最小-最大归一化、标准化、对数变换、偏场校正)、去噪、颅骨剥离(也称脑提取)、插值以生成统一图像(例如,在层厚方面)、标准化摄取值转换和配准。同时说明是否使用了基于图像或基于特征的协调化技术。
条目#22. 重采样方法及其参数。说明应用于像素或体素的重采样技术(例如,线性、三次B样条)。提供重采样后的物理像素和体素尺寸。
条目#23。离散化方法及其参数。说明用于手工放射组学特征提取的离散化方法(例如,固定箱宽、固定箱数方法或直方图均衡化)。报告使用特定离散化技术的理由。指出固定箱数方法的灰度级数或固定箱宽方法的箱宽以及第一级的值(或最小和最大边界)。任何采用不同离散化方法和值的实验细节都重要,需要声明。
条目#24。图像类型(例如,原始、滤波、变换)。提供提取放射组学特征所依据的图像类型,例如原始图像或经卷积滤波器处理的图像(例如,高斯拉普拉斯边缘增强、小波分解)[24]。同时,给出关于变换图像类型参数的细节(例如,高斯拉普拉斯滤波的sigma值)。
特征提取
条目#25。特征提取方法。指出用于放射组学特征提取的软件程序或工具。说明软件版本和确切的配置参数(另见条目#55)。提供软件的参考文献和网页链接。指出该软件是否遵循IBSI的基准/认证[25]。说明一般特征类型,如深度特征、手工特征、工程特征或其组合。引用手工特征和工程特征的数学公式。如果引入了新的手工特征,提供公式和代码。展示深度特征提取的架构细节。提供所进行的任何特征工程的细节。说明放射组学特征是在二维(2D)平面、2D三平面还是三维(3D)空间中提取的。如果从3D分割中提取2D特征,提供采用此类方法的原因(例如,大的层厚)。
条目#26。特征类别。提供放射组学特征类别(例如,形状、一阶、灰度共生矩阵)。使用IBSI术语表示特征类别[25]。说明每个特征类别的特征数量。提及是否有任何特征类别被排除并说明原因。
条目#27。特征数量。指出每个实例的特征总数。如适用,提供每种成像模态及其组成部分的特征数量(例如,CT的期相、MRI的序列等)。
条目#28。剩余参数的默认配置声明。在提供预处理和放射组学特征提取的所有修改参数后,明确声明所有其他参数保持默认配置。
数据准备
条目#29。缺失数据的处理。说明研究中是否存在缺失数据以及缺失程度。如果存在,提供如何处理缺失数据的细节(例如,删除、替换或插补)。
条目#30。类别不平衡的细节。根据参考标准指出类别的平衡状态。提供关于如何处理类别不平衡的细节。说明用于实现类别平衡的技术(例如,合成少数类过采样、通过复制的简单过采样、欠采样)。明确声明这些数据增强和欠采样策略仅应用于训练集。
条目#31。分割可靠性分析的详细信息。描述为评估分割差异的影响而进行的可靠性分析。在手动和半自动方法中,必须考虑评估者内和评估者间的可重复性分析。提供用于可靠性分析的统计检验的详细信息(例如,组内相关系数及其类型)[26]。提及评估的独立性。明确说明可靠性分析仅使用训练集进行。
条目#32。特征缩放详情(例如,归一化、标准化)。如适用,描述应用于影像组学特征数据的归一化技术(例如,最小-最大归一化、标准化、对数变换、ComBat归一化[批次选择、参数或非参数、有无经验贝叶斯])。指定归一化尺度。需要强调的是,此过程应用于训练集中的数值影像组学特征数据而非图像,并独立应用于验证集和测试集。
条目#33。降维详情。如适用,指定所使用的降维方法(例如,共线性分析、可重复性分析、基于算法的特征选择)。提供所使用的统计方法的详细信息。例如,提供每个步骤的相关统计截断值(例如,排除组内相关系数≤0.9的特征)。明确说明使用训练集进行的降维。指定如何达到最终特征数量,例如,每个实例最多十个特征的“经验法则”。
建模
值得注意的是,影像组学不一定与机器学习或传统建模相结合。传统的推断统计也是一种选择,特别是当特征数量较少时。
条目#34。算法详情。提供用于建模的软件程序或软件包的名称和版本。如有可能,引用该软件的相关出版物。指定用于创建模型的算法及其架构细节,包括输入、输出和所有中间组件。架构的描述应完整,以便其他研究者能够精确复现(另见条目#55和条目#56)。当使用先前描述的架构时,引用先前的工作并说明任何修改。如果最终模型涉及算法集成,指定集成类型(例如,堆叠、多数投票、平均等)。
条目#35。训练和调优详情。以足够的细节描述训练过程。指定增强技术、训练停止标准、超参数调优策略(例如,随机搜索、网格搜索、贝叶斯优化)、调优中使用的超参数值范围、优化技术、正则化参数以及模型参数的初始化(例如,随机初始化、迁移学习)。如果应用迁移学习,明确说明哪些层或参数被冻结或受到影响。
条目#36。混杂因素的处理。描述检测潜在混杂因素的方法(例如,有向无环图)(例如,队列间肿瘤大小的差异、不同的图像采集参数如层厚、基层医院与二级医院之间患者人群的差异)[27, 28]。还请描述如何解决混杂问题(例如,协变量调整)。
条目#37。模型选择策略。描述最终模型是如何选择的。这两大类方法包括概率方法(例如,赤池信息准则、贝叶斯信息准则)和重采样方法(例如,随机训练-测试集划分、交叉验证、自助法验证)[12, 29]。明确说明仅使用训练集和验证集进行模型选择。说明模型选择时是否考虑了模型复杂度,例如“一倍标准误规则”[30]。明确说明使用哪些性能指标来选择最终模型。
评估
条目#38。测试技术(例如,内部测试、外部测试)。明确说明模型是经过内部测试还是外部测试。“外部测试”一词仅应用于涉及使用来自不同机构数据的过程。在外部测试的情况下,明确说明提供数据的站点数量,以及关于这些数据是用于多次测试还是单次测试的进一步细节。描述数据特征,并说明训练集、验证集、内部测试集和外部测试集之间是否存在任何差异(例如,不同的扫描仪、不同的分割阅片者、不同的种族)。再次注意,任何测试数据仅应用于评估一次,以防止性能指标估计出现偏倚。
条目#39。性能指标及选择理由。明确说明用于评估模型预测能力的性能指标。根据数据特征(例如,类别不平衡)论证所选指标的合理性。在选择合适的性能指标时,注意潜在的陷阱并遵循建议[7, 31]。
条目#40。不确定性评估与测量(例如,置信区间)。描述不确定性评估(例如,稳健性、敏感性分析、如适用则包括校准分析)以及不确定性量化的测量方法(例如,置信区间、标准差)。
条目#41。统计性能比较(例如,DeLong检验)。明确说明所使用的统计软件及版本。指明用于比较模型性能的方法,如DeLong检验[32, 33]、McNemar检验[34]或贝叶斯方法[35]。提供比较的统计阈值(例如,p < 0.05),并在适用于该方法或指标时提供置信区间。此外,说明在比较多个模型时是否考虑并校正了多重性(例如,p值校正、Bonferroni校正、错误发现率)。报告用于将数据分层以进行统计检验的阈值(例如,受试者工作特征(ROC)曲线上的操作点以定义混淆矩阵,以及生存分析中定义分层的截断值)。
条目#42。与非影像组学方法及联合方法的比较。说明是否进行了与非影像组学方法(例如,临床参数、实验室参数、传统放射学评估)的比较。非影像组学方法也可以与影像组学数据相结合(例如,临床-影像组学评估)。解释如何评估临床实用性,例如使用决策曲线分析[36]。
条目#43. 可解释性与可阐释性方法。描述用于提高所创建模型可解释性和可阐释性的技术(如适用)[37]。可提供与所提出影像组学模型的可解释性和可阐释性相关的图(例如类激活图、特征图、SHapley加法解释、累积局部效应、部分依赖图等)。
结果部分
条目#44. 基线人口学和临床特征。以文本和/或表格形式提供基线人口学、临床和影像学特征。分别报告训练集、验证集(即交叉验证)和测试集的信息,并根据参考标准或非影像组学变量进行分组。还应提供相关的统计检验,以确定各数据集是否相同。提供是否检测到任何混杂因素并进行了适当处理。
条目#45. 纳入标准流程图。提供流程图,总结纳入标准及纳入和排除的样本数量。如果涉及多个数据来源,请分别给出每个来源的详细信息。
条目#46. 特征统计(例如可重复性、特征选择)。提供所选特征纳入模型的统计信息(例如基于结局变量的特征分布)。提供可重复特征的名称和数量(例如,针对分割可重复性、针对图像扰动的可重复性)。创建所选特征的表格,包含特征名称、类别和图像类型的详细信息。同时,提供可重复性统计结果。所选特征的可重复性指标可以表格或补充文件形式呈现。可提供figures(例如箱线图、相关矩阵、特征重要性图)和特征描述性汇总表。
条目#47. 模型性能评估。分别提供训练集、验证集(例如交叉验证、自助法等多种拆分方式)和未见的测试数据的性能指标。应在正文中给出最重要发现的总结。同时提供“无信息率”。详细信息可在图(例如ROC曲线、精确率-召回率曲线)和表中提供。提供校准统计图以展示模型性能的稳健性是一种良好做法。提供额外的图来展示真阳性和假阳性预测的示例,以帮助读者更好地理解所提出策略的优势和局限性。
条目#48。与非影像组学方法及联合方法的比较。在正文中提供影像组学方法与非影像组学方法(例如视觉分析、仅临床参数)或联合方法比较的结果,最好以表格形式呈现。分别呈现训练、验证和测试数据的结果。提供不确定性度量(例如置信区间、标准差等)以及各自的统计比较结果和p值。还必须提供混淆矩阵。除预测性能外,还需说明哪个模型在临床实用性方面优于其他模型。临床实用性可通过决策曲线分析来呈现。对于决策曲线分析,根据最佳概率阈值量化净获益,并设置与不同临床视角相关的多个切点。此外,提供特定阈值可能合理的理由,并清楚说明“全部”和“无”策略的含义。
讨论部分
条目#49。重要发现概述。提供工作总结和最重要发现的概述。不需要统计信息。尝试将研究归入以下类别之一:概念验证评估、技术任务特定评估、临床评估和部署后评估[38]。总结对文献的贡献。
条目#50。既往研究与当前研究的差异。提供最重要和最相关的既往研究。提及当前研究与既往研究之间最显著的差异。
条目#51。实践意义。总结结果的实践意义。描述该工作对该领域的关键影响。突出该研究的潜在临床价值和作用。讨论可能阻碍该研究成功转化为真实世界临床实践的任何问题。此外,提供未来展望和其他人可能基于当前工作开展的可能的后续步骤。
条目#52。优势和局限性(例如偏倚和泛化性问题)。清楚说明当前工作的优势和局限性。任何可能导致潜在偏倚、不确定性、可重复性、稳健性和泛化性问题的因素都应予以声明。
开放科学
数据可用性
条目#53。共享图像及分割数据。(请注意,本条目为“非必要”但“推荐”。)在考虑相关机构的监管限制的前提下,提供相关的原始或处理后图像数据。分割数据也可以共享,除非分割是工作流程的一部分。在无法共享整个数据集的情况下,将端到端分析工作流程应用于代表性样本或具有相似特征的公共数据集,可以帮助读者重现分析的关键组成部分[39]。此外,如果数据不可用,请说明原因。
条目#54。共享影像组学特征数据。如有可能(即符合机构的监管限制),与公众共享选定的影像组学特征数据及临床变量或标签。如果影像组学特征数据不可用,请说明原因。
代码可用性
条目#55. 共享预处理脚本或设置。共享预处理和特征提取参数脚本或设置(例如,PyRadiomics中的YAML文件或完整的文本描述)。如果无法以脚本格式提供,则可以将软件程序中出现的参数配置以截图形式共享。
条目#56. 共享建模源代码。共享建模脚本[40]。代码脚本应包含足够的信息以复现所呈现的分析(例如,训练和测试流程),并附上所有依赖项和相关注释,以便于理解并在此基础上进行构建。即使所使用的实际输入数据集无法共享,在公开可获得类似数据集的情况下,应使用该数据集共享包含所有预处理和后处理步骤的示例工作流程。如果源代码不可获得,请说明原因。
模型可用性
条目#57. 共享最终模型文件。共享用于内部或外部测试的最终模型文件[40]。描述使用该模型时应如何准备输入数据。同时,包括用于预处理输入数据的源代码。如果最终模型数据不可获得,请说明原因。
条目#58. 共享即用型系统。(请注意本条目为“非必要”但“推荐”。)可以创建易于使用的工具(例如,独立可执行应用程序、笔记本、网站、虚拟机等),并随源代码或不随源代码一起共享,该工具基于所创建的模型[40]。其主要目的是使其他研究小组能够测试或验证该模型。通过这种方法,即使没有机器学习或编程经验的用户也可以测试所提出的模型。
讨论
对CLEAR清单的依从性
每个CLEAR清单条目可能并不适用于所有影像组学研究及其后续稿件,但所有条目均应予以考虑。清单中呈现的条目不应被视为方法学建议,而应被视为报告建议。
我们强烈认为,遵守关于稿件主要结构要素(如标题、摘要、关键词和引言)的条目将有助于提高可见性,或更具体地说,提高可发现性,并更好地吸引读者的注意力。因此,它有助于将论文归类为与读者兴趣相关或不相关。
影像组学工作流程需要许多选择,例如,提取影像组学特征和建模的参数。例如,条目#21(图像预处理细节)、条目#22(重采样方法及其参数)和条目#23(离散化方法及其参数)是复现一致且可重复的特征提取的关键条目,而这些条目经常被作者报告不足。如果没有系统和完整的报告,就不可能完全复现和外部验证一项研究。因此,遵守关于方法、结果和讨论部分的建议将有助于实现更好、更透明的报告,并提高读者对研究结果的理解。
我们期望遵守与开放科学相关的条目将使得方法学步骤清晰,并且是实现完全透明和可重复研究的巨大进步[40]。在这方面,条目#54(共享放射组学特征数据)、条目#55(共享预处理脚本或设置)、条目#56(共享建模源代码)和条目#57(共享最终模型文件)是作者应完成的基本开放科学条目。审稿人尤其应检查这些内容,如未提供则应要求提供。条目#53(共享图像及分割数据)和条目#58(共享即用型系统)并非基本要求,但仍然强烈推荐以实现研究的完全透明。
相关既往检查表、指南和质量评分工具
尽管并非专门为放射组学研究设计,一些针对人工智能和统计建模的稿件检查表已被广泛使用,如个体预后或诊断多变量预测模型的透明报告(TRIPOD)和医学影像人工智能检查表(CLAIM)[41, 42]。一些新的倡议如个体预后或诊断多变量预测模型-人工智能的透明报告(TRIPOD-AI)和诊断准确性研究报告标准-人工智能(STARD-AI)也正在推进中[43, 44]。这些检查表包含了放射组学研究的相关良好实践。然而,由于并非针对放射组学及其特定技术细节量身定制,它们在临床放射组学研究需求、稿件撰写和审稿过程中的评估方面仍存在空白。例如,CLAIM侧重于医学影像中的人工智能,对放射组学工作流程和数据共享强调不足。TRIPOD声明范围广泛,并未专门涉及对放射组学重要的细节,如特征提取。
影像组学质量评分(RQS)已通过系统文献综述被广泛用于评估影像组学研究成果的方法学质量[19]。然而,部分条目定义不易解读,需要评分者具备重要专业知识,导致读者间可重复性存在差异[45]。此外,部分RQS条目对大多数研究可能过于严格。例如,尽管在稳健性和临床转化方面具有方法学价值,但在临床实践中——即使在前瞻性环境下——也可能无法进行多次扫描和体模研究。多次扫描或体模研究通常独立进行,一般不属于以临床为目的的影像组学研究的一部分。它不应成为每项研究的要求。在专门为此目的设计的多扫描或体模研究中确立稳健的影像组学特征应当足够,并可指导未来的临床研究。此外,图像生物标志物标准化倡议(IBSI)指南已经发布,更侧重于记录单个特征的计算过程[10, 25]。而且,最近发表的欧洲核医学协会/核医学与分子影像学会(EANM/SNMMI)关于核医学影像组学的联合指南,为手工设计和基于深度学习的影像组学方法提供了最佳实践的详细信息[46]。这些指南无疑能很好地服务于影像组学出版物的作者和审稿人,但不具备精简清单的易用性。此处值得提及Pfaehler等人发表的一份影像组学专用清单[5]。然而,该清单旨在仅涵盖影像组学研究的可重复性方面,缺乏建模方面和其他高级分析工具。
优势
我们认为我们的清单具有若干关键优势,使其区别于以往的工作。第一,它提供了影像组学研究的全面覆盖。因此,研究人员无需应用或组合不同的清单。例如,可以使用RQS了解方法学细节[19],因为它主要侧重于手工影像组学;使用CLAIM报告影像组学研究的建模部分[42]。此外,Pfaehler等人的清单可用于评估影像组学的可重复性方面[5]。然而,CLEAR将是一个可行的替代方案,可使用单一清单全面覆盖研究的所有部分。第二,它是通过改良德尔菲方案制定的,有13位国际专家参与。第三,专家组成员在涉及的多家机构方面具有足够的多样性。第四,我们创建了一个社区仓库以接收意见,从而改进CLEAR清单。这种方法有可能修正清单在实际使用中出现的任何缺口。第五,我们将清单制作成具有版本管理系统和用户友好设计的动态在线文档。
局限性
我们有一些局限性需要声明。第一,专家组成员数量相对较少。建议至少有10名个体参与德尔菲调查[47–49],而每一轮均达到了该要求。第二,初始草案由单一作者设计,这可能看似会导致偏倚。尽管如此,我们为专家组成员提供了足够长的时间,在具有讨论功能的在线平台上提出建议、意见并修订内容。这促成了对若干问题的多次讨论。我们还进行了采用严格阈值的改良德尔菲投票。此外,在最后一轮中提出的每个重要问题均通过额外的快速投票得到解决。第三,第一作者起草了初始清单,在匿名投票之前由专家组成员以非匿名方式对其进行完善,这偏离了标准流程的匿名原则。非匿名改良德尔菲专家组进行面对面讨论时,容易受到群体环境中常见的各种过程损失的影响,包括由一名或少数参与者主导讨论以及确认压力等[50, 51]。然而,研究表明,与传统的德尔菲专家组相比,允许参与者直接互动的专家组中的专家更有可能改变其答案、达成共识,并对分歧原因表现出更深入的理解[52]。第四,我们在德尔菲投票中仅使用了3点量表并附加一个退出选项。之所以选择这种做法,是因为我们无意开发评分系统。第五,尽管已努力使CLEAR尽可能全面,但它可能未涵盖所有可能的影像组学研究问题所涉及的全部相关报告条目。然而,我们希望我们的资料库有助于将这些议题提上讨论日程,进而可能被纳入清单的考量范围。第六,CLEAR的有效性和可重复性未进行评估,这超出了本研究的范围。在不久的将来,我们打算通过专门的研究工作来评估这些方面。
结论
CLEAR清单是一个单一且完整的科学文档工具,专为作者和审稿人设计,旨在提高临床影像组学研究的设计和报告质量。它为高质量和标准化科学交流的关键概念提供了一个构建良好的框架。尽管某些条目可能不适用于所有影像组学研究,但所有条目均应审慎考虑。我们希望作者在撰写稿件时能从该清单中受益,并希望所有期刊在同行评审中采用CLEAR清单。我们欢迎在我们的资料库中对该指南提出意见、建议和贡献,以改进该清单的未来版本。
补充信息
附加文件1。文本S1:方法和结果。图S1:总结CLEAR清单制定过程中改良德尔菲流程关键部分的流程图。CLEAR,影像组学研究评价清单(CheckList for EvaluAtion of Radiomics research)。
附加文件2。电子补充材料S2:不含说明的CLEAR清单。
附加文件3。电子补充材料S3:含说明的CLEAR清单。
附加文件4。电子补充材料S4:不含说明的CLEAR-S清单(简化版)。
附加文件5。电子补充材料S5:附有说明的CLEAR-S(简版)。
引用
- Kocak, Baessler, Bakas, et al. CheckList for EvaluAtion of Radiomics research (CLEAR): a step-by-step reporting guideline for authors and reviewers endorsed by ESR and EuSoMII. Insights Imaging. 2023. PMID: 37142815. doi:10.1186/s13244-023-01415-8
- 全文:PMC10160267(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC10160267/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。