欧洲放射学大会人工智能摘要:主题分析及对STARD摘要清单的依从性
该研究分析了2019年欧洲放射学大会184篇人工智能摘要,评估其对STARD摘要清单的依从性及主题分布。结果显示平均报告5.32条(SD=1.38)STARD标准,依从性总体较低;口头报告与电子壁报摘要在报告标准数上无显著差异(p=.86)。
要点
- 人工智能摘要最常见主题为分类任务,CT为最常用模态。
- STARD摘要清单依从性总体较低,平均仅报告5.32条标准。
- 口头报告与电子壁报摘要在报告标准数上无显著差异(p=.86)。
核心结论
- 对STARD摘要清单的依从性较低,提示向作者提供相关清单可能提高摘要质量。
研究设计与样本
- 对2019年欧洲放射学大会(ECR)全部184篇人工智能摘要进行分析,评估其对STARD摘要清单的依从性及报告模态、身体区域、病理和用例。
- 由一名具有8年影像信息学经验的放射科医生进行编码,仅当摘要明确报告时才计入符合STARD标准。
- 使用Jaccard系数进行相似性分析,系数高于0.5认为高度相似。
诊断标准与关键数值
- 在分析的10条STARD摘要标准中,184篇摘要平均报告5.32条(SD=1.38)。
- 依从性最高的标准:结果总体解读100.0%(184/184)、明确研究目标99.5%(183/184)、诊断准确性估计96.2%(177/184)。
- 依从性最低的标准:参与者合格标准9.2%(17/184)、研究系列类型13.6%(25/184)、对实践的意义20.7%(44/184)。
- 口头报告摘要(M=5.35,SD=1.31)与电子壁报摘要(M=5.39,SD=1.45)报告STARD标准数无显著差异(t(182)=-0.18,p=.86,d=0.03)。
临床应用与阅片要点
- 作者建议在提交过程中向作者提供STARD等清单,以补充缺失信息。
- 作者建议提供作者和审稿人简单清单(如STARD、CONSORT、STROBE、PRISMA),确保摘要包含所有相关信息并按同一标准评判。
- 作者建议可实施服务器端相似性分析以在提交过程中捕获重复条目。
局限性
- 本研究仅评估报告质量,未评估研究本身的质量。
- 无法确定报告质量与研究质量之间是否存在相关性。
- ECR 2019摘要仅代表研究领域的一小部分,主题趋势应谨慎解读。
- 本研究仅关注ECR 2019接受的摘要,被拒 submissions 无法分析。
- 本研究仅关注人工智能研究,报告质量可能在其他放射学研究领域也需改进。
全文中译13 节 · 点击展开
要点
分类任务和CT成像是ECR人工智能摘要中最常见的主题。
摘要对STARD清单的依从性普遍较低。
与被接受为电子壁报展示的摘要相比,被接受为口头报告的摘要对这些STARD清单基本要素的依从性并不更高
引言
新的机器学习技术,尤其是深度神经网络,有望彻底改变放射学的许多方面,并在过去几年中获得了公众和专业界的极大关注[1, 2]。这导致出版物急剧增加[3–7]、新期刊的创办[8],以及FDA对新诊断算法的批准[9–11]。该领域的快速扩展也反映在2019年欧洲放射学大会上将机器学习和人工智能作为新主题引入。随着科学产出的增加,退后一步并尝试获得研究全景的更大图景可能是有益的。这种增加的科学产出是由具有强方法学的高质量研究组成的,还是在不考虑潜在陷阱的情况下应用机器学习技术以快速产出追随最新趋势的论文?
由于会议摘要可以是未来出版物的预览,分析它们可以洞察该领域的发展方向:机器学习模型主要用于解决什么问题?哪些疾病获得最多的研究关注?哪些身体部位和成像模式受到最多关注?所有这些问题都可以通过仔细查看2019年欧洲放射学大会(ECR)的摘要来回答。除了摘要的主题重点外,我们还评估了摘要对既定报告指南的依从性。正如以往的努力所表明的,很大一部分聚焦于AI算法评估的研究缺乏重要特征,例如外部验证,而这些特征可确保在临床环境中具有稳健的性能[12]。报告指南,如STARD [13]、CONSORT [14]、STROBE [15]和PRISMA [16],可以在构思研究时和出版过程中帮助确保最终论文包含所有必要信息。为本研究的目的,我们将提交的摘要与STARD摘要标准[13]进行了比较。STARD倡议的目标是通过确保最终论文包含足以充分评判和重现给定研究的所有相关信息,来改善诊断准确性研究的报告方式。我们为本研究选择STARD标准有两个原因:第一,STARD标准是专门为评估诊断准确性研究而制定的。由于机器学习技术在医学中最常见的应用之一是开发新的诊断算法,STARD标准非常适合评估这类特定研究。第二,STARD摘要清单是专门为会议摘要制定的,因此非常适合分析ECR 2019摘要的任务。
总之,本研究的目标是分析2019年欧洲放射学大会(ECR)上展示的所有人工智能摘要,涉及它们的主题及其对诊断准确性研究报告标准(STARD)清单的依从性。
材料与方法
摘要
由作者之一对ECR 2019各自网站(EPOS和ECR在线)及摘要汇编书籍进行分析,以识别所有在“AI”主题下提交的摘要,最终获得184篇摘要作为所有进一步分析的基础。
除标题和正文外,我们还检索了来源国家。摘要分为两大类别:口头报告(科学报告和MyT3:我的论文3分钟)和电子壁报展示。
STARD标准
为本研究目的,我们采用针对摘要的STARD标准[13]。该标准按照科学论文的一般结构(背景、方法、结果和讨论)组织,聚焦于对可重复和可评判研究至关重要的信息。摘要的11项STARD标准概览见表1。第11项标准——注册号——在本研究中未使用,因为提交至ECR的摘要通常不要求注册号和注册机构名称。
附加质量标准
除STARD标准外,我们还分析了研究是否使用验证集来评估所开发方法的性能,这一点很重要,因为尤其是深度神经网络存在过拟合训练数据的风险。给定足够的时间和足够大的网络,输入与输出之间的所有映射都可以被记忆,这可能导致在训练数据上表现完美。然而,这种过拟合的网络在训练期间未遇到的新数据上表现会很差。因此,为了更真实地评估网络性能,在训练期间未遇到的数据上测试网络非常重要。因此,某项研究是否使用了验证集是判断网络性能能否泛化的重要质量指标。为本研究目的,我们未区分内部验证和外部验证。每篇摘要均分析是否使用了训练期间未使用的验证集(内部或外部)来评估模型性能。
此外,我们还分析了每项研究的样本量(即独立参与者——而非切片或图像)以及研究是否报告了置信区间。我们还分析了研究是否使用了公共数据集,以及研究是否评估了非作为研究一部分开发的现有算法(商业或其他)。
编码
所有编码均由一位在影像信息学方面有8年经验的资深放射科医生(D.P.)完成。每个摘要均与STARD及质量准则进行比较,并判定不同准则所要求的信息是否包含在摘要中。准则必须明确报告才被计入。例如,即使在某些情况下数据收集类型(回顾性 vs. 前瞻性)可从上下文推断,只有当数据收集类型在摘要中被明确提及时,研究才会按照STARD准则被编码为报告了数据收集类型。此外,对每个摘要,记录了模态(如CT)、身体部位(如胸部)、病变(如肺癌)和任务(如分类)。对每个摘要,仅选择一种模态、身体部位、病变或任务。如果模态缺失或无法从摘要中推断,则编码为“不可获得”(n = 3)。如果一项研究中分析了多个身体部位,则该摘要归入“全身”类别(n = 7)。
相似性分析
使用Jaccard系数对所有摘要的文本进行相似性分析比较。Jaccard系数是两个集合的交集与并集之比。开发了一个Python(3.7版)[17]脚本,输入每个摘要的全文并将其拆分为单个单词,从而为每个摘要创建一个集合(唯一元素的无序集合)。下一步,比较所有摘要,计算所有可能的摘要对的交集(唯一共同词)和并集(所有唯一词),以确定每对的Jaccard系数。如果Jaccard系数高于0.5,则两个摘要被认为高度相似。
结果
摘要的一般特征
在我们分析的184篇摘要中,127篇(69.0%)为口头报告(106篇科学报告,57.6%;21篇MyT3报告,11.4%)。其余57篇为电子壁报(31.0%)。录用摘要最多的三个国家为中华人民共和国58篇(31.5%)、德国26篇(14.1%)和印度15篇(8.2%),见表2。
主题
CT是录用摘要中最常见的模态,共87篇(47.3%),其次是MRI(47篇;25.5%)和X线平片(17篇;9.2%),见表3。
研究重点最多的身体部位为腹部(43篇;23.4%)、胸部(42篇;22.8%)和脑部(32篇;17.4%),见表4。
所有摘要涵盖了广泛的病变和主题。录用摘要中最突出的病变/主题为肺结节(16篇;8.7%)、图像重建(12篇;6.5%)和乳腺癌(10篇;5.4%)。摘要中的大多数研究使用机器学习技术进行分类(108篇;58.7%),其中67篇(36.4%)使用深度学习,41篇(22.3%)使用影像组学,其次是分割(32篇;17.4%)和技术应用(21篇;11.4%),见表5。
摘要依从性的STARD结果
在本研究分析的10条STARD摘要标准中,184篇摘要平均报告了5.36条(SD = 1.35;Mdn = 5.00),见图1。被接受为口头报告的摘要(M = 5.35,SD = 1.31)与被接受为电子壁报交流的摘要(M = 5.39,SD = 1.45)在报告的STARD标准数量上无显著差异,t(182) = − 0.18,p = .86,d = 0.03。
111篇(60.3%)摘要将评估新方法的准确性作为其主要目标,因此报告了至少一项准确性指标(灵敏度、特异度、预测值或AUC),见图2。183篇(99.5%)摘要明确陈述了研究目的。关于数据收集,63篇(34.2%)摘要报告了所进行的研究是前瞻性还是回顾性。仅17篇(9.2%)摘要包含了关于参与者纳入标准及数据收集场所的信息。此外,仅25篇(13.6%)摘要提供了关于参与者是否构成连续、随机或便利序列的信息。114篇(62.0%)摘要包含了关于指标试验或参考标准的信息。
74篇(40.3%)摘要报告了纳入分析的有目标疾病和无目标疾病的参与者数量。绝大多数摘要(177篇;96.2%)报告了诊断准确性的估计值。所有摘要(184篇;100.0%)对结果给出了一般性解释。然而,仅38篇(20.7%)摘要列出了对实践的潜在意义。
附加质量标准依从性
78篇(42.4%)摘要报告使用了验证集来评估模型性能,见图3。仅44篇(23.9%)摘要报告了置信区间。24项(13.0%)研究使用了公共数据集来训练模型,33项(17.9%)研究评估了已有的算法(商业或其他),该算法并非作为研究的一部分而开发。
作为附加质量指标,我们还分析了每项研究的唯一参与者数量。120篇(65.2%)摘要报告了唯一参与者数量。样本量中位数为104,范围为7至4800。
相似性分析
该分析返回了3对高度相似的摘要(Jaccard系数 > .5)。其中两对摘要将相同方法学应用于不同病理,导致使用了相似的术语来总结结果。然而,两对中的每项研究均构成独立的研究工作。对于第三对,完全相同的摘要被接受两次,仅有极小改动。两篇摘要均被接受为口头报告。
讨论
我们对ECR 2019人工智能摘要的研究发现如下:在国际参与方面,中华人民共和国是摘要数量最多的国家。研究焦点最多的模态是CT。摘要中研究最多的身体部位是腹部、胸部和脑部。所有摘要涵盖了广泛的病理,因此无法确定明确的焦点。机器学习最突出的用例是分类。
关于报告质量,摘要中报告的STARD标准平均数量为5.32。大多数论文将研究认定为诊断准确性研究,并描述了研究目的。此外,大多数论文引用了指标试验或参考标准。大多数论文报告了一些准确性估计值,并提供了对结果的总体解释。然而,仍有改进空间:关于数据收集、纳入标准和系列类型的详细信息很少被报告。此外,只有少数研究为结果提供了置信区间。只有少数研究关注对实践的潜在意义。最值得注意的是,只有42.4%的研究使用了验证集。如前所述,在评估给定模型的性能时,使用验证集至关重要,因为对测试集的过拟合可能导致性能指标被人为夸大。
总体而言,这些结果与先前一项关于肿瘤学研究放射组学报告准确性的研究一致[18]。在该研究中,来自高影响力影像学期刊的77篇文章依据TRIPOD清单[19]的依从性进行了分析。此外,每篇论文还计算了考虑放射组学研究特定需求的放射组学质量评分(RQS)。与我们的结果相似,论文仅报告了标准化清单所需信息的大约一半(TRIPOD 57.8%)。此外,考虑临床实用性、重测分析、前瞻性研究和开放科学的平均放射组学质量评分仅为26.1%。鉴于一项关于放射学领域期刊报告指南接受情况的研究发现,只有15%的作者在规划研究时依赖报告指南和清单[20],这些结果并不令人意外。
综合这些发现和我们自己研究的结果,可以稳妥地得出结论:使用机器学习和放射组学的影像学研究的报告现状是可以改进的。朝着这一方向迈出的一步可能是超越一般性能指标,如准确率或曲线下面积(AUC),更多地关注诊断预测值,如阳性预测值(PPV)和阴性预测值(NPV),这些可能更适合评估给定模型是否可用于临床实践[21]。
为总体改善报告质量,在投稿过程中向作者提供清单(如STARD,已在ECR 2020中实施)可能会有所帮助,以便在提交摘要前补充缺失信息。我们认为,在若干情况下,缺失的信息可能已经存在,但未被添加到摘要中。我们意识到摘要的字数有限,作者无法添加对其研究的冗长详细描述。
我们的研究存在若干局限性:如前所述,我们的研究仅限于报告质量。研究本身的质量未予评估。因此,我们无法完全回答以下问题:机器学习聚焦类出版物的急剧增加主要是由方法学严谨的高质量出版物构成,还是由仅追随最新趋势的方法学存在缺陷的研究构成。
基于当前的调查,我们无法确定报告质量与所报告研究本身的质量之间是否存在相关性。然而,高质量的报告是正确评估一项科学研究的基础。因此,未来对会议摘要的分析可以纳入额外的质量标准,以进一步分析摘要的内容和质量。
此外,尽管ECR 2019摘要的主题可能概述了放射学中人工智能研究总体领域的发展方向,但有许多因素决定了一篇摘要是否被提交到某个会议。例如,一些作者可能选择在其他会议上展示他们的研究,如RSNA。因此,ECR 2019的摘要仅代表了研究全景的一小部分,主题中所反映的趋势应谨慎解读。此外,本研究仅关注ECR 2019被接受的摘要。被拒绝的投稿无法进行分析。
本研究的一个额外局限性是仅关注人工智能研究。尽管我们确实发现报告质量方面存在改进空间,但这也可能适用于放射学的其他研究领域。因此,未来研究应比较放射学研究不同领域的报告质量,以确定STARD清单的依从性在人工智能研究中是否特别低,还是在不同学科中普遍较低。
总之,为进一步提高摘要质量和审稿流程,我们建议为作者和审稿人提供简单的清单,如STARD [13]、CONSORT [14]、STROBE [15]和PRISMA [16],以确保摘要包含所有相关信息,并确保摘要基于同一标准进行评判。这些清单可以基于STARD标准,并附加针对机器学习论文的建议。值得注意的是,随着使用机器学习的研究越来越频繁,已有努力将现有清单扩展以纳入机器学习研究的特定信息 [22, 23]。例如,一份包含9项关键考虑因素的新清单可用于指导人工智能放射学研究的作者,指明论文或摘要中应包含哪些关键信息 [24]。关于重复投稿,可以在投稿过程中实施服务器端相似性分析以捕获重复投稿。
综合来看,这些措施有助于进一步提高放射学中机器学习研究的质量,并改善未来会议上科学成果的交流。
引用
- Dratsch T, Caldeira L, Maintz D, et al. Artificial intelligence abstracts from the European Congress of Radiology: analysis of topics and compliance with the STARD for abstracts checklist. Insights Imaging. 2020. PMID: 32335763. doi:10.1186/s13244-020-00866-7
- 全文:PMC7183515(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC7183515/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。