OpenRad:放射学开放获取AI模型的标准化精选库
本研究构建并评估了OpenRad,一个聚合放射学开放获取AI模型的标准化精选库,从PubMed、arXiv和Scopus检索至2025年12月的5239篇文献,最终纳入1694篇有开放代码/模型的文章,用本地LLM按RSNA AI Roadmap JSON schema生成模型记录并由10位专家人工核验。该库覆盖所有影像模态和亚专科,支持关键词与多维度筛选,并提供代码仓库可用性分析。
要点
- OpenRad收录约1700个有开放代码/权重的放射学AI模型,可关键词与模态、亚专科、用途、演示可用性筛选。
- 模型记录按RSNA AI Roadmap JSON schema标准化,并用RadLex编码模态和亚专科。
- 库内MRI为神经放射学最常用模态(621项研究),CNN与transformer架构占主导(>33%)。
核心结论
- OpenRad收录约1700个开放获取、精选的放射学AI模型,具标准化元数据并补充代码仓库分析,为放射学界提供全面可检索资源。
- 该平台解决了AI模型分布碎片化和报告不标准的问题,可加速模型发现与可重复性,并为未来基准测试和临床转化提供透明基础。
研究设计与样本
- 回顾性分析PubMed、arXiv和Scopus截至2025年12月的文献,检索获5239条记录,去重985篇并手动筛选排除1832篇非放射学AI模型论文及704篇无开放代码/模型和24篇仅数据集论文,最终纳入1694篇。
- 使用本地部署的开源大语言模型gpt-oss:120b按RSNA AI Roadmap JSON schema自动生成模型记录,并由10位专家复核。
- 在225篇随机选取论文上评估LLM输出稳定性,使用difflib、Levenshtein比率和Jaccard相似度三种文本相似度指标。
- 对收集的模型进行描述性统计分析,包括架构、验证策略、地理分布及模态-亚专科共现。
关键影像表现/征象
- CNN和transformer架构占主导(>33%),扩散模型也较常用(12.1%),其后为U-Net变体和生成对抗网络,少数工作使用YOLO模型。
- MRI是神经放射学AI模型最常用模态(621项研究),其次为胸部X线(233项)和胸部CT(188项)。
- 肿瘤影像中MRI(179项)和CT(165项)为最常用模态。
- 分类任务指标以准确率(229)、AUC(166)、F1分数(112)和特异度(86)为主;分割任务以Dice相似系数(308,约占DSC总提及的68%)为主,其次为Hausdorff距离(65)和准确率(55);生成任务主要用SSIM(88)和PSNR(79)。
- 研究产出主要集中在中国(约400篇)和美国(约300篇),其次为少数欧洲、印度和东亚国家(50–150篇)。
诊断标准与关键数值
- 纳入标准为描述放射学AI模型且提供开放获取代码/模型的论文,排除仅涉及数据集(24篇)或无开放代码/模型(704篇)的论文。
- 结构化字段的LLM提取稳定性高(Levenshtein比率>90%),专家复核中78.5%的修改为轻微修正。
- 模型记录采用RSNA AI Roadmap JSON schema,模态和亚专科使用RadLex编码。
临床应用与阅片要点
- 放射科医生可通过OpenRad按模态、亚专科、用途和演示可用性筛选,快速定位有开放代码和预训练权重的AI模型用于研究或临床转化评估。
- 每个模型记录包含报告的 performance metrics 和已知局限性,有助于在采用前评估模型适用性。
- 平台提供代码仓库链接、预训练权重和交互式演示的可用性信息,可减少从文献到实现的重训练步骤。
- 社区可提交新模型并通过「Verify & Edit」模式修正元数据,使用前建议核对记录完整性并标记错误条目。
局限性
- 模型记录由开源LLM自动生成,尽管量化了稳定性并经专家复核,仍可能产生遗漏或轻微不准确,尤其在原文无法获取时。
- 文献检索仅限PubMed、arXiv和Scopus,检索式虽力求全面但可能未覆盖所有已发表模型。
- 受计算限制,初始提取未填充RSNA Roadmap要求的所有字段,更侧重于正确索引和手稿/代码获取。
全文中译13 节 · 点击展开
引言
近年来,放射学界见证了人工智能(AI)研究前所未有的激增[1]。大量用于报告撰写[2]、病灶检测[3]、分割[4]以及许多其他任务的深度学习模型已在会议、期刊和预印本服务器上被报道。然而,这些方法的极大丰富创造了一个新的瓶颈:模型分发格局的碎片化阻碍了可发现性、可重复性和临床转化。
已发表的模型分散在各种来源中,包括补充材料、个人GitHub仓库、机构网页或专有平台,迫使用户进行详尽的手动搜索以找到符合其特定需求的模型。此外,缺乏标准化元数据使得难以评估模型是否适合特定临床环境,或将其与替代方案进行公平比较[5]。解决这一问题的第一步是引入针对放射学中AI模型相关论文的报告指南[6, 7]。在此基础上,北美放射学会(RSNA)提出了AI路线图,建议使用标准化本体术语(RadLex)和格式来报告放射学中的AI模型数据,披露预期用途、模型结构和许可信息等细节[8, 9, 10]。尽管如此,对这些标准的遵守并不广泛,这限制了结构化、机器可读的模型记录的可用性。现有的AI模型仓库[11–15]包含相对有限的、精心挑选的模型卡片,其中一些涉及数据集但没有附带的模型。重要的是,它们包含没有开放获取代码的文稿,这些文稿不可重复,对于试图开发新模型或将现有模型应用于增强放射学工作流程的研究人员可能没有用处。
本工作的目的是创建OpenRad,一个全面、最新、可搜索的开放获取放射学AI模型公共仓库,提供开放获取的代码或模型供公众使用。拟议的工作提供:(i) 由专家策划的1694个模型集合,涵盖所有成像模式和放射学亚专业,(ii) 使用ROADMAP本体(RadLex术语)的标准化模型记录,确保一致的报告,(iii) 从代码仓库分析中得出的附加信息,如训练模型或交互式实现的可用性,(iv) 用户按照标准化格式提交新模型的选项,(v) 基于所包含模型的实时统计数据,反映放射学中开放获取AI研究的当前状态。该在线仓库使研究人员、临床医生和行业合作伙伴能够发现模型,促进研究使用以及将有前景的算法转化为临床有用的工具。
材料与方法
本研究不需要机构审查委员会(IRB)批准,因为仅限于对公开可用文献和现有AI模型的分析。本工作不涉及人类受试者。
初始数据集创建
通过使用补充表1中的查询语句抓取PubMed、arXiv和Scopus,并纳入截至2025年12月发表的研究,构建了一个全面的放射学AI论文语料库。该检索共获取5239条记录,涵盖医学文献以及计算机科学期刊和会议论文集,后者收录了大量AI模型。使用数字对象标识符(DOI)去除跨数据库的重复记录(985条重复),并通过人工筛选排除未聚焦于放射学AI模型的论文(1832篇)。重要的是,随后排除了未提供开放获取代码/模型(704篇)或涉及数据集(24篇)的论文,最终获得1694篇独特文章的数据集(图1),其中所有展示的模型均附带可直接使用的代码/模型。
为将该语料库转化为标准化的模型集合,遵循了RSNA AI路线图参考模式(https://github.com/RSNA/ATLAS/blob/main/model.json)。为构建标准化模型记录,我们开发了一个使用开源大语言模型(LLM)gpt-oss:120b(本地运行)的自动化流程,从纳入的研究中提取结构化数据。使用Python 3.10及“instructor”库发出结构化提示,以填充RSNA JavaScript对象表示法(JSON)模式的选定字段。当有全文便携式文档格式可用时,将其提供给LLM,否则使用摘要。除推荐的RSNA字段(模态、临床亚专业、预期用途、架构、性能指标)外,模板还充实了关于数据集细节和验证策略的属性。生成的模型记录还包括对GitHub仓库内容的评估(如有提供)。这通过自动查询所有被识别为代码仓库的URL并识别是否存在预训练权重或模型的即用型实现(演示)来完成。最终JSON文件包含文献元数据和提取的技术细节。
LLM生成的模型记录评估:稳定性与真实标准比较
为评估自动生成记录的可靠性,检查了LLM内部稳定性。对225篇文章的子集进行重复处理,以首次生成作为参考。使用三种互补的相似性度量对标题、作者列表、所属机构、仓库URL、可持续性(训练时间/硬件)、架构和监管细节等关键字段评估稳定性:Python的“difflib.SequenceMatcher”(v3.14.2)(最长公共子序列比率)、Levenshtein比率(字符级编辑距离)和Jaccard相似度(词元集合重叠)。
OpenRad仓库的专家审编
生成的模型记录已由10名专家审阅者(3名博士研究生、6名硕士研究生和1名助理教授,均从事AI研究)人工验证,以确保正确性并避免幻觉。审阅者评估提取的信息是否忠实反映源文章数据,并进行必要更正,若涉及拼写错误或指标不完整等小误差则标记为轻微,若涉及字段缺失或链接失效等关键错误则标记为重大。
审编后仓库的描述性分析
对最终整理出的 JSON 文件集进行分析,以揭示潜在趋势。这包括使用 Seaborn(v0.13.2)绘制条形图,总结最流行的模型架构和验证策略。还通过解析作者所属机构进行了地理空间分析。使用包含 100 多个国家名称、主要城市和研究机构的综合词典,将 ISO-3 国家代码映射到组织名称。该数据使用 Plotly(v5.15.0)生成的分级统计地图进行可视化。
统计分析和可视化使用一套 Python 绘图库生成。使用 Matplotlib(v3.7.1)和 Seaborn 创建静态可视化,包括架构频率条形图和展示临床专科与成像模态交叉分布的热图。使用 WordCloud 库(v1.9.6)综合了对模型局限性的定性见解,以识别报告的局限性部分中的主导关键词。此外,构建了将报告的指标与模型类型(如分类或分割)相关联的热图。
结果
平台概述
开放获取模型的发现与筛选
主要的 OpenRad 仪表板是模型发现的核心枢纽(https://konstvr.github.io/OpenRad/index.html)。用户可以使用关键词搜索模型,或通过侧边栏中的 comprehensive 筛选器集来精炼结果。这些筛选器包括:资源可用性:查找有可用仓库(GitHub 或其他)的模型,提供开放权重或训练好的模型。该数据是通过审查所有论文的仓库以及出版物本身收集的。
分类:模型按模态(例如,计算机断层扫描(CT)、磁共振成像(MRI)、X 射线)、亚专科(例如,神经放射学、胸部放射学、肌肉骨骼)和用例(例如,分类、分割、检测)进行标记。按照 RSNA 路线图建议,使用 RadLex 代码对模态和亚专科进行编码。
演示可用性:筛选包含交互式/可下载应用程序的作品。
搜索结果以响应式对象网格显示(图 2A),每个对象提供模型的快速摘要,包括其名称和视觉徽章,指示其验证状态、模态、亚专科和保存权重的可用性。该页面还包括关于所收录作品的实时交互式总体统计,从而总结开放获取 AI 研究的当前格局(图 2B)。
模型记录详情
点击模型可导航到详细视图,该视图呈现模型的结构化全面概述。界面显示一般信息,如模型名称和架构,以及有关所用数据集的技术细节。为帮助用户评估模型适用性,该视图包含报告的性能指标和已知局限性部分。最后,该页面作为外部资源的入口,提供代码仓库(如 GitHub)、原始论文/摘要以及托管交互式演示(如有)的直接链接。对于已有 ATLAS 模型卡且符合我们纳入标准的模型子集(27 个),我们的模型记录中也包含了 ATLAS 的链接。
社区贡献与策展
OpenRad 采用社区驱动模式运行,旨在保持注册库的更新与准确。鼓励用户向平台提交新模型,此外作者也会进行更新,确保数据库随着最新研究不断扩展。所有社区提交内容在纳入数据库前均须经专家验证,以确保所提交数据的有效性和数据库的一致性。除提交内容外,平台还赋予注册用户作为策展人的权限。通过“验证与编辑”模式,贡献者可对元数据提出更正建议或补充缺失信息。这些建议会被跟踪并接受验证,以维持高数据质量。此外,标记系统促进了社区审核,允许用户报告任何问题。
模型卡片评估:大语言模型(LLM)内部稳定性与人工审查
稳定性分析表明,基于词汇评分,重复模型之间在提取的元数据字段上具有足够水平的一致性(表1)。与模型标识相关的结构化内容字段,包括作者、所属机构列表、代码库链接、标题和可持续性,显示出高稳定性。复杂的自由文本字段,如模型架构、局限性和监管细节,表现出较高的方差,反映了模型在不同生成之间对描述性内容进行改写的倾向。各指标的综合统计量(中位数和四分位距(IQR))报告于表1。定性人工审查确认,尽管存在这些词汇差异,技术描述表现出高度的语义一致性,表明LLM成功提取并综合了文本的核心含义。此外,在对1694个纳入模型进行人工验证期间所做的更正中有78.5%被归类为轻微。
代码库数据分析
图3和图4所示的分析共同刻画了当前放射学领域开放获取人工智能模型的概况。图3A显示了深度学习架构的分布:CNN和基于transformer的架构变体占主导地位(> 33%)。扩散模型也经常被使用(12.1%),其次是U-Net变体和生成对抗网络。较少数量的工作使用了You Only Look Once(YOLO)模型。图3B展示了出版物的地理集中度,中国(约400篇论文)和美国(约300篇论文)占产出的多数。次要贡献(50–150篇论文)来自有限的一些欧洲、印度和东亚国家,而大多数其余国家仅贡献了少量研究。图4B按任务类型呈现了指标共现情况:分类指标以准确率(229)、曲线下面积(AUC)(166)、F1分数(112)和特异性(86)居首。分割准确率最常以Dice相似系数(DSC)衡量(308,约占DSC总提及次数的68%),其次是Hausdorff距离(65)和准确率(55)。生成任务主要使用结构相似性指数测量(SSIM)(88)和PSNR(79)。图4A总结了成像模态-专科共现情况,突出显示MRI是神经放射学应用中最常用的模态(621项研究),其次最高使用量见于聚焦胸部的AI模型的X射线(233)和CT(188)。关于肿瘤成像(OI)模型,MRI(179)和CT(165)是最常用的模态。对报告局限性的词频分析显示,“limited”是最常见的词,其次是“data、model、dataset、training、performance、external validation”(补充图1)。
讨论
本研究介绍了目前规模最大的、可公开访问的、经过策划的资源库,该资源库汇集了1694项关于放射学人工智能模型的研究成果。通过将文献元数据与对关联代码库的系统性检查相结合,该平台不仅提供其他数据库和研究论文中传统报告的描述性信息,还提供对代码、预训练权重或可直接使用的演示是否实际可用的客观评估。这种双层文档记录有可能通过检索代码、已保存的权重或训练好的模型来加速从文献综述到人工智能实施的转化,并且在许多情况下绕过从头重新训练的复杂步骤。该平台还支持人工检查,以标记失效链接或过时的依赖项,确保目录随时间推移保持功能可用。
该项目克服了限制已发表人工智能模型使用的两个主要障碍[16]。首先,通过汇总医学文献以及计算机科学期刊和会议论文集中所有符合条件的出版物,提取关键元数据,并在分面网络界面中索引生成的模型记录,该平台将先前分散的代码库和论文统一为一个可检索的资源。此外,每条模型记录遵循统一的模式,涵盖模态、亚专科、预期用途、数据来源、性能指标和监管细节,从而提供便于自动化分析和评估的机器可读描述。该数据集还通过自动化流程进一步丰富了原始出版物中通常不存在的信息,该流程查询每个对应的GitHub代码库以验证预训练模型文件的存在,并在可用时验证在线网页演示。
对提取数据的定量分析表明,发表产出仍然高度集中在中国和美国,这与这些地理区域人工智能技术的快速进步相吻合[17]。架构偏好已转向卷积神经网络(CNN)和基于Transformer的模型。模态-专科配对揭示了对使用MRI数据进行神经放射学人工智能应用的主导关注(>600项研究),其次是胸部CT和X射线模型,这证实了先前的分析[18]。相反,核医学和正电子发射断层扫描应用较为稀少。在报告局限性的词云分析中,关键词“外部验证”的高频出现凸显了稳健模型验证中的关键缺口,这可能损害泛化能力。
与现有资源相比,我们的工作在规模和提取信息范围上有所不同。“MedicalModelLibrary”提供了人工策划的模型列表[12],但条目有限且主要集中于大语言模型(LLM)和视觉模型。RSNA ATLAS包含高质量的专家策划卡片[11],但其覆盖范围也小于本集合,且不包含对代码库的系统性分析。“Awesome-AI-LLMs-in-Radiology”列表仅汇总了大语言模型应用[13],但不提供结构化模型记录,也不对关联代码库进行任何健康检查。相比之下,我们的平台整合了可检索界面、专家策划以及通过GitHub分析丰富数据的模型记录,为社区提供了一个全面、最新的资源。
本研究存在若干局限性。首先,模型记录由开源大语言模型(LLM)自动生成,尽管已对稳定性和保真度进行量化评估,且所有记录均由专家人工审核,但该过程仍可能产生遗漏或轻微不准确,尤其是在原始文献被锁定或无法获取的情况下。因此,鼓励用户在存储库中标记不完整或错误的条目,未来版本将纳入人工整理的更正。被标记的模型将被隔离,并由数据库管理员审核后方可以更新版本重新上线。其次,底层文献检索仅限于PubMed、arXiv和Scopus,使用补充表1中定义的查询以确保可重复性。虽然这些查询设计为全面,但可能未涵盖文献中所有可用的模型,因此鼓励用户通过新提交来丰富存储库。最后,由于计算限制,初始提取未填充RSNA路线图要求的所有字段,更侧重于正确的索引以及手稿和代码的访问。
总之,OpenRad提供了一个大规模、经过整理放射学AI模型存储库,包含超过1600个模型,这些模型经过索引、标准化,并 enriched 了关于代码可用性、预训练权重和实时演示的验证信息。因此,它旨在解决长期存在的分布碎片化和报告不标准的问题,加速模型发现和可重复性,同时为未来放射学AI的基准测试和临床转化提供透明的基础。
补充信息
电子补充材料
引用
- Vrettos K, Papadaki G, Brilakis E, et al. OpenRad: a curated repository of open-access AI models for radiology. Eur Radiol. 2026. PMID: 42209829. doi:10.1007/s00330-026-12650-0
- 全文:PMC13574895(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC13574895/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。