交互式多媒体报告的技术考量:HIMSS-SIIM 协作白皮书
该白皮书由 HIMSS-SIIM 企业影像社区交互式多媒体报告工作组制定,旨在阐述实现交互式多媒体报告(IMR)所需的标准基础设施与通信机制。IMR 将临床图像、视频、影像元数据及标注与文本、表格、超链接等结合,以优化沟通。文章重点讨论阻碍 IMR 创建及与电子健康记录集成的技术问题,并介绍 DICOM、HL7 FHIR 等标准及 IHE 集成规范的作用。
要点
- IMR 通过超链接将报告文本与源图像、测量值关联,减少文本报告的歧义。
- 实现互操作性 IMR 需采用 DICOM UID、DICOMweb 及 FHIR ImagingStudy 等标准接口。
- 报告作者需确保 AI 结果经过审核再写入正式报告,并保留数据来源信息。
诊断标准与关键数值
- IMR 共识定义:结合临床图像、视频、声音、影像元数据及/或图像标注与文本、排版强调、表格、图表、事件时间线、解剖图、超链接及/或教育资源,以优化医疗专业人员之间及医患沟通的交互式医疗文档。
- 支持厂商中立 IMR 创建的最低要求是影像系统支持 DICOMweb。
- DICOM 标准 PS3.4 定义了从 PACS 或 VNA 检索图像和标注的指南;PS3.5 定义 UID 系统;PS3.3 定义信息模型及结构化报告。
- FHIR ImagingStudy 资源以 DICOM UID 引用序列和实例,并依赖 DICOMweb 进行实际图像检索。
- IHE AI Results(AIR)规范旨在标准化 AI 系统传达结果的机制。
临床应用与阅片要点
- 报告中引用源图像时应使用 DICOM UID 和 DICOMweb 链接,避免仅用屏幕截图而无回链。
- 标注应优先采用 DICOM GSPS 或结构化报告(SR)等厂商中立格式,而非烧入图像或私有编码。
- AI 输出需由报告解读医师审核后再纳入正式报告,并记录算法工具及源数据来源。
局限性
- 白皮书为共识性技术讨论,未提供 IMR 临床效能或诊断准确性的原始研究数据。
- 病理、皮肤科、眼科等专科图像常存储于私有系统,缺乏标准化传输机制,阻碍互操作。
全文中译29 节 · 点击展开
引言
许多医学专家在诊断和治疗疾病时会审阅图像。诊断放射学和病理学是两个典型的以图像为中心的专业。许多作者[1, 2]记录了这些以图像为中心的专家记录其发现时所采用的一些较为原始的手段:“尽管影像报告的重要性显而易见,尽管放射科医生日常工作所处的领域以新技术的快速发展和创新数字工具为特征,大多数放射科医生创建报告的方式仍与其100年前的同行惊人地相似”[3]。
在概念层面上,大多数以图像为中心的专家的报告工作流程是相似的。图像在计算机屏幕、视频监视器或显微镜上进行评估。以图像为中心的专家通过以下方式创建其发现的报告:键入发现的叙述性描述、口述报告以供后续转录,或使用语音识别应用程序。报告被传输至电子健康记录(EHR),在EHR中报告指导患者管理。在某些专业中,文字报告可能是图像发现唯一可用的记录。然而,在其他专业中,源图像越来越多地可供查阅。外科医生可能希望查阅计算机断层扫描(CT)图像以进行手术规划。肿瘤科医生可能查阅正电子发射断层扫描(PET)图像以向患者展示疾病负荷的变化。初级保健医生可能查阅皮肤科医生拍摄的照片以评估皮肤病变的变化。病理科医生经常在多学科会议/肿瘤委员会上向同事展示活检或切除标本的组织学图像。
将文字报告中描述的发现与源图像中的发现进行对应的过程,需要读者具备专业知识并付出努力。读者若缺乏图像解读知识,可能会误解文字报告的含义。尽管用于图像和报告的数字创建、存储和查看的技术系统已经成熟,但图像和报告的数据流在其整个生命周期中往往在医疗记录中保持分离。图像、测量值、注释和关键图像与叙述性报告中包含的描述、标识和图像引用之间很少有直接联系。
正如多媒体和超链接改变了互联网上内容的消费方式一样,用于医学文档记录的多媒体报告也极大地改变了以图像为中心的专家的沟通方式[4]。交互式多媒体报告(IMR)的要素可归纳为格式、交互性和结构这几类。图1展示了交互式多媒体报告(IMR)如何在报告撰写过程中通过上下文共享来封装文字与图像之间的关系,从而使该上下文对报告使用者而言明确无歧义。交互式多媒体报告已被证明能够与临床医生进行更有力的沟通,同时减少发现的歧义性[5–7]。图2展示了一个商业IMR实施的示例,报告文本中的超链接将肺结节的描述与可视化相链接。这些创新的报告解决方案正在将医学文档记录从打字机时代转变为计算机或智能手机时代,实现对图像、图片、图表和图解的高效访问。
2019年8月,HIMSS-SIIM企业影像(EI)社区成立了交互式多媒体报告工作组,其章程旨在推进以影像为中心的医学专科所开展的报告工作[8]。到2021年秋季,该工作组由80多名来自心脏病学、皮肤病学、内镜专科、眼科学、病理学、物理医学与康复、放射医学、放射学以及产业界的医学专家、信息学家和顾问组成。工作组通过了交互式多媒体报告(IMR)的共识定义,即“一种交互式医学文档,它将临床图像、视频、声音、影像元数据和/或图像注释与文本、排版强调、表格、图表、事件时间线、解剖图、超链接和/或教育资源相结合,以优化医学专业人员之间以及医学专业人员与其患者之间的沟通。”[9] 工作组内的讨论涵盖了所有医学学科中交互式多媒体报告的现状、近期未来和长期目标。已审查了来自不同医学专科的使用案例,包括在多个机构实施的案例[4, 9–11]。一个新兴的主题是不同电子健康记录(EHR)、图像存档、查看器和报告编写工具之间缺乏互操作性,这是阻碍交互式多媒体报告广泛实施的障碍。
尽管交互式多媒体报告的理念并不新颖[12–17],但人工智能(AI)在医学影像中的快速增长为结构化报告和IMR带来了新的热情。交互式多媒体报告在描述与图像之间具有清晰的数字链接,可作为神经网络训练的强大真实基准[18]。IMR可能同时包含叙述性描述和由本体定义编码的观察结果。为影像观察创建语义标签对于以影像为中心的专科医生而言可能是一项劳动密集型工作。随着AI系统在图像分析中发挥更大作用,影像报告将越来越多地成为人与机器贡献的融合[19]。影像报告必须超越纯文本摘要,以便结构化数据能够驱动下游工作流程,包括关键结果通知、特定影像发现的随访追踪、放射学-病理学关联以及报告的患者语言摘要。
本白皮书聚焦于阻碍多媒体报告创建及其与电子健康记录集成的技术问题。文中展示了如何通过技术开发需求来克服这些挑战的示例,包括已建立和不断发展的标准,如医学数字成像和通信(DICOM)和健康水平7快速医疗互操作性资源(HL7 FHIR)。IMR可能有许多形式,以适应不同专科的多样化使用案例。必须采用标准来增强这些工作流程步骤:(1)报告编写,(2)报告交换,(3)报告查看(图3)。整合医疗企业(IHE)组织负责对技术标准进行概要分析以解决特定使用案例,目前正在起草一个集成概要,以规定IMR交换和查看以及与图像显示系统交互的标准方法[20]。该概要对于弥合当前必须解决的差距是必要的,但还不够充分,以便使IMR成为医学图像分析的常规组成部分。
报告编写
以影像为中心的专科医生所执行的报告编写过程在不同医学学科之间差异很大。放射学代表了最成熟且最具互操作性的技术工具。工作流程的核心要素可以提炼为跨学科的共性主题。诊断放射科医生一天中的大部分时间都在图像归档与通信系统(PACS)工作站上解读和报告影像学发现,但外科医生口述手术记录并引用腹腔镜手术中采集的术中图像,在此情境下也可作为以影像为中心的专科医生发挥作用。
专科医生必须首先查看待解读的图像。图像可被操作和/或处理为新图像。例如,以影像为中心的专科医生或技师可创建注释并进行定量测量。以影像为中心的专科医生可使用多平面重建(MPR)或三维重建来创建新图像,以更好地展示异常。随后,以影像为中心的专科医生在报告中描述相关观察结果,并赋予发现以意义和诊断。传统上,作为这一综合过程的一部分,需将发现与历史影像学检查进行比较,并考虑其他临床数据。文本报告试图用文字概括专科医生的思维过程。IMR的主要优势在于能够通过图像、图表和表格更明确地传达信息。报告编写过程以印象收尾,总结发现、得出结论并提出建议。最终报告传输至电子健康记录(EHR),其他临床医生可在其中查看报告并确定患者治疗计划的下一步。患者也可通过EHR患者门户查看其报告和图像[21, 22]。
在病理学中,报告几乎普遍在实验室信息系统(LIS)中编写。LIS可作为与EHR接口的独立信息系统存在,也可作为EHR内的一个模块存在。在某些情况下,第三方附加模块与LIS接口并参与报告创建。最常见的附加模块类型用于为概要性报告创建结构化数据,但报告数据输入的其他来源可能来自提供分子、流式细胞术或图像分析结果的中间件。在不久的将来,预计AI模块也可能参与病理报告的编写。在标本生命周期的多个时间点,各种形式的文本和离散数据可被添加到病理报告中。因此,病理报告流程必须支持多个贡献作者和数据来源。
对于以影像为中心、除临床评估外还需解读图像的专科医生而言,报告撰写流程可能看起来非常不同。例如,皮肤科医生可能在临床记录中描述皮肤病变的所见,并附上病史、体格检查、评估和计划。基于就诊的影像工作流程(EBIW)描述了必要的步骤,以将一组图像(例如可能由皮肤科医生办公室中的数码相机拍摄)与临床记录相同的就诊相关联[23]。描述和图像可能在检查层面进行关联;然而,常见的工作流程可能不支持关联的所见。皮肤科、眼科和内镜等专科需要超出实践中所定义以及EBIW中所定义的工作流程和标准。
报告内容贡献者
文本内容
影像报告中的文本内容可通过打字、口述和转录创建,或从上游信息系统、图像采集设备或后处理工具导入。报告撰写系统可能接收来自放射信息系统(RIS)或LIS的HL7数据馈送,并导入定义的字段,包括患者人口统计学信息、检查适应证和检查类型。CT剂量信息从设备(例如CT扫描仪)以DICOM患者辐射剂量结构化报告(SR)的形式传输,并可被解析以纳入报告中。其他DICOM SR通常用于编码超声(US)设备上由技师在放射科医生、心脏科医生或产科医生进行正式报告解读之前所做的测量。当这些数据被发送到文本报告时,这些测量的来源信息就会丢失;因此,报告阅读者不知道使用哪些源图像进行测量。该工作流程通常假设来自设备的编码字段与报告模板中的结构化字段之间是一对一映射。除了通过耗时的纠正流程外,没有简单的机制来解决歧义或多对一关系。大多数系统无法处理未经请求的观察结果或测量所见中的不确定性(例如,当分别测量数量不等的结节时)。一些系统使用户能够调整现有测量值或决定使用重复测量的哪种变体(例如,最大值、最小值、最后值、平均值或原始值)。系统已被设计为利用技师的输入,并使用已建立的分类系统(如超声甲状腺结节的TI-RADS标准[24])进一步生成结构化报告内容。
在解剖病理学中,一份报告可能有多个作者(例如,住院医师、专科培训医师、技术员、技师、病理助理和病理学家)在工作流程的特定步骤中填充报告的各个部分。一些复杂标本可能需要补充处理或检测。其他作者和/或对接的仪器可能会将生物标志物分析或分子检测的结果添加到最终报告中。最终,虽然报告本身可能看起来相似,但其内容的来源将因实验室工作流程的本地实施而有显著差异。此外,尽管结构化/概要式报告在病理学中被广泛采用,但基于文本的报告无法充分保持有用数据元素的结构。
AI结果
正在设计人工智能系统,以评估可能需要纳入最终影像报告中的图像特征。当前的人工智能系统以各种专有和非标准格式提供输出。IHE人工智能结果(AIR)规范旨在标准化人工智能系统传达结果的机制[25]。依赖以图像为中心的专科医生查看人工智能工具的输出,然后将结果口述到临床报告中,无法实现这些新工具可能提供的工作流程效率。尽管如此,必须提供一种机制,使报告解读者在人工智能发现最终确定并签署报告之前对其进行审核。关于人工智能结果填充报告,对数据来源的需求日益重要。报告使用者必须知道观察结果是由算法工具生成的、使用了哪些源数据以及结果是如何得出的。
源图像
许多IMR示例的关键要素之一是报告中包含的缩略图。一些多媒体报告实现使用屏幕截图来包含在报告中。然而,大多数屏幕截图没有返回源图像的链接,也无法使报告读者点击超链接在专用图像查看器中结合周围图像查看全保真图像。为了生成具有这种交互性的IMR,成像系统必须支持图像的唯一标识符(UID)、用于检索这些图像的应用程序编程接口(API),以及启动完整查看器以结合上下文显示这些图像的机制。
DICOM标准(PS3.4)为从放射学、心脏病学和产科 department 常用的PACS或厂商中立归档(VNA)中检索图像和注释定义了明确的指南[26]。其他学科如牙科、病理学、皮肤科、眼科和内窥镜检查通常使用专有系统来采集、存储和显示可能未标准化的图像。关于所有医学图像是否应内部存储在符合DICOM标准的归档中的争论超出了本文的范围。为了就如何以厂商中立和互操作机制将图像整合到报告中进行有意义的讨论,必须满足某些前提条件。例如,成像系统可能将渲染的JPEG图像存储在按专有文件命名约定索引的文件系统上。报告工具如果没有标准接口,就没有厂商中立的方式在IMR中引用这些图像。更糟糕的是,一些孤立的图像采集设备,例如眼科中的设备,可能没有任何网络连接来将图像传输到其他系统。美国眼科学会最近发布了一份立场声明,倡导厂商采用DICOM标准[27]。需要像这样的基层努力来为跨以图像为中心的专科的IMR提供基础。
DICOM标准定义了一套唯一标识符(UID)体系(PS3.5)以及一个信息模型,该模型能够明确无误地引用一次影像检查中的检查、序列和实例(PS3.3)[28]。一组相关图像可以存储为一系列实例(这在CT和MRI中较为常见),也可以存储为多帧实例中的各帧(这在超声中更为常见)。该标准还规定了DICOMweb(PS3.18),这是一种用于检索图像的现代机制[29]。统一资源定位符(URL)通过感兴趣的检查、序列、实例和/或帧的UID来构建。特定图像既可作为DICOM对象检索,也可渲染为JPG、PNG、GIF、MPEG、MP4或H265等格式的图像或影片。如果特定UID未知,DICOMweb还定义了查询功能。FHIR ImagingStudy资源定义了一次影像检查中所有实例关键元数据的紧凑表示[30]。重要的是,该FHIR资源通过DICOM UID引用序列和实例,并依赖DICOMweb进行图像的实际检索。所提出的成熟度级别受数字影像采纳模型[31]启发,描述了给定系统可以如何存储图像,最终目标是支持IMR(图4)。DICOMweb支持是影像系统支持厂商中立IMR创建的最低要求。厂商不仅必须支持DICOMweb接口,还必须提供API以低成本集成系统,这一点至关重要。
在病理学中,数字图像兼容性和检索方面的问题仍然是互操作性的重大障碍。各种类型的数字图像可在病理工作流程的各个步骤中采集,而这些图像通常驻留在厂商特定平台中,往往缺乏标准化的图像传输机制。全切片成像(WSI)是从含有组织学或细胞学性质显微图像的玻璃载玻片创建单张大型高分辨率数字图像的过程,是病理学中最现代且最知名的成像形式,但尚未在临床实践中广泛采用。数字病理学厂商对WSI的DICOM标准化表示(PS3.3)的支持持续增长[32]。尽管WSI获得更多关注,但病理学中最常见的数字图像类型是使用数码相机在标本解剖过程中拍摄的照片。这些“大体照片”补充标本的文字描述,用于记录肿瘤和其他病变等宏观所见的大小、位置和外观。尽管可以通过DICOM实现互操作性,但它很少用于大体摄影。病理学中其他类型的临床成像也是如此,包括明场显微照片、荧光显微照片和透射电子显微照片。这些数字图像充其量会被收集到实验室信息系统(LIS)中或存储在独立图像存储库中,但很少最终进入PACS、VNA或其他支持DICOM的存储库。
将索引定位到DICOM实例级别的常见方法对许多场景已足够,但对其他场景可能不够充分。例如,感兴趣的图像可能在更大的WSI数据集中具有特定的缩放级别和视野。在编码其他类型媒体的模态中,图像索引也具有挑战性。手术或内镜检查过程中可能采集的视频通常以有损方式压缩,因此无法引用单个帧。通常,在引用视频或音频内容时,需要引用文件中特定的时间点。DICOM结构化报告(定义于DICOM PS3.3)允许使用时间坐标(TCOORD)值类型,可能更适合视频引用。随着在CT和其他高分辨率横断面成像的查看器中,数据集的动态3D操作变得越来越普遍,关键图像可能是动态创建的。动态创建的图像可以保存为二次采集实例。然而,这种机制类似于截图创建,会丢失IMR中图像引用的大部分价值。相反,3D数据集的自定义多平面重建可以保存为DICOM平面MPR体积呈现状态(DICOM PS3.3)。
注释
在解读图像的过程中,以图像为中心的专科医生会查看源图像并创建注释,以指示发现的位置并量化疾病。专科医生可以对图像进行定量测量,例如线性距离测量、具有平均像素值的圆形感兴趣区域(ROI)或3D体积量化。专科医生可以添加箭头、椭圆或文本框等注释,以在图像本身中突出显示和解释发现。专科医生可以将特定图像标记为重要的关键图像。尽管基本注释工具在不同学科和软件包之间类似,但实现细节差异很大。
基本注释形式可以是非数字化的,例如放置在病理切片上并用数码照片拍摄的尺子或蜡笔标记。一些数字工具在源图像中“烧入”注释(例如超声系统),从而阻止查看不带注释的图像。其他工具可能实现自己的专有注释编码模式,与其他系统不兼容。DICOM标准描述了若干以供应商中立格式定义注释的机制[33]。临床系统最常使用DICOM灰度软拷贝呈现状态(GSPS)或其彩色等效项来编码和传输多种类型的图形注释。
呈现状态(Presentation State)描述如何对图像的各种显示参数进行编码,包括注释的图形内容。呈现状态不对发现的任何语义解释进行编码。DICOM结构化报告(SR)对二维、三维或时间坐标、测量值和发现进行编码,并附带编码标签。关键对象选择(KOS)对象是SR的一种子类型,它引用特定的“感兴趣”DICOM实例以及文本或编码标签。创建丰富的语义标记(注释的图形坐标或分割及其含义解释)通常是劳动密集型的,需要用户使用结构化数据采集下拉框而不是语音识别系统[34]。除了用作临床注释的简单图元之外,DICOM标准(PS3.3)还定义了可编码的更复杂的注释形式,包括描述图像特征分割(SEG、DSO)、放射治疗结构集(RTSS)、真实世界值映射和参数映射的格式。这些丰富的像素注释手动创建非常耗时,因此在临床工作流程中不常创建。然而,AI分割工具的出现可能使这些类型的注释在临床应用中更可行地纳入IMR。
将图像发现与语义注释编码相关联,可能有助于将放射学和病理学发现作为疾病的纵向病史进行关联。目前,实现这一功能的工具需要半自动化干预来关联随时间推移的特定观察结果。患者级语义注释有可能将病理报告与记录活检和/或手术标本位置的放射学图像相关联。新的放射学病理学一致性IHE规范描述了如何从结构化报告中收集离散数据元素以创建综合报告,在其中评估结果的一致性,并将报告共享至EHR或医疗机构使用的信息系统[35]。综合报告将从结构化放射学和病理学报告中提取数据,比较提取的结果,并根据结果的一致性分配评分,该评分将纳入新的综合报告中。
存在用于构建患者特异性图像和其他诊断检测结果时间线的工具[36]。由于缺乏标准化数据,图像必须使用自然语言处理(NLP)或手动标记来附加以本体为参照的元数据标签。在缺乏将图像观察结果与发现相关联的语义注释的情况下,必须手动拖放图像以将图像与特定发现相连接。其结果是形成一个IMR,其中相关的多媒体内容在时间线中链接,用以展示疾病的自然史。
提出的成熟度级别对给定系统可如何存储图像标注进行了分类,并在图5中展示。为了将图像标注的上下文与报告关联起来,标注必须符合某一标准,例如DICOM表现状态或结构化报告,这些标准描述了未烧录进图像的标注(非破坏性标注)。在报告中手动口述测量值的工作流程耗时且容易出现人为和/或转录错误[37]。标注标准有助于将测量值传输到报告中[38]。这些标准还可以编码这些图像标注的语义含义。报告撰写工作流程必须演进,或许可借助AI工具增强,以实现对更有意义的语义标注的捕获和记录。
报告撰写流程
报告工作流程中的关键的技术障碍是缺乏一种标准的、厂商中立的方法来将图像观察结果即时传达给报告撰写工具。例如,放射科医生可能在PACS查看器上识别并测量胸部CT中的肺结节,同时在语音识别系统中口述测量值、图像位置和表现。要创建IMR,必须将图像的唯一标识符传达给报告撰写系统,以便可以将指向该图像的链接纳入最终IMR中。从PACS实时传输测量值可以减少仅通过口述创建报告时的负担和潜在错误。在PACS显示中创建的测量值可以实时传输到报告系统,以作为文本和结构化字段纳入报告[5, 38]。
报告系统供应商通过引入专有API对此流程提供了改进,允许自动传输信息以纳入报告文本中。PACS可以利用这些API作为与报告系统集成的手段。通常,当用户在用户界面中按下按钮或发出语音命令明确选择插入特定数据元素时,数据插入在报告文本中的当前位置完成。当前实现相比手动输入或口述有所改进,但存在若干缺点:API的专有性质限制了互操作性和可交换的数据类型,并且需要更大的开发和维护工作量。
由PACS捕获的测量值通常缺乏其定义所在的语义上下文——例如,病灶长径和短径的两个垂直测量值以坐标形式传输,其确切含义由报告中的文本叙述来定义。因此,即使实现了数据的自动传输,当测量值被插入报告中错误的位置时,仍可能发生语义错误。
尽管PACS可以通过此类API在提交数据时提供指向图像的超链接,但这种超链接的使用是有限的,因为报告系统或下游报告查看系统通常不提供通过那些超链接进行导航并访问影像内容的能力。
要缓解这些缺陷,需要更高水平的互操作性,使所有参与系统都能可靠地生成、交换、解读和呈现报告的完整多媒体内容。需要一种新型接口来在专有的单一厂商图像查看与报告系统之外实现这一功能。
PACS与报告系统之间的实时通信
如上所述,IMR的一个关键要素是能够纳入临床发现,例如测量值和ROI,并带有指向源图像的交互式链接。传统上,这些注释、标记、呈现状态和关键图像可以作为DICOM对象(如GSPS、SR或KOS)捕获。这些对象设计用于捕获证据以供长期参考,而不是用于实时通信或合成。大多数PACS会在会话结束时创建这些证据对象,以便将以图像为中心的专家创建的所有数据点捕获到一个对象中,而不是创建多个证据对象从而导致每个数据点一个对象。因此,这些DICOM中的证据对象是查看IMR时后续交互式访问的良好资源,但不适合作为报告会话期间实时通信的有效载荷。当以图像为中心的专家捕获测量值、感兴趣区域和其他数据点时,PACS应实时向报告系统提供这些数据点,而不引入任何不必要的中断,也不向永久记录中添加临时内容。
这些实时通信通道的设计通常有两种版本;发布/订阅模型和对等模型如图6所示。在发布/订阅模型中,为发布者系统创建一个主题以发布消息。对该主题感兴趣的消费者系统创建自己对主题的订阅以接收通知。中介位于发布者和订阅者之间,负责管理主题和订阅,以确保给定主题上的消息被递送给所有订阅者。在对等模型中,没有中介;发布者直接连接到消费者。这两种模型各有优缺点。当存在多对多的发布者与订阅者时,发布/订阅模型扩展性良好。然而,它需要更复杂的基础设施,因此设置起来也更复杂。对等模型更容易上手,但可扩展性较差。
可以使用多种技术来实现图像查看系统与报告撰写系统之间的高效通信通道。例如,HL7的FHIRcast使用发布/订阅模型[39]。它使用WebSub W3C标准[40],最初是作为应用上下文同步标准而提出的,扩展了SMART on FHIR认证模式。在IMR场景中应用FHIRcast时,PACS可以发布关于检查的消息(例如放射学检查的标识符)以及特定图像和测量值的细粒度上下文共享(例如测量详情和引用图像),一个或多个系统可以订阅此通知并相应地作出响应;特别是,口述系统可以在检查上下文中启动,并在口述过程中插入测量值或图像引用。FHIRcast中的消息载荷(即事件)是FHIR资源,例如observation。
对于图像查看系统和报告撰写系统均为Web应用的场景,由于需要中介者,FHIRcast可能过于重量级。HL7上下文管理规范早于FHIRcast,但从未被广泛采用,部分原因是需要“上下文代理”。[41] 所提出的SMART Web Messaging标准是一种轻量级替代方案,可以通过HTML5(超文本标记语言)Web消息传递[42]传输与FHIRcast相同的事件载荷。这使两个系统能够在同一浏览器进程中使用与FHIRcast集成相同的载荷进行通信,从而使开发者能够快速集成,然后在不修改事件载荷的情况下逐步将解决方案增强为FHIRcast。
需要注意的是,这种实时通信不限于IMR,而是普遍适用于许多场景。一种从图像查看系统共享细粒度上下文的实时机制可以为决策支持系统创建插件架构,以扩展图像分析和报告流程。在我们之前的示例中,AI系统可以收到新测量值的通知,提取测量值的源图像,并自动识别解剖位置和Lung-Rads评分,然后将其传输到报告系统。
报告撰写中的安全问题
与任何两个或多个临床系统之间的通信一样,安全性是设计考虑的关键部分。报告需特别关注三个方面:(1) 身份与授权,(2) 通信机密性,(3) 数据完整性与可用性。在身份方面,可以采用零信任模型来验证发布者或订阅者是否被授权传输或接收数据。在建立系统间通信时,加密方法和协议的选择应足以确保数据在传输过程中的机密性得到保护,以防止通信被恶意威胁行为者拦截时发生泄露。发送和接收系统都必须能够验证传输过程中数据的完整性。此外,为避免服务中断,应根据情况在通信系统之间采用最佳实践,例如(但不限于)Web应用防火墙(WAF)、负载均衡器和数据丢失防护(DLP)系统。
报告交换
要使IMR具有临床价值,报告必须传输至下游系统(例如EHR),临床使用者可在其中查看。报告还应能够跨可能不共享同一EHR的机构进行传输和查看,理想情况下功能保持完好。根据用例和复杂度的不同,IMR可以采取多种形式,并存在于结构化报告的连续谱上[43]。IMR可以以自由形式的叙述文本、结构化/概要式报告或某种组合的形式存在。尽管自由形式的叙述可以通过包含标题和副标题的模板来组织,但真正结构化的报告是指其中编码的观察结果根据SNOMED CT或RadLex等本体与编码字段相关联的报告。
概要式报告是结构化报告的另一种称谓,其中所有发现均被描述为离散数据元素[44]。向概要式报告的转变最初出现在病理学领域。已定义通用数据元素(CDE),并在报告特定研究类型时要求使用[45]。这些CDE可以以编码方式发送,因此计算机系统易于读取。HL7 V2和FHIR标准均提供将结构化值与文本报告一起编码的能力。包含结构化观察结果(例如CDE)的IMR可以驱动下游工作流程,并可用于AI算法的训练和持续改进。
尽管在各个以影像为中心的专科中,报告过程正朝着增加结构化的方向发展,但叙述性报告对于传达医学实践中国有的细微差别、模糊性和临床整体判断仍然至关重要。IMR通常同时包含结构化和叙述性内容,二者可以以多种方式组合。顶层消息格式可以包含编码内容和用于叙述性报告的特定部分。此外,叙述性报告本身可以采用标记格式,例如HTML或XML(可扩展标记语言),允许在词或句级别嵌入结构化内容。IMR的标志性特征是叙述性文本内容与图像、图表和超链接混合在一起。讨论了不同类型的消息传递和报告呈现格式,这些格式可以将结构化内容与报告有效载荷捆绑在一起。
消息传递格式
为了在软件系统(例如报告创建系统和电子健康记录(EHR))之间交换报告,报告必须与描述性元数据捆绑在一起,并使用约定的传输协议以特定格式传输。此处描述的消息传递格式既规定了消息的格式,也规定了要使用的传输协议。传输协议的讨论不在本文范围内,但标准化传输对于报告交换至关重要。
HL7 V2
目前,大多数临床报告以HL7 V2 ORU消息的形式从报告系统传输到接收系统,如EHR和PACS [46]。HL7 V2是一种交换格式,结合了关于报告的结构化元数据和报告本身。HL7消息由位于不同行上的不同命名段组成;每个段以管道符分隔为编号字段。临床报告包含在观察段(OBX)中,报告内容可以作为纯文本在消息中传输,也可以作为Base64编码的附件传输。除报告文本本身外,HL7消息还可能包含附加的OBX段,用于定义编码观察结果。北美中央癌症登记协会(NAACCR)使用这种方法来定义将癌症概要报告作为结构化数据传输的标准 [47]。尽管HL7 V2格式无处不在,但许多下游系统(如EHR)无法解释此类结构化报告;通信标准的好坏取决于接收和传输系统的一致性。在实践中,实验室信息系统将结构化报告发送到癌症登记处和数据仓库,并向EHR发送仅包含叙述性报告的简化HL7 V2消息。
HL7 FHIR
HL7 FHIR是一组模块化资源,可以捆绑并相互链接,以在医疗保健环境中传达复杂信息。FHIR DiagnosticReport是一种资源,可作为报告的容器,并可包含附加资源,其中可能包括附加图像或编码为FHIR Observation的离散数据元素。DiagnosticReport可以在Bundle中与Composition组合,Composition定义了各种离散数据元素如何组合在一起。与HL7 V2一样,FHIR DiagnosticReport可以包含presentedForm,即以下报告格式之一中叙述性报告的Base64编码表示。或者,叙述性报告可以在FHIR Composition中描述。
DICOM SR
DICOM结构化报告(SR)对象系列(PS3.3)已在临床实践中广泛采用,用于在检查采集过程中编码数据,例如CT检查的剂量数据或超声测量值。DICOM SR specifically将语义与呈现分离,不支持包含预格式化文本。然而,SR报告可以引用其他DICOM对象,包括图像和DICOM封装的PDF。SR文件使用DICOM传输机制进行传输,该机制受到PACS的广泛支持,但EHR支持较少。尽管DICOM SR作为模态和PACS之间的格式取得了成功,但DICOM SR作为报告创作系统和EHR之间传输的消息传递格式的采用被认为不太可能。
报告呈现格式
上述消息格式可能足以编码一份仅包含一系列编码观测值的纯概要式报告。然而,IMR 的特征在于其叙述性内容将格式丰富的文本与表格、图像、图表和链接混合在一起,以描述检查所见。这些格式被封装在上述容器中,必须在接收端的 EHR、PACS、LIS 和/或 RIS 中解析并显示。每种格式连同各个类别在表 1 中进行评级。
纯文本
纯文本报告是一串 ASCII 或 Unicode 字符,如同使用打字机创建的那样。文本报告仅通过换行符和制表符提供最低限度的格式,强调通常通过大小写变化来传达。显示系统可自行决定的多种因素决定了内容对齐和换行是否与创作系统上相同。这些因素包括字体、字符间距、显示窗口宽度和制表符宽度。纯文本报告的主要优点是,由于它们几乎被普遍支持,通常可在系统之间传递而不会降级。
便携式文档格式(PDF)是 Adobe 在 20 世纪 90 年代初基于 PostScript 格式开发的一种专有格式。Adobe 于 1993 年将 PDF 开放免费使用,2008 年该格式的控制权由国际标准化组织(ISO)接管。PDF 旨在使文档在用于生成和显示该文档的设备(如打印机、计算机显示器、移动电话)、操作系统或应用程序之间,在设备能力范围内显示效果保持一致。由于与专用文档查看器集成,PDF 通常可在商业 EHR 中查看。PDF 还可封装于 DICOM(PS3.3)中,以便在 PACS 中分发或在 VNA 中归档。
HTML
HTML 是广为人知的基于文本的格式,用于编码网页。它支持复杂布局、超链接、多媒体、多种字体和文档样式。HTML 可与 JavaScript(一种为 Web 浏览器中大部分交互体验提供支持的编程语言)结合,以支持复杂的交互式应用。HTML 报告可在 Web 浏览器或其他支持 HTML 显示的应用程序中查看,包括许多 EHR、RIS 和影像查看器。在许多用途中,HTML 文档依赖于单个 HTML 文档文件之外的内容,如样式表、媒体或图像资源。由于报告文档并非自包含,且所引用的资源可能存在于具有不同生命周期管理策略的系统上,这些资源可能被修改或随时间推移变得无法访问,称为“链接失效”。若采用规定性方法嵌入资源,例如对图像使用数据 URL 并采用自包含样式元素,则使用 HTML 进行 IMR 可能效果最佳。
RTF
富文本格式(RTF)是 Microsoft 在 20 世纪 80 年代末开发的一种专有文档格式。它支持超链接、多媒体、多种字体和文本样式。多媒体自包含在 RTF 文件内。Microsoft 产品与其他第三方产品对 RTF 功能的支持有所不同。RTF 在许多 EHR 系统中得到支持,并且由于其基于文本的方法,相对容易以编程方式生成。然而,由于 RTF 从未真正实现标准化,确定每个 EHR 支持哪些功能(如表格)可能非常困难。
HL7 CDA
HL7临床文档架构(CDA)是一种基于文本的标准,用于在XML中指定结构和语义[48]。XML是一种类似于HTML的基于文本的格式。HTML主要编码呈现形式,而XML用于编码任意结构或含义。作为基于XML的格式,CDA不指定视觉格式,必须使用可扩展样式表语言转换为渲染后的报告。CDA可以支持多种文档类型,并可以通过多种方式交换,包括通过HL7 V2以及作为独立文档。CDA主体以结构化或非结构化形式包含文档的临床内容。主体可选地可以包含Base64编码的内容,包括RTF和PDF。CDA可以同时用作消息传递格式和标记格式。诊断影像报告内容的模板(CDA实施指南)以及DICOM SR与HL7 CDA文档之间的转换在DICOM标准(PS.3.20)中有所规定。迄今为止,该格式尚未在影像报告中获得大规模采用。
HL7 FHIR Composition
Composition资源描述由多个部分组成的报告。每个部分可以包含一个文本元素,其中包含对部分文本的描述,并使用有限的XHTML进行标记,包括链接、图像和内部包含的样式属性。XHTML是HTML的受限版本,其区别之一在于禁止JavaScript活动内容,以牺牲交互性为代价提高了安全性。
其他格式
除上述格式外,影像管理报告(IMR)可能以已在其他领域广泛采用的现代标记语言进行编码。示例包括Wikitext,用于MediaWiki项目(如Wikipedia),以及Markdown,已在基于Web的应用程序中广泛实现,最著名的是在GitHub上。Wikitext和Markdown均设计为可由人类直接编写和阅读,但通常渲染为HTML用于显示目的。Markdown的一个关键设计原则是文档应易于以纯文本形式查看,语法不干扰其可读性。FHIR在某些需要一定程度格式化的元素中使用Markdown,但认为完整的XHTML支持过于繁重。
报告交换中的安全问题
报告交换需要考虑许多安全影响。确保报告创作工具与EHR之间通信渠道安全的具体细节不在本讨论范围内。当每个系统或数据源连接时,数据完整性、身份验证和授权、基础设施以及呈现设备安全性应与数据的生命周期相适应,并在系统连接之前定义最低标准。使用已弃用加密方法的遗留系统将给其他连接系统(如报告创作工具和/或EHR)带来潜在风险。确保所使用的加密基于适合消息传递和传输协议的密码和强度,例如在HTTPS中标准化使用TLS1.2或TLS1.3,将提高信息交换的整体安全性。
所讨论的某些格式会创建纯文本报告中不存在的新威胁面。PDF文件可以包含用于扩展功能的脚本,但可能被劫持以嵌入病毒。嵌入HTML中的JavaScript可以像在互联网上一样启用交互式小部件。运行此类代码需要对代码及用于查看报告的设备的开发、维护和安全性有一定程度的信任。此类丰富报告的交换可能需要报告的加密签名或其他机制,以确保报告从来源到接收者的完整性,但此类方法因缺乏广泛部署的证书分发和签名验证架构而受到阻碍。由多个系统对报告创建者和接收者进行身份验证和授权,对于在众多不同用户角色和访问方法之间维护数据机密性至关重要。从不受控的远程位置检索主报告或次要内容的报告格式可能容易受到检索恶意内容或链接失效的影响。
报告查看
在查看影像报告时,医疗保健提供者以及越来越多的患者试图理解所见总结,以确定疾病状态和患者护理中可操作的下一步措施。下一步的最佳规划可能涉及在以影像为中心的专家的解读指导下参考图像。直接查看图像可能有助于规划手术方案、监测和评估治疗、教育患者,或使转诊医疗保健提供者对影像所见形成自己的意见。
图像上下文链接
交互式多媒体报告可能包括嵌入的关键图像和其他图形,如直接与文本一起呈现的图表或示意图。然而,交互式多媒体报告的标志性特征是交互功能,通常基于嵌入报告中的HTML超链接,可启动专用图像查看器以直接检查源图像中的指定位置。例如,CT图像将在一组可滚动图像的上下文中呈现,或放大的病理视野将在全切片图像的上下文中呈现。这种直接链接消除了报告中引用所见的所有歧义,并允许阅读报告的临床医生在以影像为中心的专家的解读指导下进一步审视源图像。
报告可能从不同入口启动,并与不同的图像显示系统交互。对许多用户而言,报告主要在电子健康记录(EHR)中显示,并将链接到企业图像查看器。EHR必须能够呈现IMR的内容,以使格式与创作过程所意图的格式相匹配。以图像为中心的专科医生也可能在其图像查看环境(如PACS、LIS或WSI系统)中查看报告,并期望超链接在其诊断查看器中启动图像,以便将当前检查与既往检查进行比较。IMR也可在专用报告查看器(例如从EHR启动的查看器)中查看,该查看器可能提供EHR中所不具备的额外交互性。在美国,法律要求报告必须以电子方式提供给患者[49]。同样,IMR也可通过门户提供给患者,并附有图像和超链接[22]。最后,IMR可被导出到健康IT生态系统边界之外,或许是在封装为单个文件之后(例如,通过电子邮件发送给网络外提供者的PDF报告)。为查看IMR,必须考虑对若干用例的互操作性要求的支持,包括科室访问、通过EHR的企业内访问,以及为创建机构之外的用户提供的企业间访问。
IMR的广泛采用将需要行业就能够正确编码文档的文件格式达成共识。还需要一项超链接标准,以便能够在上下文中启动源图像系统。IHE调用图像显示(IID)[50]规范提供了一种通用URL方案,用于在检查上下文中调用查看器,例如当在EHR中点击链接时。该规范规定了显示端在收到请求时提供一整套诊断图像交互式查看的要求。所需交互性包括窗宽窗位调整、缩放和平移以及图像导航。安全性通过标准HTTP机制处理。显示端可采用基于浏览器的查看器、单独的小程序、插件或厚客户端查看器,甚至单独的物理机器等形式;调用方式保持不变,并且与查看器实现机制无关。
IMR IHE规范将扩展IID,以定义查看器启动以显示特定图像实例,并在其父序列的上下文中呈现。图像查看系统必须遵循标准API,以便在被适当启动时在其父级上下文中打开图像实例。例如,多媒体报告中的缩略图可能代表一幅轴位图像,该缩略图是指向完整查看器的链接。点击后,应向用户呈现缩略图所代表的完整分辨率轴位图像,并在可滚动查看器中显示,使用户能够看到DICOM序列中存在的相邻解剖结构。此功能需要一项新(或扩展)标准,并在各供应商中广泛采用。
特殊图像查看情形
在科室访问的场景中,IMR可由专科医生在专用系统中查看。例如,放射科医生可在PACS查看器内打开IMR,病理科医生可在LIS内打开IMR,临床医生可在EHR内打开IMR。IMR中的缩略图图像可以是特定病理的超链接。当在放射科PACS中打开IMR时,放射科医生会期望该超链接导航到感兴趣缩略图所指示的PACS视口,并在父图像集的上下文中进行导航,从而允许他们通过交叉链接在周围图像中滚动,并跨多个图像序列进行引用。查看IMR的病理科医生可能会点击超链接,打开一个全切片图像(WSI)查看器,显示缩略图所描绘的特定视野。如果外层应用程序拦截URL,这种深度集成是可能的。查看软件不是在网上浏览器中启动URL,而是解析URL的路径,并由查看软件解释内容以驱动图像显示。该工作流程类似于智能手机操作系统中的深度链接过程。智能手机可以拦截URL链接以启动原生应用程序,为有权访问特定原生应用程序的用户提供更丰富的体验,同时保持兼容性,以便为无权访问原生应用程序的用户启动Web应用程序。
对于在始发机构之外共享的IMR,其预期尚不明确。从安全角度来看,超链接将用户引导回始发机构的企业图像查看器具有挑战性。许多组织没有可供机构防火墙外授权用户访问的图像查看器。接收照护者可能无权访问企业查看器。访问代码可以嵌入报告内,但这种方法会带来安全风险。同样,当IMR被另一机构EHR摄取时,预期行为是什么?超链接应指向始发查看器,还是托管EHR应拦截URL并尝试在本地企业查看器中显示图像?如果图像不存在于托管机构的PACS或VNA中,预期行为是什么?当IMR在机构之间转移时,IMR内的URL是否应被更改?应对这些挑战的一种可能解决方案是,IMR在组织之间共享时优雅地降低功能。缩略图图像可以在报告共享之前与报告捆绑在一起,如在FHIR DiagnosticReport中那样。或者,报告可以在传输前以PDF等固定格式呈现,封装多媒体,尽管这否定了IMR的许多优势。
报告查看中的安全问题
交互式多媒体报告(IMR)的交互性在查看方面引发了若干文本报告所不具备的安全顾虑。IMR中的超链接为启动图像查看应用程序提供了上下文。图像查看应用程序必须验证用户已通过身份验证并获得查看这些图像的授权。这些功能可由电子健康记录(EHR)或显示报告的其他系统提供。交互性还带来了链接可能被恶意替换的可能性。正如网络钓鱼电子邮件可能将用户引导至恶意网站以收集个人信息一样,恶意IMR可能将用户重定向至托管恶意代码的图像显示服务器。这些威胁可通过零信任模型加以缓解。在零信任模型中,每次显示报告时,都会根据用户上下文、其所使用的设备、证书、所使用的身份验证形式以及与报告访问相关的其他潜在变量,重新评估身份验证和授权。例如,用户可能有权访问某患者的皮肤科图像,但无权访问特定手术部位(如性别重置手术)的外科图像。使用零信任模型将能够对报告中呈现的特定数据实现更大力度的控制。
讨论
以图像为中心的专业人员向临床同事和患者传达诊断和介入影像学发现。影像学发现可自动驱动医疗机构中的下游工作流程或业务逻辑。交互式多媒体报告促进了以图像为中心的专业人员与报告使用者之间的沟通。IMR旨在改进传统的描述性文本报告,后者可能包含以图像为中心的专业人员解读中固有的偏倚。IMR将通过便捷访问源数据和相关文档来丰富诊断报告。最终,源图像包含丰富的信息,可进一步为临床判断提供依据。将多媒体整合到诊断报告中可促进向使用者(即临床医生和患者)更清晰地传达疾病过程,并提供增强的临床照护。IMR通过提供与表格、图像、图表以及指向源图像的超链接相整合的叙述性描述,以更好地说明以图像为中心的专业人员所描述的内容,从而减少解读图像报告时的猜测。将图像测量值和位置自动传输至IMR,并结合通过多媒体对报告内容的视觉确认,有可能在促进报告创建的同时显著改善患者安全。IMR简化了肿瘤委员会期间医疗服务提供者之间的沟通。当多名医疗服务提供者协作进行诊断解读时,IMR促进了协作(例如,在病理环境中的数字签核期间)。教育、临床相关性、放射-病理相关性、质量保证(QA)以及医患沟通均因IMR而得到促进。IMR内的结构化内容支持AI算法的训练和持续改进。IMR使报告能够超越专科特定应用,弥合以图像为中心的专科与其报告使用者之间的差距。
任何特定的IMR部署都可能实现上述部分或全部目标。图7提出了一个将IMR特征视为成熟度层次的思维图式。对文本报告进行增强格式化是IMR的基础。这些报告在交互性和结构特征方面存在广泛的谱系。例如,一个带有指向图像查看器超链接的PDF报告可能具有格式化和基本交互性,但缺乏编码结构。按照IHE IMR技术补充文件[20]所提出的,将IMR编码为FHIR DiagnosticReport,可使报告具有编码结构。交互性和格式化由编码为HTML的报告文本所介导。
结论
IMR使用率的提高需要在图像存储库、报告创作工具和EHR之间实现标准化。所概述的工作流程凸显了在报告创作、报告交换和报告查看方面进行标准化的必要性。目前正在制定的IHE IMR规范将界定新兴标准在IMR交换和显示中的使用。IHE流程邀请公众对所提议的规范提出意见,并为解决方案开发者举办Connectathon以测试其应用程序。需要进一步开展工作,以界定报告创作与图像显示参与者之间供应商中立的编排。供应商必须支持新兴标准,并以非 prohibitive 的成本向IMR解决方案开发者提供访问权限。IMR的创建需要图像存储、注释和报告系统具备某些前提条件。这些前提条件已由许多放射科满足。包括病理学、内镜学、眼科学和皮肤病学在内的其他以图像为中心的专科的解决方案开发者必须采用类似标准,以实现可互操作、供应商中立的交互式多媒体报告。
引用
- Berkowitz, Kwan, Cornish, et al. Interactive Multimedia Reporting Technical Considerations: HIMSS-SIIM Collaborative White Paper. J Digit Imaging. 2022. PMID: 35962150. doi:10.1007/s10278-022-00658-z
- 全文:PMC9485305(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC9485305/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。