多专科企业影像工作组关于交互式多媒体报告现状与未来之路的共识:HIMSS-SIIM协作白皮书
该白皮书由HIMSS-SIIM企业影像社区交互式多媒体报告工作组制定,提出交互式多媒体报告的共识定义,描述其在放射学、心脏病学等影像密集型专科的当前状态与长期目标,并指出系统互操作性、结构化报告使用有限等主要障碍。
要点
- 交互式多媒体报告将临床图像、视频、声音、影像元数据与文本、表格、图表、时间线、解剖图、超链接等整合,以优化沟通。
- 放射学中纯文本散文报告仍是多数检查的常规,结构化报告仍相对不常见,交互式多媒体报告仍属罕见。
- 主要障碍包括主导系统互操作性、放射学成像的广度、结构化报告使用有限以及克服真实或感知的抑制因素。
核心结论
- 交互式多媒体报告在放射学中仍属罕见,尽管整合纵向图像、文本报告、超链接、表格、时间线、标注等工具有诸多益处。
- 首要挑战仍是放射学常用诊断图像查看器、语音识别报告系统与电子健康记录之间的互操作性差距。
- 需要增强常用报告显示终端系统的多功能性和兼容性,并寻找实际方案解决可能干扰交互功能的安全与认证问题。
研究设计与样本
- 该白皮书由医疗信息与管理系统学会(HIMSS)与医学影像信息学学会(SIIM)的企业影像社区于2019年8月召集的交互式多媒体报告工作组制定。
- 工作组采用共识定义:交互式多媒体报告是结合临床图像、视频、声音、影像元数据和/或图像标注与文本、排版强调、表格、图表、事件时间线、解剖图、超链接和/或教育资源,以优化医学专业人员之间及医患之间沟通的交互式医学文档。
- 白皮书设有专科特定章节,描述影像密集型专科中交互式多媒体报告的当前状态与长期目标。
临床应用与阅片要点
- 乳腺成像和CT肺癌筛查管理机构已强制要求使用结构化词表及循证、专家衍生的结构化元素。
- DICOM灰度呈现状态、DICOM结构化报告及SR模板TID1500提供行业商定的机制来沟通、存储、定位和管理标注。
- 放射科医生可将报告文本超链接至全功能图像查看器,按需启动至所链接的发现,便于图像与文本的消费。
- 在创建交互式多媒体报告表格和图表时,放射科医生应认识到纵向成像的病灶可能在不同平面、不同对比条件下或不同模态上成像,这些差异可能导致测量变异及关于病灶进展或稳定性的潜在错误结论。
- 在将报告文本超链接至图像时,放射科医生可能需要从多个可用序列、图像或二次捕获中选择单一最佳关键图像,该单一图像同样可能向消费者错误呈现病灶进展或改善。
局限性
- 报告超链接功能在预期于宿主医疗机构之外访问时可能引发安全挑战。
- 许多电子健康记录目前整合图像的能力有限,最佳电子健康记录自然语言解析自动化以创建此类报告仍难以实现。
- 许多电子健康记录尚未部署显示交互式图表或测量表格所需的能力。
- 若供应商系统间的这些障碍无法克服,替代方案可能是放射科医生直接在电子健康记录内创建交互式多媒体报告。
- 即使放射科医生能轻松创建并发送此类报告,进入下游电子健康记录的专有和站点特定输出接口与集成常通过功能有限的便携式文档格式阅读器显示交互式多媒体报告,从而降低其质量与价值。
全文中译28 节 · 点击展开
引言
一份丰富的城市描述,配有标注的街道和街区地图、地标嵌入图像和视频、市民人口统计数据的表格和图表,以及指向附加内容的相应超链接,比仅凭文字描述能更好地帮助人们理解城市。按比例绘制的城市历史事件时间线能有效地向读者传达城市历史。将多媒体与文字元素整合已被证明能提高知识传递的质量和数量,因为不同形式的信息由使用者的大脑进行处理和整合 [1–3]。信息使用者在同一位置或用户界面中整合的视觉和文字元素之间根据其当下需求转移注意力。具有研究引人入胜的教育演示经验的组织建议将多媒体与描述性表格、图表、图注和注释相整合,以创建引人入胜的内容 [4, 5]。类似的视觉传播原则指导着广告和娱乐行业的内容创作 [6, 7]。
在医疗保健教育和知识共享领域,知名医学研究期刊鼓励论文作者纳入具有启发性的图形、表格和在线视频,以有效且高效地向读者传达结果和结论 [8, 9]。同样,提供患者异常的手持式3D打印触觉解剖模型,相比仅以文字描述异常的情况,能改善对疾病过程的理解并最终改善外科护理 [10–12]。正如交互式在线地图整合信息源以帮助使用者理解和利用复杂的城市信息,临床交互式多媒体报告整合多种形式的文字和影像数据以帮助医生理解患者的病情。不幸的是,当今大多数临床静态图像、视频和声音的创建仅伴随一份单独的纯文字描述,而非交互式多媒体与文字的整合。
2019年8月,来自医疗信息与管理系统学会(HIMSS)和医学影像信息学学会(SIIM)的志愿者工作组——HIMSS-SIIM企业影像社区,召集了交互式多媒体报告(IMR)工作组,以应对这一技术和临床机遇。IMR工作组的宗旨是“作为一个多学科论坛,分享交互式多媒体报告的成功与挑战,并激发以影像为中心的医学影像各亚专科的创新。”在此过程中,工作组通过了IMR的共识定义:“交互式医学文档,将临床图像、视频、声音、影像元数据和/或图像注释与文字、排版强调、表格、图表、事件时间线、解剖图、超链接和/或教育资源相结合,以优化医学专业人员之间以及医学专业人员与其患者之间的沟通。”
医学静态图像、视频、声音和模态生成的多媒体可来源于 [13] 以下途径:诊断性影像学或影像引导下的治疗,如超声检查、X线摄影、透视、CT、MRI和核医学。
以影像为中心的各专科中的证据记录模态,如可见光皮肤镜、内窥镜、显微镜和眼科相机。
可补充和丰富上述多媒体的文本要素和沟通辅助工具可能包括以下内容:结构化和概要式报告,具有在特定场景中一致使用的结构化标题。
结构化数据元素的要求和值(响应),例如肿瘤测量值。结构化大纲和数据元素允许在临床和研究信息系统及实体之间标准化地收集、传输、存储、检索和共享数据[14–16]。
排版强调,包括粗体、下划线、斜体、多色和突出显示字体,以及多种字体。
高产出、有代表性的关键图像或视频时间戳,清晰展示相关发现,可能带有箭头、椭圆、文字或类似显著标签的注释。
总结随时间追踪的生理测量值(例如超声心动图射血分数)或病灶大小(例如CT肿瘤体积)的表格和图表。
图形化时间线,将事务性、基于就诊的诊疗事件组织为按比例缩放的、纵向的患者健康或特定器官图形用户界面[17–20]。
解剖示意图,标识发现的物理位置,例如用于定位皮肤病灶或冠状动脉狭窄。如果正在追踪的两个病灶占据同一解剖位置,或该解剖位置难以用文字描述,示意图可以增加清晰度。
指向附加信息或功能的超链接。在患者门户上查看的报告中的超链接可以启动患者层面的教育材料。对于医疗保健专业人员,报告中的链接可以链接到参考文献。超链接可以启动报告使用者与创建者之间的同步通信工具,如聊天或视频电话会议,或异步工具,如带有患者和研究背景的安全电子邮件。图形化时间线中的超链接已被用于直接启动医学查看器至所引用的发现,或启动相关临床文档,如放射肿瘤治疗或手术记录[21]。
结构化报告连续体
医疗保健领域存在多种口述、模板化、标准化、基于表单、检查表、结构化和概要式报告。大多数临床文档和报告通过口述创建,使用或不使用语音识别软件,使用或不使用基于场景的模板以提高生产力和一致性。将结构化数据录入场景特定应用程序或表单(情境报告)是可能的,尽管通常仅应用于高度程式化、高容量、可重复的任务。在关于特定主题的报告中反复使用一致的组织方式,根据专业和地区的不同,被称为“结构化”或“概要式”报告[22, 23]。在某些情况下,布局、所需内容和使用的词汇也可能在不同程度上标准化。传输的结果可能以某种结构化格式编码,保留机器可读的结构化数据元素和代码,或保持文本形式,结构化组织和数据元素在没有自然语言处理(NLP)的情况下无法恢复。标准化的范围可能限于一个个人、团体、诊所、医疗保健系统、地理区域或整个专业。标准要求也可以以检查表的方式服务于提高质量。
对这些术语定义进行正式协调超出了本白皮书的范围。就本文而言,“结构化报告”涵盖使用预定义的组织结构,无论是否规定各个数据元素(概念和值集、带有预定义答案选项的问题),无论是否对布局、内容和表示进行正式标准化。这足以描述在生成交互式多媒体报告的背景下,结构化报告相对于非结构化报告的效用。
在随后的各专科章节中,我们描述交互式多媒体报告在若干以影像为中心的医学专科中的现状和长期目标。
放射学
1895年11月8日伦琴发现X射线及其医学应用后不久,影像检查结果和临床咨询意见通过纸质处方笺上的手写摘要进行传达[24]。这些原始手写报告逐渐演变为人工转录和/或打字的散文式文本摘要。20世纪90年代末和21世纪初,当今的语音识别散文式报告变得越来越普遍[25–27]。放射学报告在传统散文式报告风格之外,越来越多地包含基于标准词表的结构化元素,从而支持研究、互操作性和更好的沟通[28–31]。放射学交互式多媒体报告及其前身早已被描述,但仍未得到充分利用[32–38]。
现状
纯文本散文式报告仍然是大多数放射学检查的常规做法。报告通常包含一致的模板化章节格式。来自其他系统的数据元素,如电子健康记录(EHR)中的检查原因,默认填入报告中。放射学报告数据,即使是在报告应用程序中作为结构化数据创建的,通常也以非结构化形式传入EHR。
诊断放射科医师最常创建报告以回答主要负责患者诊疗的临床提供者提出的诊断问题。因此,放射学早期IMR开发旨在满足其他提供者的需求,例如,一群对诊断放射学CT检查结果感兴趣的肿瘤内科、外科和放射肿瘤科医师。用于肿瘤学目的的IMR可能成为执业机构的竞争差异化因素,因为它们可以整合多种功能,使下游医师群体更容易同时使用图像和文本[39–44]。
结构化和概要式数据比叙述性文本更适合生成交互式多媒体报告,因为其能够自动关联数据元素、图像和下游操作。乳腺影像和CT肺癌筛查的管理机构已强制要求使用结构化词表,其中包含基于证据的、由专家衍生的结构化元素[45, 46]。离散病灶测量值可转化为交互式多媒体报告中的肺癌CT体积计算、图表和表格。在解剖分割机器学习的背景下,测量标注可自动填充描绘肺部位置的解剖示意图。病灶大小增加超过阈值百分比可触发自动转诊医生消息传递、报告排版强调,并将数值填充至患者疾病时间线。序列号和图像号的数值可驱动图像缩略图传入报告。遗憾的是,即便放射学结构化报告仍相对不常见,像将结构化测量值从查看器传入预定义字段这样简单的操作也并非通常采用的工作流程。
理想情况下,更多放射学报告应以最少的医师干预纳入离散、可区分、定量和标注数据的传递。放射科医生正在参与标准化报告中所用概念和数据元素的努力,包括使用逻辑观察标识符名称和代码(LOINC)和医学系统命名法临床术语(SNOMED CT)本体扩展、北美放射学会(RSNA)RadLex®以及RSNA-美国放射学会(ACR)通用数据元素(CDE)开发。ACR和RSNA已创建整合这些结构化术语的标准化报告模板[47–54]。
放射科用于诊断报告的多数PACS系统允许放射科医生在图像上标注并标记判读放射科医生认为特别值得注意的“关键”图像。判读软件通常允许将图像缩略图纳入口述文本中,从而生成简单的多媒体报告。更高级的报告解决方案使报告文本超链接(即超文本)能够按需启动全功能图像查看器并定位至超链接的发现。从报告直接启动至带有测量和其他标注的相关图像可简化图像和文本的阅览,因为审阅者无需启动并登录单独的查看器、滚动浏览低产出图像,或花费时间和精力来可视化所关注的发现(图1)。这种链接至最显著参考影像发现的方式将节省转诊医生时间并改善对用户的服务。
对于存在多处病变的复杂患者,这些病变可能在不同时间接受了不同的介入、全身和手术治疗,采用无结构且冗长的报告所见段落来追踪各个病变的病史具有挑战性。纵向追踪表和图表可为报告使用者综合需要了解的病变层面信息,例如二维或三维测量值或体积、感兴趣区射束衰减计算值或组织灌注的生理学测量值。此类数据可能来自放射科医师在诊断查看器中手动创建的结构化测量或计算,也可能来自技师在设备层面执行的类似任务,后者尤其见于超声。通过病变所见或计算层面的表格和图表,新病变会生成新的表格和图表,而随时间随访的病变可使用实体瘤疗效评价标准(RECIST)[55]等计算方法进行追踪。其他相关信息如肿瘤标志物追踪可沿这些病变时间线添加。
当互操作性允许此类集成时,潜在的转录错误被最小化,且由于结构化测量值从查看器共享至创建的报告[56, 57],放射科医师的速度得以提高。共识标准如医学数字成像和通信(DICOM)灰度显示状态(GSPS)、DICOM结构化报告(SR)以及SR模板TID1500,具体提供了行业公认的机制来传达、存储、定位和管理此类注释[58, 59]。这些注释及由此产生的结构化数据可作为常规报告上的专家标注,用于机器学习算法的验证和开发,并已在IHE放射学AI结果集成规范中有所描述[60, 61]。报告中的超链接还可启动电子邮件、屏幕共享或寻呼或聊天功能,以便放射科医师与转诊医师之间进行沟通。一些机构已测试通过超链接启动的“患者友好型”教育性报告描述,用于说明重要所见[62]。超链接还可为下游医师启动质量改进反馈机制[63–65]。
通往未来之路
诊断和治疗的进步已转化为患者更长的生存期,进而对在整个患者诊疗过程中整理长期照护相关信息提出了更大需求。将目前在事务性或就诊基础上采集的数据整合为患者健康和器官特异性疾病的长期时间线是有必要的(图2)。放射科医生既可以自己生成并拥有这些基于时间线的交互式多媒体报告,也可以作为其他专科(或许是肿瘤科医生)策划和拥有内容的贡献者。放射科医生这样做将提升自身的专业价值。尽管整合纵向图像、文字报告、超链接、表格、时间线、注释和其他工具具有诸多益处,交互式多媒体报告(IMR)在放射学中仍然罕见。放射学IMR最常见的障碍包括主导系统互操作性、放射影像的广度、结构化报告利用有限,以及克服创建交互式多媒体报告的 واقع或感知到的抑制因素。
主导系统互操作性
主要挑战仍然是放射学最常用的诊断图像查看器、基于语音识别的报告系统和电子健康记录(EHR)之间的互操作性差距。HL7 FHIRcast的发展已开始弥合这一差距,尽管进展缓慢且仍仅有少数供应商应用程序支持。一些放射学实践采用创新的查看器与报告创建一体化应用程序,显著降低了IMR创建门槛,但这仅在少数机构可用[66]。即使放射科医生能够轻松创建并发送此类报告,进入下游EHR的专有和站点特异性输出接口与集成往往会降低交互式多媒体报告的质量和价值,因为交互式多媒体报告在功能有限的便携式文档格式(PDF)阅读器中显示。如今,甚至粗体、下划线和斜体等简单的排版强调都无法可靠地从报告系统传输到EHR。当预计在宿主医疗机构之外访问时,报告超链接功能可能带来安全挑战。
如果这些跨供应商系统的障碍无法克服,另一种选择是放射科医生直接在EHR本身内创建交互式多媒体报告。不幸的是,许多EHR目前整合图像的能力有限。用于创建此类报告的最佳EHR自然语言解析自动化仍然难以实现。最后,许多EHR尚未部署显示交互式图表或测量表格所需的能力。鉴于EHR在追踪长期患者结局中的作用,这些可能是开发机会。
放射影像的广度
放射科医生利用多种多样的成像模式和操作来诊断和治疗广泛的患者表现和疾病。交互式多媒体报告(IMR)的临床依据和技术要求因成像模式和个体病例发现而异。例如,在大多数无异常患者的放射学检查中,结构化格式、排版强调和附加的教育超链接具有潜在价值,但在许多情况下注释和图表可能并不需要。在诸如中心静脉置管等无并发症介入操作报告中,临床超链接可能有价值,但表格和结构化的生理或解剖数据段落则价值较小。此外,在创建交互式多媒体报告表格和图表时,放射科医生会认识到纵向成像的病灶可能在不同平面、不同对比条件下或不同成像模式上成像;这些差异可能导致测量变异,并可能对病灶进展或稳定性得出错误结论[67]。在将报告文本超链接到图像时,放射科医生可能需要从多个可用的序列、图像或二次捕获中选择单一最佳关键图像描述;如果该单一图像看起来大小发生了变化,例如在视野不同的两次检查之间,该单一图像同样可能向使用者错误呈现病灶的进展或改善。这些常见的临床变异凸显了在广泛的放射学检查中创建交互式多媒体报告时对灵活性、用户指导和标准操作建议的要求。
结构化报告
高质量的放射学模板化和结构化报告为同行医师提供精确的结论和管理建议:支持行政活动,如用于仪表板展示或登记库参与的活动,并通过要求临床要素和提供可选部分以补充信息来确保收入捕获的完整性。不幸的是,几十年来放射科医生通常口述自由文本散文。创建并一致地使用结构化报告需要来自倡导者放射科医生、支付方、学会或医院的初始推动,因为放射科医生与许多医师一样,在巨大的时间压力下执行临床职责。因此,新的高级报告选项不应妨碍报告周转时间,这一点至关重要。如果新的高级报告技术不快速简便,即使可用,也不太可能被采用。已有研究表明,如果技术以令人满意的方式部署,放射科医生确实会在临床实践中采用交互式多媒体报告技术[68]。
跨学会和行业讨论正在进行中,以标准化和映射跨本体的身体部位,使得“深层”成像解剖结构(如膀胱)可以与外部“表面”解剖结构(如骨盆或生殖器)相关联。这些跨本体工作将有助于将放射学图像与其他专科的图像相关联,例如,从创伤后急诊室膀胱超声和尿路造影CT到膀胱镜检查和脐下外部可见光皮肤摄影。这项跨本体工作将支持多专科结构化报告互操作性,并促进在档案中轻松标记敏感或隐私保护的皮肤摄影[69]。
克服阻碍因素
对于异常影像学研究,如果给定的纵向成像病灶与既往相比被报告为稳定,转诊提供者可能面临不目视审查图像或多媒体元素的风险;稳定性的报告本身被认为“足以”提供适当管理该患者的信息。当然,对于病灶稳定的患者,如果该病灶后来增大,交互式多媒体报告时间线、图表和表格的结构化数据测量段落是有价值的。然而,如果创建交互式多媒体报告需要大量人工工作,放射科医生可能会忍不住质疑,对给定稳定患者的整理工作是否“值得”。
即使系统互操作性允许轻松创建交互式多媒体报告,放射科执业机构通常解读来自众多提供者诊所和医院的研究。从影像执业机构接收放射学报告的系统可能只能接受纯文本报告。期望个别放射科医生对某些拥有EHR或能够接受输出结果的接收系统的执业机构与没有此类系统的其他执业机构之间,对创建交互式多媒体报告的意愿进行分诊,是不现实的。因此,仍然明确需要增强常用于显示报告的最终用户系统的多功能性和兼容性,并找到可能干扰交互功能的安全和认证问题的实用解决方案。
心脏病学
几乎所有心脏成像都可以被视为专门用于心血管结构可视化的放射学延伸。与放射学一样,心脏病学中的传统报告一直是叙述性的,程序和发现的冗长叙述仍然是主要的过程报告格式。尽管如此,结构化报告正在慢慢取代传统的冗长报告,包括纳入IMR概念以增强沟通并更有效地传达内容[70]。与放射学一样,心脏病学的转变带来了与上述放射学所述相似的机会和挑战。
心脏病学中结构化报告的另一个驱动因素是需要关于临床过程、护理提供和患者结局的“良好数据”,用于质量评估和性能改进目的。许多这些护理提供方面的改进具体是由疾病和设备登记系统实现的,这些登记系统要求以离散数据形式提交格式良好、高质量、语义一致的信息[71]。登记系统功能的核心是定义要捕获的临床概念的数据字典;除登记系统外,多个专业学会的倡议进一步扩展了已定义的心血管词汇[72, 73]。鉴于仅心血管医学中结构化报告所需的临床概念就有数万个,自然需要的是与数据流紧密集成的工作流,使得整个医疗团队在护理点捕获的数据用于生成临床文档、用于登记数据提交以及其他二次分析。这种结构化报告方法减少了冗余和临床医生负担,同时允许医疗团队的所有成员在其教育、培训和经验的全部范围内执业。
当前状态
DICOM结构化报告模板被广泛用于在多种心血管模态与各自的报告系统之间传输定量数据[74, 75]。一个典型例子是超声心动图和外周血管超声,其中常规进行数十项测量(从数百项可能测量的菜单中选取),并上传至报告系统。自动化数据交换避免了在报告构建过程中手动复制/粘贴或口述操作的需要。消除伴随的转录错误使报告生成更加准确且省时。然而,这些实现通常对每个安装点都是独特的,注释和利用(有限的)多媒体扩展的能力仅限于心脏病学家诊断工作站上可用的专有软件。不幸的是,发送至电子健康记录(EHR)系统的最终报告通常是PDF文件,剥离了动态注释、超链接和其他IMR元素。即使可用,有限的IMR能力也仅在较大的医疗中心被利用,大多数机构仍通过转录或重新口述将这些本已数字化的信息手动复制到最终操作报告中。此外,超声心动图和心电图之外的模态的方法不一致且未标准化。
反映IMR概念,少数实验室已发展到正式采用包含多媒体元素的结构化报告的程度。这些报告系统通常促进测量值从模态直接传输到报告系统数据库,同时将关键影像发现的定性和半定量评估及解释作为数据捕获(例如,超声心动图上的节段性左心室壁运动、瓣膜反流或狭窄程度)。如图3所示,评估和解释的图形表示以文本和图表两种形式呈现。关键的是,底层数据库结构设计为一次捕获数据(无论是作为结构化选择还是通过交互式图表),同时以两种独立且语义相同的表示形式(文本和图形)显示信息。可选地,由于典型的超声心动图检查可捕获近100组静态和视频图像,说明性静态图像可导入报告中,或更重要的是,关键发现可与直接打开最能说明该发现的图像序列的超链接相关联。
同样,少数心导管实验室使用软件报告解决方案,促进将多媒体元素和潜在的交互式超文本纳入报告中。与心脏结构有限的解剖变异性(以及因此普遍代表心脏各节段的标准化图表的适用性)相比,冠状动脉解剖变异相当大。超声心动图检查具有一系列可重复的定量测量,而心导管检查通常几乎完全是定性的,特别是血管造影特征的表征(例如,钙化程度、病变长度、血栓存在)以及冠状动脉病变狭窄百分比的评估。
虽然文本可用于描述病变(例如“右冠状动脉中段长弥漫性50%狭窄”),但对报告使用者而言,更为有效且可以说更为准确的方法是在通用冠状动脉示意图上绘制病变,同时附上显示该病变的关键图像(图4)。值得注意的是,这些信息并非精确的语义互操作——示意图上病变长度相对于其他分支的半定量表示根本无法用文本准确描述。在这种情况下,示意图信息和基于文本的信息需要分别存储。此外,超文本描述之间的交互关系可以与影像所见和图形表示相连接,以最恰当地完成描述(图4中的箭头)。
通往未来之路
尽管IMR的机遇已在少数机构中得以实现,但多媒体报告在心血管领域广泛推广的障碍众多。许多与放射科医生相关的局限性同样适用于心脏科医生。必须在供应商中立这一总体框架背景下,对心血管信息系统、模态设备和EHR进行专门的创新和开发,最终实现无论使用何种系统生成报告,IMR都能在EHR中得以实现。这些EHR中的IMR可用于提高患者参与度和对自身疾病过程的理解,从而促进管理和治疗,如药物和运动方案的依从性。最后,医生生成和填充IMR中的结构化患者数据必须简单易行,比口述一份冗长的报告更为容易。这可以通过借助操作技术人员的参与,将信息作为数据采集用于操作报告生成,以及激励医疗系统对此提供支持来实现。
病理学
解剖病理学包括组织病理学和细胞病理学,其本质是一门高度依赖视觉的学科,将基于图像的多媒体整合到报告中有许多机会。临床病理学中也存在机会,包括微生物学、血液学、流式细胞术和细胞遗传学实验室。在许多方面,病理学是多媒体报告的早期采用者,因为实验室信息系统长期以来一直能够将图像纳入报告。然而,交互式多媒体在病理报告中普遍缺失,但最近将数字病理学引入常规病理工作流程将增加将多媒体整合到病理报告中的机会。
当前状态
在外界观察者看来,解剖病理报告在过去一百年中似乎变化不大。虽然手写报告依次让位于打字机、文字处理器和实验室信息系统(LIS),但报告本身仍然主要由叙述性文本组成[76, 77]。值得注意的例外包括细胞病理学报告中与Bethesda系统相关的报告要素以及“概要性”(结构化)癌症报告,在后一种情况下,这些报告通常(但并非总是)建立在LIS中存在的离散数据之上[78]。大多数LIS还能够将图像、表格、图表和其他形式的静态媒体嵌入报告中。不幸的是,对于那些LIS与电子健康记录(EHR)相接口(而非整合)的病理实践,报告通常以纯文本形式呈现,去除了所有离散数据和嵌入的多媒体。
病理报告中的多媒体
如上所述,多媒体在病理报告中并不新鲜,自20世纪90年代中期以来,“同类最佳”的LIS就能够将图像嵌入报告中。嵌入的图像几乎总是说明关键诊断发现的显微照片。在外科病理学中,这些通常是明场图像,但一些亚专业领域(如肾脏病理学和皮肤病理学)还包括透射电子显微照片和荧光显微照片。大体(“肉眼”)图像通常在外科切除标本上采集,在内部记录中发挥重要作用,但很少嵌入报告中。关于最后一点,例外情况开始出现。例如,美国外科医师学会(ACS)国家直肠癌认证计划要求临床治疗团队能够获得直肠切除的图像[79]。实现这一目标最直接的方法是将这些可见光图像嵌入病理报告中。
尽管图像和其他多媒体内容可以嵌入病理报告中,但呈现给临床医生的版本可能不包含嵌入内容。病理科通过多种方式向客户发送报告。对于某些病理科而言,这仍然包括从LIS直接打印、传真或通过电子邮件发送的“硬拷贝”报告,这些报告将保留原始格式和任何嵌入的多媒体内容。更常见的情况是,临床医生在下游的电子健康记录(EHR)或健康信息交换(HIE)中访问报告,这些系统通过电子结果接口从LIS接收报告。这些接口通常以纯文本(通常为HL7 v2)实现,图像、表格和图形在此过程中可能被剥离。在其他情况下,EHR会接受报告的base64编码PDF版本,但默认情况下仍可能显示纯文本版本。相比之下,作为大型EHR产品中集成模块的LIS应保留原始格式并显示任何嵌入的图像和多媒体内容。
结构化(概要式)报告
自1986年以来,美国病理学家学会(CAP)已发布了癌症方案,作为“检查清单”使用,旨在确保癌症报告的完整性、标准化和一致性[80]。这些方案反映了当前美国癌症联合委员会(AJCC)分期和世界卫生组织(WHO)组织学分类。如今,来自94个方案的100份电子癌症检查清单(eCC)涵盖了广泛的癌症类型,另有9个模板用于标准化癌症生物标志物报告[81]。
CAP概要式癌症方案包括标准化的病例摘要格式,定义了一组必需的核心数据元素、条件数据元素和可选数据元素。这些元素包括肿瘤部位、肿瘤大小、组织学类型、切缘状态、淋巴结状态、肿瘤(T)、淋巴结(N)和转移(M)分期以及其他重要的诊断和预后发现等信息。与其他影像专科不同,概要式报告在病理学中是常态,因为使用CAP癌症方案是CMS认可的认证项目(如CAP和联合委员会)进行实验室认证以及美国外科医师学会(ACS)认证的要求。基本上美国和加拿大的所有病理实验室都对原发性癌症切除术使用概要式报告。
应当注意,虽然所有病理概要式报告都具有结构化外观,但它们可能包含也可能不包含无需自然语言处理(NLP)即可提取的底层离散数据元素。病理学中的癌症报告可分为六个级别,从纯叙述性文本(1级)到利用标准化报告语言、数据元素离散存储和标准化编码(如SNOMED CT)的结构化概要式格式(6级)[82]。虽然CAP和ACS强制要求使用概要式格式和某些数据元素(3级),但它们不要求离散数据元素或映射到标准编码。相比之下,安大略癌症治疗中心(CCO)已在加拿大安大略省强制要求使用6级概要式癌症报告[83]。
图像采集
数字成像于20世纪80年代被引入病理学,并已发展到涵盖多种模式[84]。常规数字显微照片可通过多种方式生成,包括透射电子显微镜(TEM)、荧光显微镜、明场显微镜和偏振光显微镜。一些病理实验室甚至已采用数字X射线摄影来评估标本[85]。全切片成像(WSI)发明于20世纪90年代末,已在少数中心获得临床立足点,先是在欧洲,最近在美国随着FDA批准若干数字病理系统而得到应用[86]。
全切片成像通过使用数字切片扫描仪从玻璃切片生成高分辨率图像[87]。许多实验室扫描其部分切片用于临床诊断或免疫组化。据信,目前世界上仅有少数病理实验室实现了100%数字化工作流程,即将其所有切片数字化,然后以数字方式进行临床诊断而非使用显微镜。那些将WSI用于临床目的的机构将其数字病理系统与其LIS对接,使得数字切片能够在以病例为导向的背景下打开。
图像存储与检索
尽管DICOM定义了病理图像存储的标准,包括WSI,但其尚未在此用途上被广泛采用,这或许反映了数字病理学和WSI首先就缺乏广泛使用。基于TIFF的厂商专有格式在研究中被广泛使用。存储选项包括基于文件系统的存储、通用图像管理系统、仪器专用图像管理系统、基于LIS的存储、病理专用PACS系统、WSI数字切片存储库,以及符合DICOM的PACS和VNA。除荧光图像和WSI外,病理图像相对较小(小于20兆像素),可使用常见图像格式表示为RGB图像。虽然荧光图像可以渲染为RGB,但保留和操作各独立通道更为可取,且需要为此目的设计的软件。WSI的存储和检索更为专业化,因为图像尺寸大(多千兆像素)、其结构方式独特,以及需要与图像进行动态交互。
病理学中的DICOM
DICOM第26工作组(WG-26)负责支持和发展DICOM在病理学领域的使用,并在支持病理图像(包括WSI)方面取得了相当大的进展[88, 89]。WG-26已与众多厂商协调,在美国和欧洲的一系列数字病理连接测试中展示互操作性[90]。尽管DICOM承诺了病理成像的标准驱动未来,但其在病理学中的临床使用仍然有限,截至目前,在美国销售且获FDA批准的数字病理系统实际上没有一个是原生采用它的[91]。
图像注释
图像标注通常用于执行测量、标记关键特征、突出感兴趣区域以及可视化图像分析结果。在病理学中,这些标注既包括位图叠加层(如热图),也包括基于矢量的形状(如多边形和点)。遗憾的是,病理学中使用的标注甚至比图像本身更缺乏标准化。每个供应商都创建了自己的图像标注方法。尽管其中许多机制表面上相似,但在实现方式上存在相当大的差异。这些软件包之间的互操作性几乎不存在,这导致大多数供应商在将图像传输到外部存储系统之前,只是将标注“烧录”到图像的像素数据中。不用说,此类标注不再具有机器可读性,对交互式多媒体几乎没有前景。
DICOM标准提供了图像标注功能,其形式包括DICOM结构化报告(保留标注的语义)和呈现状态(记录文本和图形但丢失语义),以及逐像素编码标注的DICOM分割。已针对这些标准机制定义了特定扩展,使其能够适用于分块金字塔多帧全切片图像(WSI)。DICOM WG-26 WSI标注特设小组最近成立,以探讨此类问题[92]。该小组正在专门探索使用DICOM SR TID 1500将少量人工生成的标注编码为轮廓以及分类和定量结果。该小组还在开发DICOM的新扩展,以支持大量相似标注的紧凑表示,例如可能由高分辨率WSI的人工智能处理所生成的标注(如数百万个细胞核)。DICOM标注方法可能是病理学中该问题的最佳答案,但它当然要求图像本身以DICOM对象的形式存储。如上所述,迄今为止DICOM在病理学中的采用率极低。
通往未来之路
多媒体交互式报告代表了病理学报告的演进方向。病理学DICOM的出现以及数字病理学向临床环境的迁移是应能促成其采用的基本要素。目前,真正的交互式多媒体报告在实验室信息系统(LIS)内部和下游系统中均不存在。在实验室内部(即LIS内部)实施多媒体报告是一个近期可能实现的目标,将允许在单一供应商的支持下原型化和部署交互式多媒体报告,而不会立即引入多供应商支持的复杂性。在LIS内成功实施交互式多媒体报告后,可将其扩展到下游系统,包括电子健康记录(EHR)。
图5概述了交互式多媒体报告在肿瘤全景报告方面可能如何实施的设想。虽然这是最明显且最有可能通过这种方式增强的报告部分,但它并不是唯一适合纳入交互式多媒体的部分。其他可从交互性中受益的标准报告部分包括最终诊断、诊断意见、显微镜描述和肉眼描述。即使这些部分仍为自由文本,也可以在文本中嵌入交互式超链接,例如链接到特定的显微镜特征、诊断术语或宏观所见。
虽然病理学在多媒体报告方面有着悠久的历史,但推进到交互式多媒体报告的下一阶段将具有挑战性。交互式多媒体报告的若干要素已经具备,包括数字成像的广泛使用。其他部分正在涌现,例如成像和工作流程的互操作性标准(DICOM和IHE PaLM[医疗保健企业集成——病理学与实验室医学领域])以及通过全切片成像(WSI)和数字病理学实现工作流程的完全数字化[93]。不幸的是,DICOM等标准在病理学领域的采用进展缓慢。病理市场中大量图像采集和存储供应商以及实验室已在互操作性较差的硬件和软件上投入大量资金,加剧了这一问题。这些问题在病理市场的宏观(肉眼)图像和数字显微摄影领域尤为普遍,在这些领域,关于使用标准进行图像和注释的检索与存储的讨论几乎不存在。病理学家必须成为更有鉴别力的客户,并要求今后所有数字成像都采用互操作性标准,以改变这些供应商的态度。
交互式多媒体报告的另一个技术挑战是实验室信息系统(LIS)与电子健康记录(EHR)(及其他下游系统)之间缺乏复杂的信息交换。目前不存在标准机制使EHR能够接收嵌入或链接到交互式多媒体的病理报告。接口传输的病理报告通常以纯文本报告形式发送,有时附有PDF版本。与EHR集成的LIS情况稍好一些,因为报告是原生的。在PDF报告中嵌入链接是实现简单交互式媒体的一种解决方案,但EHR中的安全限制可能会阻碍这种方法。当然,这个问题并非病理学所特有,而是影响所有通过接口信息系统输出报告的专科。
交互式报告的实施因病理实验室运营的多种环境而进一步复杂化。虽然医院所属实验室和学术实验室可能与其各自的医院或卫生系统密切相关,但私营实验室可能与多个客户有着高度复杂的关系,并可能将病理报告发送至许多不同的下游系统。这些复杂的业务关系通常表现为多层IT安全防护,如果要跨网络防火墙或域访问或检索图像、注释或其他交互式内容,就必须通过这些安全层。显然,如果要在病理学中广泛实施交互式多媒体报告(IMR),就需要考虑这些问题。
最后,病理学家本身对实施交互式多媒体构成了重大挑战。如今,即使是在报告中嵌入一张静态显微照片这样简单的事情也可能引发争议。尽管所有现代实验室信息系统(LIS)都能做到这一点,但很少有病理学家这样做,许多科室还积极劝阻这种做法。病理学家不愿这样做有几个原因。最常被提及的原因是耗时、不能为报告增加价值,以及会引发潜在的法律问题[94]。由于对采用多媒体的抵触已经存在,未来交互式多媒体的实施必须直接解决这些顾虑,这一点很重要。
内镜检查
在可见光腹腔镜检查、关节镜检查、支气管镜检查、结肠镜检查、超声内镜检查以及其他类型的内镜成像中,在检查和治疗各体腔疾病的过程中存在多种IMR机会。例如,在膝关节镜检查中,通常会对正常或异常的半月板、关节软骨、交叉韧带以及手术修复后的任何结构采集证据性图像。在耳鼻咽喉科,采集鼓膜后方红色肿块的静态图像或发声时声带活动度的视频正日益成为常见做法。DICOM标准和IHE内镜领域规范目前支持这些应用,但与其他学科一样,进展缓慢且往往不均衡[95–97]。
现状
内镜检查中IMR的采用在各临床亚专科之间仍然零散不一。内镜和手术室在操作过程中采集内镜非DICOM可见光图像,以及DICOM透视、超声内镜和经皮超声图像和视频的组合。这些数据可能使用供应商专有的内镜设备存储到同一供应商的报告系统或另一报告系统中。结合自由文本口述和/或结构化报告加说明性图像的多媒体报告以PDF文档形式导出,存储于电子健康记录(EHR)中。理想情况下,这些多媒体数据元素(即图像和视频)应分别标记元数据并在EHR中可访问,但由于其他地方所引用的作为IMR障碍的相同技术和安全原因,当今的EHR系统并不具备这一功能。
胃肠病学在制定操作文档质量标准方面一直引领内镜专业领域,这些标准纳入了IMR(交互式多媒体报告)的要素[98]。上消化道内镜检查的关键图像结合胃部示意图,可以展示胃大弯沿线发现溃疡的相关区域,或展示出血或红斑等异常(图6)。在操作过程中采集图像后,胃肠病学家可以标注关键图像,并使用独立于EHR(电子健康档案)的第三方报告应用程序将其分配到胃部示意图上。这些关键图像和视频片段在PDF报告输出之外,可能可在供应商中立归档中获取,也可能不可获取。结构化格式的相关GI(胃肠)发现文本描述可通过下拉菜单进行分配,这些预填充的描述可以自动分配至示意性病变,或通过鼠标点击图形进行分配。
当CTC(CT结肠成像,一种在3D虚拟环境中重建CT或MR图像的放射学检查)在结肠镜不完全后进行时,或在推荐结肠镜评估CTC筛查发现时,常规结肠镜与CTC发现的相关性很重要。这种相关性很重要,因为常规结肠镜已被证明由于结肠镜的“望远镜”效应或某些病例中缺乏明确解剖标志,并不总是与结直肠癌的术前定位相关[99]。CTC发现的交互式多媒体报告自20世纪90年代以来就已存在。正式的结构化报告标准于2005年引入[100, 101]。最近,研究人员正在将多媒体CTC发现与内镜和病理学整合到时间轴中,以展示疾病的演变(图7)。这些时间轴还可以纳入相关治疗事件(如手术、放疗、药物)和实验室数据(如肿瘤标志物),以呈现患者的整体视图。在CTC报告中,来自多次就诊和多个专科的图像和视频被整合到单一综合报告中。该报告中的结构化数据可能包括胃肠病学家和其他医学专家进行的测量和分析。此外,此类报告具有超链接至其他类型信息,包括外部参考文献、报告变更和状态更新的审计追踪,以及本体交叉引用(图8)。此类报告富含IMR要素,这些要素在传输至EHR后无法访问。限制非DICOM可见光和DICOM图像纳入EHR以及跨机构数据共享的相同缺陷,仍然是内镜专业领域的障碍。
通往未来之路
在内镜各专科中,胃肠病学是最早采用基本IMR的专科,其在诊疗现场纳入内镜发现的静态图像。在检查过程中于发现病变时记录临床发现的需求推动了早期发展。未来,胃肠(GI)操作交互式多媒体报告可纳入来自动力研究、上消化道放射学检查、造影灌肠、小肠随访检查、内镜逆行胰胆管造影(ERCP)或CTC的放射学DICOM图像/视频。随着供应商中立归档系统和数字视频记录的应用,可能实现对整个操作过程进行归档,而目前这种做法很少见。IMR可提供视频流中的书签,使用户无需观看或滚动整个视频序列即可快速访问特定视频帧,从而节省医生时间并降低查看多媒体的门槛。
内镜医师,尤其是胃肠病学家,可能在内镜室内控制多种模态(例如可见光、内镜超声、透视引导),这些模态未来将适合采用IMR。其他内镜专科使用的模态较少(例如耳鼻咽喉科进行耳、鼻咽或喉部检查),但同样将从更先进的交互式多媒体报告生成中获益,尤其是与放射学成像(例如颞骨CT)、手术和/或病理结果相结合时。IMR的一个总体目标是增加内镜图像和视频与交互式多媒体报告的整合,从而吸收多学科信息以创建更加以患者为中心的健康记录。
放射肿瘤学
治疗性放射剂量通过直线加速器或近距离放疗远程后装治疗机以每日分次方式给予,这些设备从治疗计划系统获取输入。治疗计划系统导入CT和MRI DICOM图像,供放射肿瘤科医生分割(即勾画)解剖结构。放射肿瘤科医生将辐射靶向病变组织,例如肿瘤或受累淋巴结,同时在可能的情况下避开健康组织,以尽量减少治疗相关毒性。通过高度计算化的过程,治疗计划系统模拟放疗束的放置和塑形,反复迭代其对感兴趣结构辐射剂量的影响,直至获得最佳剂量分布。所得治疗计划随后传输至递送设备。控制系统监测放射治疗按原处方和计划进行的每日递送。
当前状况
1987年,DICOM-RT扩展发布,引入了五个信息对象定义(IOD)[102]。RT图像对象存储由治疗计划系统生成的二维图像,带有彩色叠加层,以帮助可视化穿过患者的射束,便于与治疗前即刻获取的验证图像进行比较[103]。RT结构集包含在CT、MR、US或PET图像上绘制的实际轮廓,用于定义靶区结构和危及器官,并将其定义为感兴趣区域(ROI)[104]。治疗计划中还可包括安全边界,以考虑疾病的显微镜下延伸、器官运动导致的几何不确定性以及每日患者摆位偏差。RT计划对象包含实施优化计划所需的全部机器参数、实际剂量处方以及患者摆位说明[105]。对于医用直线加速器,RT计划描述实施剂量所需的控制点,每个控制点指定机架和准直器角度、治疗床位置、实际实施的剂量以及用于准直辐射束的束流塑形装置的描述。RT剂量对象包含优化计划中图像数据集内每个体素的辐射剂量[106]。最后,RT治疗记录包含实施过程中每次治疗会话所记录的机器参数摘要。DICOM-RT能够实现机构内和/或机构间系统间图像和治疗数据的传输。DICOM-RT扩展数十年来一直用于将放射治疗相关的结构化信息层添加到形态学图像数据集上;这些数据可作为放射治疗IMR的基础要素。
放射肿瘤学实践继续快速发展。每日三维图像引导和呼吸门控CT成像等技术进步,以及心律失常治疗等新颖临床应用,推动了对与其他专科更深层次整合的需求,并产生了各种成像模态和报告系统与DICOM-RT互操作性的需求[107]。其他医学专科,如放射科,可以利用RT结构集定义和工具,直接在图像上清晰标示肿瘤边界、尺寸测量或感兴趣子体积,以协作指导治疗并开发定量成像方法。同样,可以设想,将阻抗成像模态或内镜图像融合到CT或MR图像上,可能提高放射治疗靶区定义的精确性。与此同时,早期癌症检测和治疗的进步已转化为患者带瘤生存时间更长所致的发病率和患病率增加,进而使再治疗场景更为常见。在这些肿瘤患者中,无缝聚合纵向且语义丰富的成像和放射治疗数据的能力正成为迫切需求。
虽然一些PACS供应商支持存储DICOM-RT元素,但并非所有供应商都整合了可视化功能,这给最终用户带来了一些不确定性,也使放射肿瘤科对采用企业级PACS进行存储和查看持犹豫态度。因此,迄今为止,对放射肿瘤学图像和数据的理解与使用仍然局限于放射肿瘤科及其专科医生的范围内,这并不令人意外。这一差距导致在患者诊疗方面错失了协作和利用多维数据的机会。例如,如果患者因放射治疗相关毒性反应来到急诊科,急诊科医生若能获得一份简化的记录或交互式多媒体报告,了解放射治疗的位置和所给予的剂量,将会大有裨益。其他诊疗提供者,尤其是放射科医生,在随访影像中评估疾病进展时,会发现放射治疗数据很有价值。牙科医生可以从更精细的骨结构和唾液腺结构的空间辐射剂量信息中获益,以帮助其管理放射毒性或在受照射野范围内进行干预时预防并发症的发生,例如骨坏死。关于特定器官(如皮肤)剂量的信息可以极大地改变管理策略,从局部治疗(即放射性皮炎)到通过活检或切除来排查疾病持续/复发(即可疑病变)。与起搏器和除颤器相关的监测和管理可能受其吸收剂量的影响。
因此,一份带有超文本、标明受照射体积和感兴趣结构所受剂量的多媒体报告,将有助于各类诊疗提供者更好地管理肿瘤患者的诊疗。另一个需要具备DICOM-RT感知能力的PACS和IMR的应用场景是多学科肿瘤委员会。通过同时可视化图像和交互式多媒体报告,放射肿瘤科医生、肿瘤内科医生和肿瘤外科医生可以快速达成一致,推荐最合适的治疗方案;在各医学专科科室之间共享此类数据还将使临床医生和中心之间能够进行虚拟会诊。
通往未来之路
放射肿瘤学在稳健方法和现有专业数据标准(DICOM-RT)方面有着良好的记录,这些标准允许在影像数据集上添加信息层。因此,放射肿瘤学具有独特的优势,可以扩展方向,将治疗计划和投照影像纳入一个全面且纵向的患者诊疗交互式多媒体报告(IMR)中,该报告包括由主治肿瘤科医生整理诊断、影像、实验室检查和治疗信息,并以肿瘤患者的诊疗为中心整合各专科。即使是一个简单的IMR(图9),纳入已实施放疗的复杂治疗计划图以及文字描述,也将有助于放射科医生和其他医生处理后续并发症或确定进展原因。随着放射肿瘤学方法和设备的复杂性和精密性不断增加,一项定义所谓第二代DICOM-RT对象的新工作目前正在顺利推进。这些新对象包括更复杂的注释功能,并利用通用DICOM分割机制。整合医疗企业(IHE)放射肿瘤学(IHE-RO)领域正在基于这些新机制开发新的集成配置文件。
肿瘤治疗,包括其并发症的管理,通常需要多学科方法。与放射学和病理学一样,放射肿瘤科医生与许多不同的临床专科协作。放射肿瘤学IMR需要具有灵活性,以适应这一系列使用者的各种需求。重要的是,这可能是这些专科将信息与肿瘤学和DICOM-RT数据整合的机会,例如治疗结局(即生存率、局部区域控制率、无远处疾病生存率)和分级毒性报告,进而为整个诊疗团队提供信息,并使研究能够改善放射治疗干预的治疗指数和价值。放射肿瘤学IMR随后可以承载和汇总真正以患者为中心的诊疗多模态信息,这些信息出现在肿瘤治疗之前、期间和之后。对疾病控制、毒性结局和(去)强化策略的新理解有望从这种以患者为中心的方法中获得。IMR应被视为放射肿瘤学与协作学科之间合作框架的独特机会。
皮肤科
皮肤科会诊可在诊所现场进行,也可通过实时或异步远程皮肤科以电子方式进行。皮肤科影像学检查用作记录的辅助手段,以呈现特定时刻的特定皮肤状况。大多数皮肤科图像是使用非DICOM标准的现成手机和平板电脑获取的。较少情况下,也会使用更高分辨率的紧凑型或数码单镜头反光(DSLR)相机,同样不使用DICOM标准。一些诊所投资于2D或3D全身摄影,用于追踪有多发可疑或癌性病变的患者[108]。虽然3D拓扑图像正变得越来越普遍且包含定量校准信息,但它们通常需要专有查看器且互操作性有限,并伴随成本和复杂性的增加。
原文篇幅较长,只翻译了前面部分,其余请阅读原文。
引用
- Roth CJ, Clunie DA, Vining DJ, et al. Multispecialty Enterprise Imaging Workgroup Consensus on Interactive Multimedia Reporting Current State and Road to the Future: HIMSS-SIIM Collaborative White Paper. J Digit Imaging. 2021. PMID: 34131793. doi:10.1007/s10278-021-00450-5
- 全文:PMC8329131(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8329131/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。