利用自然语言处理从影像报告中提取肺部肿瘤T分期:多语言环境下的转化验证
本研究将荷兰语规则型自然语言处理(NLP)算法翻译并验证于英语自由文本影像报告,用于按TNM分类自动提取肺癌T分期。算法在200份训练集和225份验证集英语报告上验证,T分期准确率验证集为0.89,T亚分期为0.84,仅用肿瘤大小分类时为0.76,与荷兰语结果相当。结论认为NLP可成功用于不同语言自由文本影像报告的肺癌分期,建议以混合方法引入机器学习以改善性能。
要点
- 规则型NLP可从英语自由文本CT/PET-CT报告中自动提取肺癌T分期,验证集T分期准确率0.89。
- T亚分期准确率0.84,仅用肿瘤大小分类时准确率0.76,与荷兰语结果(0.88、0.89、0.79)相当。
- 主要错误为歧义问题,如难以区分淋巴结与肿瘤、肺不张的同义词语境匹配。
核心结论
- NLP可成功应用于不同语言的自由文本影像报告进行肺癌分期。
- 作者建议采用混合方法引入机器学习以改善性能。
研究设计与样本
- 研究为算法翻译与验证研究,使用荷兰语规则型NLP算法翻译为英语并在英语报告上训练和验证。
- 训练集200份、验证集225份英语自由文本影像报告,来自诊断性CT或PET-CT初始分期检查,共425份报告纳入。
- 参考标准为两名作者根据AJCC第8版TNM分类从报告手动回顾性判定T分期,歧义病例经共识确定。
- 纳入三种报告格式:严格放射学CT报告、放射学与核医学信息混合的PET-CT报告、两者分列的结构化PET-CT报告。
诊断标准与关键数值
- T分期分类器准确率:训练集0.89,验证集0.89。
- T亚分期准确率:训练集0.87,验证集0.84。
- 仅用肿瘤大小分类准确率:训练集0.78,验证集0.76。
- 荷兰语算法结果:训练集(n=47)与验证集(n=100)准确率分别为0.88、0.89、0.79(对应T分期、T亚分期、仅大小分类)。
- 训练集错误27例(13.5%),验证集错误35例(15.6%);歧义类别错误占比训练集48.1%、验证集51.4%。
临床应用与阅片要点
- 算法基于大小、存在(presence)和受累(involvement)三项要素进行T分期,报告需包含明确的肿瘤大小及单位。
- GUI工具MedStruct可高亮提取的概念及修饰语境,并可通过下拉菜单修正T分期,修正结果可匿名保存用于反馈改进算法。
- 英语报告中淋巴结位置常以文字描述(如隆突下)而非荷兰语常用的编号(如第7站),影响算法定位准确性。
- 英语中「involvement」及其变体含义较荷兰语「ingroei」更模糊,报告中「extending towards」「abutting」「in close relation to」等表述易导致假阳性匹配。
- 算法倾向于轻微高估低T分期(至T2a)、低估高T分期(T2b及以上)。
局限性
- 规则型算法的规则和正则表达式不够全面,无法排除歧义,也无法找到训练集中未出现的章节。
- 上下文分析不搜索依存关系,导致概念与语境不匹配。
- 仅基于肿瘤大小的T分期准确率训练集0.78、验证集0.76,增加规则集仅提升0.08–0.09。
- 机器学习虽可能提升准确率,但需要更多标注数据用于训练,大量数据的提取和标注昂贵且耗时。
- 原文指出该算法为规则型方法,在遗漏肺肿瘤与发现假肿块之间存在权衡。
全文中译21 节 · 点击展开
要点
基于自然语言处理(NLP)从自由文本放射学报告中获取肿瘤学分期是可行的。
NLP算法可以成功地从荷兰语翻译并实施为英语。
背景
放射学报告包含关于患者及其当前疾病状态的长期大量历史信息[1]。理想情况下,此类报告中的信息应作为结构化数据提供,便于传播和重复使用。然而,这些报告通常最多只是半结构化的自由文本报告,需要人工阅读者进行解读。自然语言处理(NLP)技术为从非结构化文本中提取结构化数据提供了解决方案,已应用于许多医疗保健目的,并可能有助于从放射学报告中提取结构化信息[2]。
目前已存在特定的NLP算法,用于在放射学报告中查找肿瘤特异性信息,例如提取癌症结局[3–6]。除了从放射学报告中提取肿瘤终点和随访信息外,NLP算法还可用于从自由文本中提取肿瘤分期。一个例子是基于规则的荷兰语NLP算法,该算法可根据肿瘤淋巴结转移(TNM)肿瘤学分类系统,从胸部计算机断层扫描(CT)的自由文本放射学报告中提取肺癌的T分期[7, 8]。肺癌是最常见的肿瘤学死亡原因,影像学在其诊断和分期中发挥重要作用[9]。因此,改进报告和分期流程可能具有重要价值。具体而言,这可能加快工作流程,提高放射学报告的质量和准确性,以及改善卫生专业人员之间的沟通。
荷兰算法分析放射学报告并以0.83–0.87的准确率评分提取肿瘤分期。此外,该算法还可用于对历史数据进行(重新)分期,这可能有用,例如在采用较旧版本TNM分类系统分类的病例中,或根据新获得的数据进行调整时。因此,自然语言处理(NLP)算法可作为增加放射学报告价值的重要解决方案。实施该NLP算法还可作为一种方法,从放射学报告中提取非结构化自由文本信息并将其转换为存储的结构化信息。这一点很重要,因为结构化存储数据在临床或研究目的下比自由文本更容易处理[10]。当意识到过去几年北美放射学会(RSNA)和欧洲放射学会(ESR)推动了向结构化报告的转变时,这一点尤其令人关注。其目标是增加放射学报告的价值并实现更好的内容数据化[11, 12]。此外,ESR发布了面向放射科医生的报告和良好实践指南,强调需要更好的报告,同时也推广(多语言)结构化报告的潜力[13, 14]。此外,多项针对放射科医生的调查显示,放射学中使用结构化报告呈全球性转变[15, 16],因为许多放射科医生认可结构化报告的好处,如报告清晰度、沟通和数据可挖掘性[17, 18]。尽管NLP方法不像点击式系统、下拉菜单或模板那样使用严格的结构化报告格式来插入结构化数据元素,但它确实在报告过程中或报告后分析老式自由文本报告以创建结构化数据。因此,该NLP算法也可用于旧自由文本报告,以根据当前标准提取T分期,并有助于肿瘤登记处的质量评估。
该算法仅能够处理荷兰语分期CT报告,因此仅在荷兰语中被证明有效。通过翻译所使用的正则表达式,可能可以将该算法翻译为其他语言,如英语。此外,为增进对算法的理解并充分发挥其潜力,构建图形用户界面(GUI)可能提高该算法的可用性和临床实用性。本研究的假设是,荷兰语算法可以翻译为英语,以允许分析英语自由文本放射学报告。
本文介绍了将荷兰语肺部T分期算法翻译、实施和验证用于分析英语撰写的报告并使用GUI的过程。
方法
语料库描述
在参与医学中心获得机构审查委员会批准后,使用该机构已有的回顾性肺癌临床数据库,检索在初始癌症分期时进行的诊断性CT或正电子发射断层扫描-计算机断层扫描(PET-CT)的放射学报告。共纳入425份原发肺部肿瘤患者的放射学报告,且这些患者的分期检查完整报告可获得。以下情况予以排除:(1)随访和再分期报告(第二意见),(2)具有两个原发肿瘤的病例,或(3)不完整的报告(无全文和/或无可获得的原发分期报告)。前200份报告构成训练集;其余病例构成验证集(n = 225)。两组的肿瘤和报告特征见表1。
确定T分期
放射学报告使用语音识别设备创建,包含至少关于肺部的自由文本。可辨认的三种不同报告格式均被纳入:严格的放射学CT报告、放射学信息与核诊断信息混合的PET-CT报告,以及两种信息在报告中分离的更为结构化的PET-CT格式。大多数报告使用了身体部位肺的副标题,如Thorax或Chest。此外,大多数报告还描述了其他身体部位,由以下元素的不同组合构成:病史、对比、技术、所见(CT和/或PET-CT)、头部、颈部、胸部、纵隔、腹部、盆腔、骨骼和肌肉骨骼。
由于这些临床报告中未单独提及TNM分期,T分期根据AJCC第8版TNM分类[7]从报告中进行回顾性人工分类。作者们就正确标注的注释指南达成一致,仅在T分期被明确表述时才进行评分(附加文件1:附录1 注释指南)。在模糊病例中,最终T分期由两位作者达成共识后确定。
用于英语的修改
训练集用于识别报告的具体结构和缩进。此外,必须在训练集中识别所使用的副标题,以正确地将报告的特定部分列入白名单或黑名单。为找到合适的英语同义词,将包含所有与人类医学系统化命名-计算机断层扫描(SNOMED-CT)术语[19]相关联的同义词和变体的荷兰语正则表达式进行翻译并作为起点。这些荷兰语正则表达式用于为每个概念构建英语正则表达式(RegEx),其中包括附带的SNOMED-CT标签,以确保基于本体的标准化分类的正确性。所使用的英语同义词及其附带的RegEx和基于本体的SNOMED-CT术语可在附加文件1:附录2 概念同义词中找到。
算法结构
本研究采用了与基于荷兰语的算法相同的肺癌T分期算法结构,其中处理过程细分为预处理步骤和处理步骤,以依次清洗和处理放射学报告[8]。在T分期分类器能够对完整T分期进行分期之前,必须从T分期方法中提取三个相似的项目(大小、存在和受累)(图1)。使用开源词性标注(POS)、自然语言处理(NLP)软件库spaCy和pyContextNLP进行数字提取、句子分割和上下文验证[20, 21]。除荷兰语算法外,还必须添加一个黑名单,以忽略包含肺部以外器官或身体部位(肿块)大小的句子,因为一些PET-CT扫描覆盖的范围不仅限于胸部。
分析
对数据进行分析,以评估训练集和验证集中T分期(如T1–T4)和T亚分期(如T1a、T1b、T1c)的各自准确率评分。此外,还计算了仅使用大小进行分类的T分期,并与荷兰语结果进行比较。针对训练集和验证集中的所有亚分期,计算了T分期分类器的召回率(即敏感度)、精确率(即特异度)和F1度量(即精确率和召回率的综合指标)。为进一步区分结果,将错误总数按类别分为上下文、概念、标准化、复杂性歧义、预处理和报告者。
图形用户界面
本研究构建了一个名为MedStruct的图形用户界面(GUI),用于通过高亮提取的概念及其修饰上下文来训练和可视化算法结果(图2)[22]。这对于查找合适的同义词以及在训练过程中分析和调整错误特别有用。为实现该GUI,该算法已被重新实现为五个可复用的NLP流水线微服务,而未改变算法的方法或其本身(图3)。当前的总流水线由预处理组件、spaCy、pyContextNLP、测量提取器和T分期分类器组成。已创建一个Web应用程序,可在其中插入或编辑报告。T分期分类会被自动提取,结果会立即显示。
该GUI高亮显示报告中发现的概念和修饰语,并显示T分期所依据的位置、大小、存在和受累项目。可使用已实现的下拉菜单对项目进行调整。
结果
算法性能
手动注释的T分期和纳入报告的报告格式在训练集和验证集中均匀分布(表1)。与其他分期相比,只有亚分期T1a和T2在训练集和验证集中的F1分数较低。这可能是由于这些在本队列中代表性不足。
T分期分类器在训练集和验证集中的准确率均为0.89,考虑T亚分期时分别为0.87和0.84,仅使用肿瘤大小进行分类时分别为0.78和0.76(表2)。
荷兰算法的准确率添加在同一表中,分别在训练集(n = 47)和验证集(n = 100)中显示相同的结果。图4显示了混淆矩阵,其中实际T分期(真实标签)与预测T分期(预测标签)进行比较。此外,表3显示了T分期分类器的召回率(即灵敏度)、精确率(即特异度)和F1度量(即精确率和召回率的组合指标)。
在表4中,训练集和验证集中出现的错误已按特定类别分组。总体而言,训练集中出现了27个(13.5%)错误,验证集中出现了35个(15.6%)错误。大多数错误在训练集(48.1%)和验证集(51.4%)中被评为歧义类别。
图形用户界面
通过使用此工具(图2),报告和肿瘤特异性概念以结构化布局显示。现在可以可视化存在、缺失或错误陈述的项目。例如,当肿瘤大小或其单位缺失时,用户界面中不会提及大小,最终T分期将无法正确提取。为了增强其功能、提供反馈并纠正错误,可以通过使用下拉菜单更改所发现的概念来调整建议的T分期,从而覆盖算法。此外,此调整后的报告可以匿名保存,并可用作反馈以进一步提高算法未来的准确性。因此,当创建报告时,此工具还可以充当语料库构建器。我们算法的语言无关输出格式的一个结果是,荷兰语算法也可在同一GUI中使用。可以通过点击按钮来设置语言。
讨论
本研究旨在使用GUI在英语队列中转移并外部验证荷兰基于规则的肺部肿瘤T分期NLP算法。本英语研究中的准确性评分与荷兰队列中发现的评分相似。结果证实,所采用的根据大小、受累和存在的策略是可行的,并且也可以在除荷兰语之外的其他语言中实施。根据荷兰语结果(即同义词和发现的SNOMED-CT术语)寻找适合同义词的方法足以起步。在不改变算法本身的情况下调整同义词足以提高其准确性。这再次表明,基于规则的方法非常有前景,并且可以以相当高的准确性实施。尤其是考虑到数据收集以及算法的训练和验证大约在四周内完成。
观察单独的F1评分时,训练集中的结果略高,但总体上仍具有不错的评分。混淆矩阵显示,该算法倾向于将较低T分期(直至T2a)略微高估分期,并将较高T分期(从T2b起)略微低估分期。这可以部分解释为,将较低T分期高估分期、将较高T分期低估分期更为合理。然而,如下文各节所述,这很可能是总体报告差异所导致困难的结果,并可以通过按类别突出显示所犯错误、改进算法以及使用图形用户界面来进一步解释。
总体报告差异
最重要的事情之一是发现荷兰与英语环境在报告方式上的差异。因此,有必要在基本层面上分析报告,以发现报告方式和所用词汇上的差异,此外还包括当地使用的子标题和布局。由于该队列除CT扫描外还使用了PET-CT扫描,因此必须添加子标题并调整处理格式。
在考察报告方式和所用词汇时,发现英文中对淋巴结位置的描述方式有所不同,因为它们是用词语(如隆突下)而非像荷兰语报告中通常那样用数字(如第7站)来描述的。另一个重要发现是,“involvement”一词及其变位形式(“involv”-ing)并非完全可以互换,因为involving在英语中的含义比荷兰语中表示受累的词(“ingroei”——延伸)更为模糊,而后者非常具体。
此外,荷兰语报告在受累确定或高度确定怀疑受累时才会提及受累。可能但不太确定的受累通常不予提及。所纳入的英文报告更频繁地使用描述可能侵犯的术语,而不以词语明确说明侵犯的确切确定性,如“向……延伸”、“紧贴”或“与肿瘤关系密切”。由于算法是基于匹配侵犯的具体概念和被侵犯概念进行训练的,结果更常出现错误匹配,进而导致假阳性结果。
按类别划分的错误
数据选择
在此类别中,尤其是验证集中的黑名单不够充分,导致五个实体被错误分类为肿瘤,但实际上是良性病变(例如一个带尺寸的良性肾囊肿)。因此,这些良性实体及其尺寸被错误地视为肿瘤,导致实际肿瘤大小被高估。
上下文匹配
此类别中的错误是由于概念与上下文之间的不匹配所致。例如,当报告缺少肿瘤尺寸而代之以“大”来描述时就会发生这种情况。由于算法需要肿瘤大小才能将某物识别为肿块,因此该肿块被遗漏。另一个困难是为模糊术语“肺不张”找到足够的同义词,肺不张既可以指阻塞后肺不张(这是T2肿瘤中该项存在的概念),也可以指常见的非肿瘤性重力相关肺不张。使用特定的肺不张相关形容词(基底、双侧、亚段等)来排除重力相关肺不张,正如荷兰语方法所做的那样。然而,这无法完全避免某些错误匹配和T1肿瘤的过度分期。
概念匹配
大多数错误与此类别有关,包含若干子类别,其中歧义是最大的贡献因素。此类别中的错误主要由于难以区分淋巴结与肿瘤肿块以及难以找到其正确位置。这在肺门区域尤为明显。例如,淋巴结可被描述为“隆突下(淋巴结)肿块”,而肿瘤可被描述为“(肺)门淋巴结”,使其确切位置以及是否为原发性肿瘤变得不太明确。插入更具体的受累同义词(即,累及/侵入)以及淋巴结和肿块位置的具体术语(即,隆突下淋巴结)提高了准确性,但无法完全解决该问题。在荷兰语报告中这一问题较少,因为淋巴结站别大多以站号提及。
错误类型“遗漏/误用概念同义词”尤其值得关注,因为它最能体现基于规则的算法方法所带来的困难。该子类别中的一个错误是由于某个受累概念(脏层胸膜)处出现了尺寸,因此无法将其列入黑名单(例如“胸膜增厚8.6 cm”)。相反的错误也存在,即囊性肺肿瘤被遗漏,因为“囊肿”一词被列入黑名单以避免与肾囊肿错误匹配。此外,无法区分由原发肿瘤引起的骨质破坏与由椎体转移引起的骨质破坏。复杂性子类别和测量提取器所犯错误具有相似的困难,即难以匹配同侧肺同一肺叶中的不同肿瘤,或当尺寸以不常见格式书写时难以匹配肿瘤尺寸。
报告者
该类别包括可通过陈述错误的肿瘤尺寸、或重复提及尺寸、或错误报告卫星结节的存在来解释的错误。由于算法要求每个尺寸都带有单位,且其尺寸与所述肺叶相关联,因此可能遗漏没有单位的肿瘤、高估具有两个不同尺寸的肿瘤,以及遗漏不同肺叶中的卫星结节。因此,正确陈述的输入非常重要。
改进算法
所描述的基于规则的算法具有前景,但这种方法是在遗漏肺部肿瘤与发现假肿块之间的权衡。使用分段器和正则表达式的基于规则的性质不够广泛,既不足以排除歧义,也不足以在训练集中不存在这些部分时找到部分。此外,上下文分析不搜索依存关系,导致概念与上下文之间的不匹配。此外,基于规则的方法似乎不够广泛,因为仅基于肿瘤尺寸的T分期在训练集和验证集中的准确率分别为0.78和0.76。附加的规则集仅将结果提高了0.08–0.09。
尽管自然语言处理(NLP)可以成功应用于自由文本报告,但其准确性将受益于报告中结构化和标准化程度的提高。此外,机器学习被认为可以通过基于更大量数据找到更多相关同义词来提高准确性评分。这可以通过使用例如词嵌入来实现。这允许对上下文进行更广泛的分析,因为特定概念通常由同一组修饰语嵌入。
尽管机器学习可能是一个有前景的补充,但它需要更多标注数据用于训练目的。这些大量特定数据的可获得性有时是一个问题,尤其是在新测量方法或新版TNM分期的初期。此外,提取和标注大量数据既昂贵又耗时。因此,重要的是从这项基线研究中学习,并探索机器学习或深度学习方法的实施究竟在哪些方面可以提高结果。专注于寻找准确的同义词(例如,重力依赖性肺不张/非肿瘤性肺不张)、区分肿瘤与淋巴结以及将上下文信息准确匹配到正确的概念,可能是改进算法的一种方式。这种混合方法可以更高效地提高结果,而无需标注大量数据。这可能降低并加快这些算法的可用性。此外,可以使用较不特定的数据来训练算法,因为只需要针对已遇到的困难进行训练。例如,非肿瘤性肺不张 also 在非肿瘤性CT或PET-CT扫描中被提及。
临床意义与未来展望
未来的工作应侧重于改进算法,但研究也可以着眼于此类算法如何帮助跨分期版本对肿瘤分类进行再分期,或分类图形用户界面(GUI)如何在临床实践中实施。
在本研究中,GUI仅用于在训练期间发现、分析和调整错误。然而,该工具也可以用于报告过程中的(实时)分期。当连接到生成报告的目录时,(实时)分期通过查看(已填写的)结构化格式来确保特定概念在自由文本报告中被提及,从而帮助报告者提高报告的准确性、完整性和质量。GUI可以通过弹出屏幕通知报告者关键信息缺失。在本研究中,分别在训练集和验证集中发现了8个和3个与报告者相关的错误。如果在完成报告之前检查信息,这些错误是可以预防的。使用该算法与GUI可以使报告准确性(即报告质量)提高1.5–4.0%。因此,GUI可能带来更好的报告,或许还能促使放射科医生进行更结构化和标准化的报告,因为他们能在GUI中看到其直接效果。
此外,当这些类型的算法用于难度较低的场景时,其潜力将进一步增强,例如自动提取甲状腺超声中所描述的甲状腺结节TIRADS(甲状腺影像报告和数据系统)分类。在用于描述囊性肾肿块的CT扫描上自动给出Bosniak分类可能是另一个例子。当我们还能结合基于人工智能(AI)的自动图像提取信息工具(例如,肿瘤大小提取器)时,可能可以预填放射学报告并进一步协助报告者和算法。
自然语言处理(NLP)的另一个不同机会是提取某些终点,例如特定疾病的存在或重要或偶然的发现。这可用于(半)自动警告转诊专科医生或安排随访预约。
因此,在临床实践中应用这些算法可以作为放射学结构化报告的补充。它自动检查自由文本报告中的特定项目,并将这些项目转换为结构化格式,而不会广泛改变或干扰报告方式。在数据化和ESR与RSNA所推动的数据标准化需求增加的时代,这一点尤为重要。这表明自然语言处理(NLP)或基于规则的算法也可以增强放射科医师及其报告,进一步支持报告过程。
局限性
使用基于规则的方法构建该T分期算法的一个局限性是,如果TNM未明确说明特定边界,则必须确定这些边界。例如,对于T4期,必须明确主肿瘤同侧不同肺叶中淋巴结的大小(> 1 cm),以及不同肺叶中不同肿瘤的大小(> 1 cm)。
另一个局限性是我们必须确定算法的严格程度,更具体地说是关于累及或存在等概念。仅明显侵犯是否应计入累及概念,或者是否应将“可能”或“很可能”等术语添加到侵犯概念中,这是有争议的。然而,所提出的基于规则的算法是可配置的。此外,该算法获得的T分期是影像学T分期。这可能与最终T分期不同,后者通常还需要额外的临床信息。
最后,T分期评分过程由一位作者(J.M.N.)完成。在不确定和/或存在歧义的情况下,咨询了第二位作者(J.W.),之后两位作者达成共识。尽管未来的验证研究还应关注评分者间变异性的方面,但本研究的首要目标是探索荷兰算法在翻译成英文后是否有用。
结论
NLP是一种有前景的工具,可用于从肺部肿瘤学T分期的放射学报告中提取特定信息。所使用的荷兰算法可以成功翻译并在英文数据集中得到验证,这很可能对其他语言也同样可行。集中实施更多机器学习策略并使用图形用户界面应能因更好的报告质量而带来更高的准确性。
补充信息
附加文件1。附录1。注释指南。附录2。概念同义词。
引用
- Nobel JM, Puts S, Weiss J, et al. T-staging pulmonary oncology from radiological reports using natural language processing: translating into a multi-language setting. Insights Imaging. 2021. PMID: 34114076. doi:10.1186/s13244-021-01018-1
- 全文:PMC8192634(PMC 开放获取,CC BY)https://pmc.ncbi.nlm.nih.gov/articles/PMC8192634/
供执业医师工作参考,不替代临床判断;数值与分级以指南原文为准。