EventGraph：Event Extraction as Semantic Graph Parsing 论文解读

EventGraph: Event Extraction as Semantic Graph Parsing

论文：2022.case-1.2.pdf (aclanthology.org)

代码：huiling-y/EventGraph (github.com)

期刊/会议：CASE 2022

摘要

事件抽取涉及到事件触发词和相应事件论元的检测和抽取。现有系统经常将事件抽取分解为多个子任务，而不考虑它们之间可能的交互。在本文中，我们提出了EventGraph，这是一个用于事件抽取的联合框架，它将事件编码为图。我们将事件触发词和论元表示为语义图中的节点。事件抽取因此成为一个图解析问题，它具有以下优点:1)事件检测和论元抽取联合进行;2)从一段文本中检测和抽取多个事件;3)捕获事件论元和触发词之间的复杂交互。在ACE2005上的实验结果表明，我们的模型与现有的系统相比具有竞争力，并且在论元抽取方面有了很大的改进。此外，我们从ACE2005创建了两个新的数据集，其中保留了事件论元的整个文本跨度，而不仅仅是头部单词。

1、简介

事件抽取旨在根据预定义的事件本体，将非结构化文本中的事件相关信息抽取为结构化形式(即触发词和论元)(Ahn, 2006;Doddington et al, 2004)。在这些类型的本体中，事件由事件触发词来表示，并由一组预定义的论元类型组成。图1显示了一个包含两个事件的句子示例，一个由“friendly-fire”触发的Attack事件和一个由“died”触发的Die事件;这两个事件共享相同的论元，但每个事件在特定事件中扮演不同的角色。例如，U.S.是死亡事件中的Agent，但在Attack事件中扮演Attacker的角色。

与将事件抽取划分为独立的子任务相反，我们利用语义依赖分析的最新进展(Dozat和Manning, 2018;Samuel和Straka, 2020)，并开发了一个端到端事件图解析器，称为EventGraph。我们采用直观的图形编码来表示单个事件图中某段文本的事件提及，并直接从原始文本生成这些事件图。我们在ACE2005 (LDC2006T06)上评估我们的EventGraph系统。我们的模型与最先进的模型取得了具有竞争力的结果，并大大提高了事件论元抽取的结果。这项工作的主要贡献是:

1. 我们提出EventGraph，这是一个文本到事件的框架，它将事件抽取作为语义图解析来解决。该模型不依赖于任何特定于语言的特性或特定于事件的本体，因此可以很容易地应用于新的语言和新的数据集。
2. 我们设计了一种直观的图编码方法来表示单个事件图中的事件结构。
3. 我们的方法的通用性允许轻松解码完整的触发词和论元提及。我们从ACE2005中创建了两个新颖且更具挑战性的数据集，并提供了相应的基准测试结果。

2、相关工作

我们的工作与事件抽取和语义解析两个研究方向密切相关。

有监督事件抽取是自然语言处理中的一个研究领域。获取事件的结构化信息有不同的方法，主流的方法可以分为:1)基于分类的方法:将事件抽取作为几个分类子任务，或者以基于管道的方式分别求解(Ji and Grishman, 2008;Li等，2013;刘等，2020;Du和Cardie, 2020;Li等人，2020)或联合推断多个子任务(Yang和Mitchell, 2016;Nguyen等人，2016;刘等，2018;Wadden等人，2019;Lin et al, 2020);2)基于生成的方法:将事件抽取作为序列生成问题(Paolini等人，2021;Lu等，2021;Li等，2021;Hsu等，2022);3)提示提示方法:受自然语言理解任务的启发，这些方法利用了“离散提示(discrete prompts)”(Shin等人，2020;Gao等，2021;Li和Liang, 2021;Liu et al, 2022)。

语义表示解析近年来引起了人们的极大兴趣(openen等人，2014,2015,2020)。与语法依赖表示不同，这些语义表示关键不是树，而是一般的图，其特征是可能有多个入口点(根)，并且不一定是连接的，因为不是每个标记都是图中的节点。在开发能够产生这种语义图的基于迁移和基于图的依赖解析器的变体方面，已经取得了相当大的进展(Hershcovich等人，2017;多扎特和曼宁，2018年;塞缪尔和斯特拉卡，2020年)。

在当前环境中，语义解析器在NLP任务中的应用已经超越了意义表示解析。这些方法依赖于将特定于任务的表示重新表述为语义依赖关系图。例如，Yu等人(2020)利用Dozat和Manning(2018)的解析器来预测命名实体的跨度，而Kurtz等人(2020)将否定解析任务(Morante和Daelemans, 2012)描述为具有良好结果的图解析任务。最近，Barnes et al.(2021)提出了一种依赖解析方法来从文本中抽取意见元组，称为结构化情感分析，最近致力于这项任务的共享任务证明了图解析方法对情感分析的有用性(Barnes et al, 2022)。与我们的工作最相似的是Samuel等人(2022)的工作，该工作采用PERIN解析器(Samuel和Straka, 2020)直接从原始文本解析为情感图。

3、事件图表示

我们采用一种有效的“标记边缘(label-edge)”表示，用于句子范围内的事件图编码。事件图中的每个节点都对应于一个事件触发词或一个论元，该论元锚定在句子中的唯一文本跨度上，除了顶部节点，它只是每个事件图的虚拟节点。边仅在顶部节点和事件触发词之间或事件触发词和论元之间受到约束，对应的边标签作为事件类型或论元角色。“标记边缘”编码具有以下能力:1)多个事件提及;2)嵌套结构(论元或触发词论元之间的重叠);3)单个论元的多个论元角色。以图2中的事件图为例，句子中包含两个事件提及，它们共享相同的论证“the hills above Chamchamal”，但角色不同，论元“coalition”嵌套在论元“coalition figher jets”中。

4、事件解析

EventGraph是PERIN (Samuel和Straka, 2020)的改编，PERIN是用于文本到图解析的通用排列不变框架。给定事件图的“标记边缘”编码，我们通过定制PERIN的模块来创建EventGraph，如图3所示，其中包含三个分类器，分别用于生成节点、锚点和边。每个输入序列由EventGraph的四个模块处理，生成最终的结构化表示。

编码器：我们使用large XLM-R (Conneau et al, 2020)作为编码器，以获得输入序列的上下文化表示;每个token通过在子词上学习的子词注意层获得上下文嵌入。

查询生成(query generator)：我们使用线性转换层将每个嵌入的token映射到$n$个查询。

解码器：解码器是一个Transformer编码器层的堆叠(Vaswani等人，2017)，没有位置编码，这是置换不变的(非自回归);解码器通过建模query之间的相互依赖关系来处理和增强每个token的query。

解码头：它由三个分类器组成:a)节点分类器是一个线性分类器，通过对每个token的增强查询进行分类来预测节点的存在;由于为每个token生成多个查询，单个token可以生成多个节点;b)anchor biaffine分类器(Dozat和Manning, 2017)在每个token的增强查询和上下文嵌入之间使用deep biaffine attention，将预测的节点映射到表面token;C)edge biaffine分类器使用两个deep biaffine attention模块来处理生成的节点，并预测一对节点与边缘标签之间的边缘是否存在。

给定一段文本，EventGraph生成相应的图，从节点和边中抽取事件提及的结构化信息并不费力。

5、实验

5.1 数据集

ACE 2005：ACE05-E、ACE05-E+、ACE05-E++、ACE05-E+++。

5.2 评估指标

Trigger classification (Trg-C)、Argument classification (Arg-C): precision、recall、F1。

5.3 对比模型

DYGIE++、ONEIE、TEXT2EVENT、GTEE-GYNPREF。

5.4 实施细节

我们的代码构建在PERIN解析器之上(Samuel和Straka, 2020)。关于我们的训练设置和超参数设置的细节在附录a中给出。对于每个数据集，我们用5个不同的随机种子训练5个模型，并报告相应结果的均值和标准差。

6、结果和讨论

7、总结

本文提出了一种新的事件抽取方法——语义图解析。我们所提出的EventGraph在事件触发词分类任务上已经在ACE2005上取得了具有竞争力的结果，在论元角色分类任务上获得了最好的结果。我们还提供了一个图形表示来更好地可视化事件提及，并提供了一个有效的工具来促进图转换。我们从ACE2005中创建了两个新的数据集，包括触发词和论元的全文跨度，并提供相应的基准测试结果。我们表明，尽管添加了更多更长的文本序列，EventGraph仍然优于之前在更有限的数据集上测试的模型。在未来的工作中，我们将尝试不同的预训练语言模型，并进行更详细的错误分析。