https://arxiv.org/pdf/2009.06207.pdf

Abstract

• 因为生成式的三元组抽取很难捕获长距离依赖而产生一些不正确的三元组。
• 本文提出一种新颖的模型，利用generative transformer的对比的三元组抽取。我们在encoder-decoder中使用单个共享transformer
• 为了产生可靠答案，我们提出了新颖的三元组对比训练
• 此外，我们介绍了两种机制来提升模型性能，batch-wise dynamic attention masking 和三元组校准
• 实验结果在三个数据集(NYT,WebNLG,MIE)上都超过了baselines

Introduction

目前三元组抽取的encoder-decoder模型有两个主要问题

• 问题1：由于RNN内在的不足，它不能捕获长距离依赖
  • 导致：模型不能应用于更长的文本
• 问题2：难以专注于生成正确的三元组(Zhu et al.2020)
  • 导致：产生没有事实依据的错误三元组

本文解决方法：

• 使用对比三元组提取Contrastive triple extraction with Generative Transformer (CGT)，它是一个共享的transformer模块
• 提出新颖的三元组校准算法（triple- wise calibrating algorithm）在inference时来筛选错误三元组

Method

• Input

  • source sentences：

    

  • target sequence：

    

• Generative Transformer

  • architecture

    

  • generation loss

• Triplet Contrastive Learning

  • 构造错误三元组：从句子中选择并替换正确三元组中的实体

  • 构造输入：$[CLS]x_0,x_1,...,x_m[SEP],h^i,r^i,t^i$，将[CLS]通过MLP对三元组进行二分类

  • 损失函数：

    

  • 流程图：