Relation Extraction Survey

研究方法思维导图

将RE的研究思路汇总成如下框图。

任务方案简述

关系抽取也可以看做是一个机器学习任务，因此可以从三个反向进行解决，如上图所示。

基于监督学习方法

根据RE的特点，目的是从句子中抽取或判断出实体对的某种关系，因此一种思路是将该任务等于分类任务去对待，另一种思路是基于kenel的方法进行求解。

Classification Model

基于分类模型，那么传统的分类模型都可以用来完成改任务，典型的流程是设定好关系类别，选择合适的特征（该任务中，通常特征会包括POS，NER，Position，句法解析结果）， 之后选择合适的分类器，然后训练、预测。该方式比较传统，因此问题也比较突出，需要较多的人工干预特征才能获得较好的效果。

Deep Learning Model

由于近两年以来深度学习在语音和图像领域的效果，因此越来越多的学着将深度学习技术运用于NLP任务，同时也获得了较好的效果。针对于RE问题，同样是将其看做一个分类任务，采用CNN抽取特征，然后利用softmax获得最终的分类结果。常见的架构是，

• 利用word embedding 技术获得句子中每个词/字的embedding，或者利用pre-trianed embedding作为初始化

• 同时获得句子中每个词的Position embedding，这里的位置是指当前的每个词相对于实体对中两个实体的位置，比如“马化腾 在 1998年11月 创立 了 腾讯”，马化腾和腾讯是两个实体，比如“在”这个字，到“马化腾”的距离是-1， 到“腾讯”这个词的距离是4，然后对这两个值进行embedding得到 Position embedding。

• 将之前步骤中的向量进行拼接当做sentence的表示，然后利用CNN抽取特征

• 利用softmax或其他函数获得最终的输出

基于深度学习的方式采用了end to end 的思想，不要太多人工设计的特征，从整个系统来说最多只需要pre-trained embedding 其他均不需要人为单独设计特征。但针对于传统CNN模型还是存在较多局限性，众多学者都进行了较多的改进，主要有：

• CNN + max pooling， 通过pooling获得相同规格的特征，避免不同句子长度造成的影响

• 不同 卷积filter协同工作，利用不同大小的卷积核提取更多的特征

• Multi-instance Learning， 不具体标注单个句子，而是标注某个文档集或者句子集，主要是依据假设：如果一个实体对出现在一个bag集中，那么至少有一个doc或者sentence含有该实体对的关系。

• Piece-wise CNN，在进行CNN之前，根据两个实体的位置对sentence vector 分为三块，分别进行CNN，以获得更多的结构性信息

• CNN + Attention， 在卷积中加入注意力机制，使得含有关系的句子获得更多的关注

以上就是采用DL的方法来进行RE任务常用的方法。

Distant Supervision

远程监督，属于一种弱监督方式，它是利用外界的一个庞大的知识库来指导标注/扩充训练样本集。基本思想是，假设一个含有实体对的句子，如果该实体对能够和Freebase知识库中的实体对齐的话，那么该句子同时也包含了该实体对在Freebase中的关系，因此可以将该句子看成一个正样本。
这种假设过于强烈，因为含有实体对的句子不一定含有实体对间的关系，现有以下四种方式来解决这个问题，

• 在构造数据集引入先验知识加以限制

• 利用指称与指称间的关系图模型对数据样例打分，过滤掉置信度低的句子

• 利用Multi-Instance 对测试数据包打标签

• 采用 attention 机制对不同置信度的句子赋予不同的权重

远程监督是一个用来增加数据的有效方法，但在中文领域中缺少类似于Freebase这种即包含实体又包含关系的大型知识库，因此具体工程效果如何，还需要进一步探索和验证。

Kernel Based Model

基于核函数的方法进行关系抽取是指利用核函数来计算两个关系之间的距离，它不同于其他的学习算法，不需要进行特征工程然后形成特征向量，而是直接利用字符串通过核函数计算相似度。与基于特征向量的方法相比，基于核函数的方法更加灵活，可以综合多方面的信息，且核函数具有很好的复合性，最终的关系距离可以综合多个不同信息来源的核函数符合而成。在NLP任务中常见的子序列核和解析树核。基于核函数的关系抽取详细内容参考后面给出的引用论文。

Sequential/String Kernel

序列核的思想是根据两个序列/字符串的公共子串来衡量两个字符串间的相似度，每个子串会根据子串间隔来设计不同的权重。

Tree Kernel

基于树思想将输入的实例构造成一个句法解析树，通过子树的匹配来计算实例间的额相似度，缺点是生成树的浅层解析工具的准确率无法保证。

Semi-Supervised Learning

半监督方法，是利用bootstraping思想，通过某种方式构造出一批样本种子，然后利用这些种子集发现新的样本，总结出应有的规则或模式，用于发现新的样本。下面对几种常见方法做个简要介绍。

DIPRE

整体思想是，首先建立一批种子实体对，比如（作者，书名）；之后利用这些实体对获取同时含有这两个实体的doc或sentence当做标注样本；根据标注样本建立和调整pattern；利用pattern发现新的标注数据，并将数据加入到种子集；重复以上步骤直到满足某种设定的条件。
这个过程中，最繁琐的属于pattern的设计，建立pattern时可以考虑如下规则，以第一个实体开头、两个实体间间隔多少个词等。

Snowball

Snowball大致思想课DIPRE类似，但根据种子发现标注数据时计算方式不同，这里是将实体和关系的Tuple表示成向量，通过计算发现样本Tuple向量和种子Tuple向量间的相似度决定是否将样本加入到样本集，根据新的种子集的向量调整种子集中心向量。

KnowItAll

KnowItAll主要是根据Noun Phrase（NP）手工设计一些规则，根据规则进行提取。规则的形式可以如下：

• NP1 “such as” NP2
• NP1 “and other” NP2
• NP1 “include” NP2
• NP1 “is a” NP2
• NP1 “is the “ NP2 “of “ NP3
• “the” NP1 “of” NP2 “is” NP3

TextRunner

TextRunner 算法主要分为三个过程，
1）self-Supervised Learner 自监督学习过程，目标是构建样集合分类器。构建样本集的大致为：先通过一个自然语言分析器提取出样本中存在的三元组，指定一些规则对这些三元组标记为正或者负。标记完成后利用这些数据训练出一个分类器，对三元组打分，该阶段称为训练阶段。
2） Single-Pass Extractor: 抽取阶段，对待抽取句子进行浅层语义分析，标注其中的词性和名词短语。对名词短语，如果满足某种条件，则作为候选三元组，之后利用第一步的分类器进行分类，打分。过滤出可信的三元组，同时记录其出现的频次。
3）Redundancy-based Assesor , 基于冗余的评价器，对抽取的三元组进行评价，进一步提高效果

Unsupervised Learning

无监督方式主要是基于假设，拥有相同语义关系的实体对拥有相似的上下文信息，因此可以利用每个实体对上下文信息来代表该实体对的语义关系，然后对实体对的语义关系进行聚类。

综上所述，在工业届更多考虑的是准确性，因此采用的基于规则方式较多，随着样本标注数据的不断积累，逐渐引入DL方法，以提高抽取效率。

DataSet

关系抽取的数据集并不多，在各种paper中常见的数据集为ACE 2005（Automatic Content Extraction）和SemEval 2010 Task8，而中文领域相关数据集暂时还未发现。

参考文献

1. A survey on Relation Extraction Silde
2. A Survey of Deep Learning Methods for Relation Extraction
3. Relation Extraction Perspective from Convolutional Neural Network
4. A Survey On Relation Extraction
5. 基于核函数的命名实体关系抽取技术的研究
6. 基于深度学习的关系抽取技术进展