转载

Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN

Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN

概述

本文的方法是基于检索的方法。通过将问题、答案映射到同一向量空间,通过计算向量距离,衡量问题和

答案的相似程度,最后选出正确答案。文中的创新点是作者提出了AR-SMCNN模型,用以融入更多的文本

信息。并且论文也提出了一种启发式方法用于实体检测。

方法的总体架构图

任务定义

知识图谱是由一个个<实体、关系、实体>的三元组组成。本文的任务是根据一个问题预测出头实体关系

之后在知识图谱中检索出尾实体。任务较为简单,仅仅用到了知识图谱中的事实性知识。

实体检测

方法的流程图如上所示。具体:

  • 使用双向LSTM对句子中的每个词进行二分类,标记0或1

  • 选出句子中标记为1的连续子句(连续是相对的,可以容忍的最大间隔为1)。若有多个子句,选出最长的子句S。

  • 从知识库中找到与步骤2选出的子句S中相同的实体

  • 步骤3中,若没有从知识库中找到相应实体,增长或者缩短子句S(最多两个单词),生成新的子句,去知识库匹配

  • 步骤4没找到的话,只好暴力搜索,用整个句子的每个单词去匹配,找出知识库中包含单词的实体。从这些找 到的实体中,选择与整句有最长公共子序列的实体。

关系发现

总体框架图如下

  • 语义水平

    Freebase知识库中,关系由两部分组成,一是头实体类型,二是头实体与尾实体的关系。

    AR-SMCNN模型左边部分:

    首先对问题中的每个单词进行嵌入,作为双向GRU的输入,GRU的输出为每个单词对应的隐状态

    向量,之后由于关系的两部分对问题中相同单词聚焦程度不同,所以模型引入注意力机制

  • 字义水平(literal-level)

    作者发现,问题和关系中一些词存在不同的表达,即使是同一个意思。比如

    <music, musical>、<genre, type>.如下图所示

    AR-SMCNN模型右边部分:

    作者构造了一个相似矩阵,之后经过卷积层,唯一新颖的地方,论文中使用了2-direction最大池化。

    从水平方向和垂直方向进行最大池化,最后经过全连接层,得到输出。

    论文原文

正文到此结束
本文目录