转载

Attention in Character-Based BiLSTM-CRF for Chinese Named Entity Recognition

Attention in Character-Based BiLSTM-CRF for Chinese Named Entity Recognition

概述

作者提出了一种基于字符(区别于词)的中文命名实体识别方法。提取字符级特征和字形特征,字符级特征和字形特征

经过attention机制作用后得到最后的特征,特征作为框架BiLSTM-CRF的输入。经过BiLSTM-CRF的处理,完成

命名实体识别任务。

字符嵌入

Glove 理解GloVe模型(+总结)

字形特征提取

中文是一种典型的象形文字。一般人们遇见不认识的字,习惯性得通过其形状来猜测其意思。本文提出的提取字形

特征的方法是模拟人总是通过其形状来理解一个不认识的字。具体得将每一个中文字符转化为一个灰度图(数据预

处理的时候删除了标点符号,0-9数字全转变为1),然后通过CNN(类似于VGG模型), 从灰度图中提取300维的向量。具体的模型架构文章并没有给出。

attention机制

c是嵌入特征向量,g是字形特征向量,两个维度相同。

attention机制的过程如下,c、g分别经过全连接层得到两个输出,两个输出相加得到hidden layer1

经过tanh激活函数激活,得到hidden layer 2, 最后进过一个全连接层达到最后的我们要的权重 θ \theta

公式15详细阐述了,c, g, θ \theta 到达x的计算过程。

原论文链接

正文到此结束
本文目录