NLP作业三:用BiLSTM+CRF实现中文命名实体识别(TensorFlow入门)【代码+报告】

这里是国科大自然语言处理的第三次作业,同样也是从小白的视角解读程序和代码,现在我们开始吧(今天也是花里胡哨的一天呢🤩
在这里插入图片描述

1.程序与实验说明

实验要求

  使用任意一种深度学习框架(推荐pytorch),利用目录 data 中的数据训练模型来完成序列标注任务(命名实体识别),识别出文本中的人名、地名和组织机构名。
  数据集说明:来自于98年人民日报NER语料
  评价指标:采用准确率、召回率以及F1值来进行模型评价。

程序说明

代码链接

https://download.csdn.net/download/qq_39328436/51914074

代码结构

在这里插入图片描述

  • data_path:6个文本文件均为老师提供,读者也可以在网上下载完整的MSRA语料库。最终送入模型的是处理好的test_data和train_data。
  • data_patch_save:存储的是训练好的模型,图片中展示的1638113385 是我已经训练好的模型
  • venv:是我电脑上pycharm自动生成的与编译环境有关的文件夹,可以删除
  • conlleval_rev.pl:是用于计算准确率的perl工具
  • utils.py:与demo实现相关(其他py文件会在下文中提到)

运行步骤

🧡一些重要的说明🧡:
  之前的两次nlp实验均采用的是pytorch框架,虽然这一次老师建议的也是使用pytorch,但是最后还是选择了TensorFlow,主要原因是CRF在TensorFlow中只需要一个函数就能实现,相对于pytorch更加简洁,其次是基于TensorFlow的序列标注有更多的参考博客,更加适合于新手学习。
  在运行代码过程中可能会碰到的问题(例如:报错,perl不是内部命令)可以参考本篇博客的最后一个部分,或许会有帮助。

  在pycharm终端依次执行:

python main.py --mode=train # 开始训练,训练好的模型会保存在项目文件夹中
python main.py --mode=test --demo_model=1638113385 # 训练好之后开始测试,1638113385是已经训练好的一个模型,可以替换成自己的
python main.py --mode=demo --demo_model=1638113385
并根据提示在控制台任意输入一句话,便可评估出这句话中的人名等

在这里插入图片描述

2.基础知识概述

序列标注问题

  在自然语言处理任务中,有许多的任务可以转换为“将输入的语言序列转化为标注序列”来解决问题。如:命名实体识别、信息抽取、词性标注。本次实 验要完成的就是命名实体识别,简而言之就是将输入序列中的人名,机构名以及地名标注出来。解决序列标注问题有很多方法,比如说马尔科夫模型(HMM)和隐马尔可夫模型,本次实验采用的是神经网络的方法。下图是神经网络序列标注模型的架构图
在这里插入图片描述

  • 输入层:将离散特征转化为低纬稠密向量
  • 表示层:由输入向量生成各种特征表示,本次实验选取的神经网络模型是Bi-LSTM
  • 标签阶码:有特征表示生成标签预测,本次实验选取的标签预测模型是 CRF

CRF

CRF是条件随机场,在网上很多关于它的公式详解,所以这一小节只讲一个问题:在序列标注问题中,Bi-LSTM+softmax的模型存在什么问题?为什么需要在这个问题中引入条件随机场?

  如果不使用条件随机场,经过softmax之后,会挑选一个概率最大的标签输出,第一列最大的是0.14,那么对应“中”的标签就应该是B-Location(B代表Begin),代表地名的开始;第二列概率中最大的是0.31,其对应的标签仍然为B-Location,很显然,两个挨着的字是不可能都为地名的开始,**那么要如何解决问题这个问题呢?**这就是条件随机场的工作了
在这里插入图片描述
  之所以会出现连续的两个B,是因为输出之间没有限制条件,应该告诉模型,如果前一个字是Begin,后一个字的标签就不能是Begin。那么 CRF是如何完成这样的限制的呢? 它是通过一个转移矩阵规定输出序列的概率做到的。
在这里插入图片描述
  在这个矩阵中,第一行第一列代表前一个字是B-Location,后一个字是B-Location的概率,根据上文的描述,这个概率应该非常小,甚至是0。那么加入了CRF之后的模型结构就应该是下图所示:
在这里插入图片描述

3.数据预处理

train_corpus.txt
在这里插入图片描述
train_lable.txt
在这里插入图片描述
  上面两个文件分别表示原始语料以及其对应的标签
  便签说明:{ B-PER:人名开始; I-PER:人名中间 ;B-LOC:地名开始, I-LOC:地名中间; B-ORG:机构名开始 ;I-ORG:机构名中间;O:其他 }如周恩来这个人名实体对应的标签B-PER, I-PER, I-PER
  需要将数据处理成下面这样的格式再输入到模型中,左侧为字符,右侧为标签。
在这里插入图片描述

本次实验老师提供了处理好的两个txt(感谢如此仁慈可爱的老师🧡),如果读者的原始数据比较奇怪,应该想办法处理成这个样子。

4.模型结构

  模型结构如下图所示,输入层最主要的是look-up层处理得到词嵌入;中间神经网络层是一个双向LSTM,输出时经过一个softmax;最后在转移矩阵A的限制下,通过CRF层得到预测标签
在这里插入图片描述

🧡一些重要的说明🧡:
  源码实在是太长了,csdn上有厉害的大佬逐行解释了大部分的代码,推荐:https://blog.csdn.net/qq_41076797/article/details/99569285
  本篇博文后续的篇章主要以模块的角度讲解,争取做到能够让像我这样的TensorFlow小白迅速get重重点。

5.训练

if args.mode == 'train':
    # 创建模型
    model = 🧡BiLSTM_CRF(args, embeddings, tag2label, word2id, paths, config=config)
    # 创建节点,无返回值
    🧡model.build_graph()
    print("train data: {}".format(len(train_data)))
    # 开始训练
    🧡model.train(train=train_data, dev=test_data)
  • BiLSTM_CRF创建模型

    • batch_size=64
    • epoch=5 源码中默认为40,考虑到训练时间,所以改成了5
    • hidden_dim=300 隐藏状态的大小; 每个LSTM单元在每个时间步产生的输出数
    • optimizer=Adam
    • lr=0.001
  • build_graph() 创建节点

    • build_graph() 中的函数依次进行初始化占位符,处理输入词嵌入,设置BiLSTM层,计算损失以及梯度,设置优化器等操作。
    • 重点要提的是在loss_op()中有一个函数crf_log_likelihood(),返回值为log_likelihood以及transition_params,这里的transition_params函数就是CRF的转移矩阵。这个转移矩阵会作为sess.run的一个参数来计算logits
  def build_graph(self):
        self.add_placeholders() # 初始化占位符
        self.lookup_layer_op() # 处理输入的词嵌入,是上文模型结构中的输入层
        self.biLSTM_layer_op() # 设定BiLSTM层
        self.softmax_pred_op() # 本次实验不调用
        self.loss_op() # 计算损失
        self.trainstep_op() # 训练操作,设置优化器,计算梯度等
        self.init_op() # 初始化训练参数
  • model.train 开始训练,下图是trian函数的主要的调用链(省略了其他细节)。
    在这里插入图片描述

  需要注意的是,本程序每训练完一个epoch时,会生成测试数据进行测试,并输出准确率。所以run_one_epoch函数中不仅有run,同时也有evaluate。
在这里插入图片描述
  训练好的模型会被保存在…/data_path_save中

6.测试

elif args.mode == 'test':
    # 加载模型
    ckpt_file = tf.train.latest_checkpoint(model_path)
    print(ckpt_file)
    paths['model_path'] = ckpt_file
    # 初始化模型
    model = BiLSTM_CRF(args, embeddings, tag2label, word2id, paths, config=config)
    model.build_graph()
    print("test data: {}".format(test_size))
    #开始测试
    🧡model.test(test_data)
  • 精度描述(测试结果会输出四个评价指标)
    • accuracy准确率= 正确预测的正反例数 / 总数
    • precision精确率=在被判断为真的样例中,实际为真的样例比例
    • recall召回率=在实际为真的样例中,被判断为真的样例比例
    • F1平衡F分数=精确率和召回率的调和平均数

  测试思路比较简单,加载好训练的模型送入 model.test()函数中进行测试,下图是test()主要的调用过程:
在这里插入图片描述
  比较特殊的是,并没有直接用python代码来计算准确率,而是利用一个基于perl(一种编程语言)的工具conlleval_rev.pl。在eval.py中执行下面这句代码就能调用conlleval_rev.pl工具。

os.system("perl {} < {} > {}".format(eval_perl, label_path, metric_path))

   conlleval_rev.pl存在项目文件夹中,有兴趣的同学可以研究一下源码,笔者实在是能力有限,无法对它做太多解读。此外, conlleval_rev工具在github上有基于python实现的版本,如果读者不想在电脑上安装perl工具可以下载来尝试一下。

  下图是经过conlleval_rev.pl工具对测试数据进行处理之后的结果:
加粗样式

疑问与思考

💜在pycharm中如何配置perl?

  在网上查到的方法都是在pycharm中下载plugins即可,但是我安装好之后并没有用,所以找了另外的笨办法。安装好strawberry,并配置好环境变量D:Strawberryperlbin,在pycharm的setting中进行如下配置:(add system per)。
在这里插入图片描述

🖤已经安装了pytorch后如何安装TensorFlow?

  在setting中另起一个interpreter,选择Anaconda文件夹下的python.exe,然后用pip在清华镜像安装TensorFlow即可。
在这里插入图片描述

🧡tensorflow中的sess.run

  函数:run(fetches, feed_dict=None, options=None, run_metadata=None)当构建完图后,需要在一个session会话中启动图,第一步是创建一个Session对象。为了取回(Fetch)操作的输出内容, 可以在使用 Session 对象的 run()调用执行图时,传入一些 tensor, 这些 tensor 会帮助你取回结果。
feed_dict参数的作用是替换图中的某个tensor的值或设置graph的输入值

(1)TensorFlow与我们正常的编程思维略有不同:TensorFlow中的语句不会立即执行;而是等到开启会话session的时候,才会执行session.run()中的语句。如果run中涉及到其他的节点,也会执行到。

(2)Tesorflow模型中的所有的节点都是可以视为运算操作op或tensor

💛tensorflow中的Logits

参考:https://blog.csdn.net/a2806005024/article/details/84113190
  以1000分类为例,Logits就是最后一层输出后,进入到Softmax函数之前得到的1000维向量。
以AlexNet为例进行解释,FC8层(最后一层)的输出就是Logits(1000维)。而常用的Feature确是4096维从FC6/FC7(倒数第二层)中提取。
  为什么不用1000D的Logits作为Feature?一个直观理解是——这个Logits实在太“高级”太“抽象”。Logits由于离softmax太近,它的特性高度适应1000分类任务而无法用于其他任务,失去了对普遍性的视觉特性的描述,因而不能用于其他任务。更理性的分析可以从Softmax的输入/输出关系看出,Softmax仅仅是对Logits做了一个归一化。

💙tensorflow中的Placeholders

参考:https://blog.csdn.net/ltrbless/article/details/104580619
  Placeholders是占位符,其实是一个比较特殊的变量,但是它只是暂时占着位置,一般在最后运行的时候才赋值。在tensorflow中通过占位符把数据输入到之前构造的计算图中。

🧡Dropout的作用

参考:https://blog.csdn.net/program_developer/article/details/80737724
   Dropout可以比较有效的缓解过拟合的发生,在一定程度上达到正则化的效果。dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中,通过忽略一半的特征检测器(让一半的隐层节点值为0),可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用,检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。
在这里插入图片描述

完结撒花✨
其实还有很多细节没有搞清楚写明白,希望大家批评指正~

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码

)">
< <上一篇
下一篇>>