桥梁检测领域命名实体识别
来源:用户上传
作者:
摘要：为了实现桥梁检测领域文本命名实体的有效识别，本文提出了一种基于深度神经网络的学习方法，首先利用卷积神经网络中的卷积层可以有效的描述数据的局部特征，再用BiLSTM-CRF深度神经网络模型进行命名实体标注。实验结果表明与主流BiLSTM-CRF模型相比较，CNN-BiLSTM-CRF模型在各项指标上都有一定的提升效果。
关键词：命名体识别;LSTM;CRF
中图分类号：TP391.1;TP183 文献标识码：A 文章编号：1007-9416（2020）01-0235-02
0 引言
随着交通基础设施建设的快速发展，中国正在逐步从桥梁大国发展为桥梁强国。如何对桥梁运营期的服役状况进行全面监管，保障桥梁的安全可靠性，及时发现重要结构病害，实施科学合理的维修加固等管理养护措施，一直是桥梁领域关注的重点，也是未来的发展方向[1]。
桥梁的定期检查，会记录桥梁的状态，包括结构外观病害观测、材料性能劣化、重要构件变形等，评定其技术状况等级，并提出后续养护维修建议，定期检查已成为我国公路桥梁运营期业务体系中最重要的工作内容之一[2]。定期桥检报告中包含了大量的结构和病害等细粒度信息，挖掘分析结构病害成因和结构状态演化趋势，采取相应的维护措施，能够有效的保证桥梁的安全性，也是人工智能时代土木基础设施管理创新发展的重要趋势。
命名实体作为文本信息抽取、知识图谱构建等任务的基础性工作之一，在自然语言处理、统计机器学习、深度神经网络等研究方向得到了广泛关注和长足发展[3]。桥梁命名实体识别目的是从桥梁检测报告中抽取桥梁的构件信息、病害信息和病害的位置信息，命名实体的识别是桥梁领域各项自然语言处理的基础任务。对桥梁命名实体的有效识别能够加快桥梁领域知识图谱的构架，为构件与病害信息的关联、推理等工作进行支持，对桥梁管理与养护工作具有重要的意义。
本文采用目前主流的深度神经网络方法进行命名体的识别。主要工作内容：（1）实现了对构件信息，病害信息等领域实体的识别。（2）采用CNN-BiLSTM-CRF模型为训练模型。（3）使用字符级向量输入神经网络进行训练。
1 相关工作
命名实体识别任务过去主要采用基于机器学习的方法和基于规则的方法。特征工程的质量严重影响这些方法的效果，特征工程的选择需要大量的人工来进行，还学要特定领域的知识，为了避免因为特征工程影響实体识别的精度，目前大多数研究都采用基于深度学习的方法，深度神经网络是一个用于挖掘潜在有用特征的多层神经网络，通过神经网络自动抽取数据的特征，实现了端到端的训练。张海楠等[4]提出了一种基于深度神经网络的字词联合方法，将字向量和词向量进行有效互补，提高了命名实体的识别性能。也有越来越多的学者开始关注少数民族语言的发展，王路路等[5]利用BiLSTM-CRF模型来识别维吾尔问命名实体的识别，也取得了较好效果。
2 模型介绍
2.1 CNN模型
卷积神经网络中的卷积层能够很好地描述数据的局部特征，令卷积核列数与词向量列数保持一致，每次卷积都相当于卷积了一整行，保证了词向量的完整性。再通过池化层可以进一步提取出局部特征中最具有代表性的部分。由CNN的输出结果将作为BiLSTM的输入。
2.2 LSTM神经网络
LSTM神经网络是一种特殊的循环神经网络。LSTM在RNN的基础上加入了门机制来解决循环神经网络模型因为长序列而产生梯度爆炸的问题，能够处理较长的语句信息问题，所以该模型在解决长序列标注问题上有一定的优势。通过加入门和细胞状态来控制传递给记忆单元的输入比例，在解决梯度爆炸问题的同时也解决了学习长期依赖信息。
为了充分利用上下文信息，本文将采用BiLSTM模型。BiLSTM在LSTM的基础上增加了反向传播层，可以将信息序列从正反两个方向输入模型，然后由隐含层保存两个方向的信息序列。
2.3 CRF
在BiLSTM网络层之后接一个线形层，CRF层将BiLSTM层的输出作为输入，根据序列得分选择全局最优的标签序列。在CRF层可以可以对最终预测的预测标签添加一些限制来确保结果是有效的。
整个序列的打分等于各个位置的打分之和，而各个位置的打分由得分矩阵和转移矩阵组成。模型训练时通过最大化得分函数，即可求得文本的最佳得分序列。
3 实验
3.1 评价指标
实验结果采用识别准确率（P）、召回率（R）和调和平均F1值作为评价指标。P是指正确实体在实体总数的百分比，R是指正确识别的实体栈测试集所有实体的百分比，F1是P和R的调和平均值，综合考虑模型的性能。
3.2 实验环境及参数设置
实验所用的环境及参数设置如下，实验主机采用8核16G内存的台式机，显卡型号为RTX 2060S，python版本为3.6.5，Tensorflow版本为1.12.0，数据样本最大长度为100，学习率为0.01，迭代次数为100，遗忘率为0.1。
3.3 实验结果与分析
CNN-BiLSTM-CRF模型在自建语料上进行命名体识别，为了验证基于神经网络的命名体识别方法的有效性使用了多种网络模型进行对比实验，实验结果如表1所示。
时间序列模型是基于深度神经网络进行实体识别的主要模型，如BiLSTM-CRF模型，双向LSTM模型可以从正反两个方向建模，BiLSTM-CRF模型的精确率为90.38%，召回率为85.16%，F值为87.69。因为CNN模块的卷积层能够提取字符的上下文局部特征，为BiLSTM模型的输入提供了有效的特征，使得准确率得到了有效的提升，CNN-BiLSTM-CRF模型精确率为90.94%，召回率为88.08%，F值为89.49%，与BiLSTM-CRF模型相比效果确实有一定的提升。
4 总结与展望
本文针对桥梁检测文本的命名体识别任务，提出了CNN-BiLSTM-CRF模型在桥梁检测报告语料上取得了最好效果。该模型通过CNN网络来对文本的局部信息特征进行抽象化抽取和表示，使得模型在精确率和召回率上都有一定的提升，说明CNN确实能够更有效的提取文本的上下文局部特征。
在未来的研究工作中，我们将继续研究基于深度神经网络的桥梁领域命名体识别工作，收集更多种类，更多数量的桥梁文本进行字向量和词向量的训练，进一步将字词结合等特征表示机制运用到相应的模型中。
参考文献
[1] 鲍跃全，李惠.人工智能时代的土木工程[J].土木工程学报，2019，52（05）：1-11.
[2] 贺拴海，赵祥模，马建，等.公路桥梁检测及评价技术综述[J].中国公路学报，2017，30（11）：63-80.
[3] 侯梦薇，卫荣，陆亮，等.知识图谱研究综述及其在医疗领域的应用[J].计算机研究与发展，2018，55（12）：2587-2599.
[4] 张海楠，伍大勇，刘悦，等.基于深度神经网络的中文命名实体识别[J].中文信息学报，2017，31（04）：28-35.
[5] 王路路，艾山·吾买尔，吐尔根·依布拉音，等.基于深度神经网络的维吾尔文命名实体识别研究[J].中文信息学报，2019，33（03）：64-70.
转载注明来源:https://www.xzbu.com/8/view-15175888.htm
