基于注意力机制和Parallel DenseNet的文本情感分析

来源:用户上传      作者:陈大文

　　摘要：针对现有模型全局特征和局部特征对情感分析贡献度是一样，或只能提取局部特征的问题，文章基于Parallel DenseNet提出了一种融合注意力机制和Parallel DenseNet的ATT-Parallel DenseNet文本情感分析模型。该模型首先在数据预处理阶段将把停顿词和换行符这类多余的符号词语清理掉，将大小写不一致的词语换成统一的小写字符;其次将处理好的数据通过Word2Vector进行向量化即生成词向量阶段;接着将词向量放入分类器中两个特征提取模块进行处理提取出重要特征，然后通过attention模块为提取的特征分配权值，最后通过全连接层和Softmax层得到分类结果。该模型不仅可以同时提取文本的局部特征和全局特征，还可以为局部特征和全局特征设置学习不同的权值，以期待得到最好的文本情感分析效果。在公开数据集上进行实验，结果证明该算法能有效提高情感分析的性能。
　　关键词：注意力机制;融合机制;文本情感分析
　　0引言
　　随着计算机与信息技术的发展，人们已经越来越离不开网络。随之，信息出现了爆炸式的增长。据统计，截至2020年4月，中国网民使用网络人数已经达9.04亿，互联网普及率已经达64.5%[1]。网络已经成为人们现代生活中的重要组成部分。因此，网民可以在微博等社交媒体公共平台上发布各种自己的情感看法和评论。利用自然语言处理技术，在舆情分析方面，对热点话题和评论进行分析，理解人们所表达的情感色彩，对政府了解民意、预防危害事件有一定的积极性作用;在情感对话方面，对人话语进行分析，可以创造情感机器人抚慰人的心灵、陪伴人类;在市场竞争方面，对物品的评论进行分析，可以帮助商家提升物品质量，同时也可以帮助顾客对该物品下是否购买的决定。
　　文本情感分析又称意见挖掘，是指对带有情感色彩的主观性文本进行分析，挖掘其中蕴含的情感倾向，对情感态度进行划分[2]。文本情感分析组成部分，如图1所示。文本情感分析主要由原始数据获取、特征提取、分类器和情感类别输出4个部分组成。其中，特征提取和分类器是文本情感分析结果好坏的重要部分。
　　因此，从分类器来看，目前主要有基于词典、基于传统机器学习和基于深度学习3种文本情感分析方法。基于词典的文本情感分析方法是指根据带有情感信息的词语，对文本情感分数进行计数和加权，以此获得文本情感倾向。基于传统机器学习的文本情感分析方法不依赖于词典，具有自我学习文本情感特征的能力[3]。基于深度学习的文本情感分析方法可以学习更加高级、难以描述的文本情感特征，即使是非常抽象、难以人工表述的特征，也可以学习提取，以此作为文本的重要特征。
　　近年来，较流行的文本情感分析模型使用卷积神经网络（CNN）[4]和循h神经网络（RNN）[5]。虽然，这类模型优先考虑位置和顺序信息，能较好地学习句子中的局部特征，以此来进行分类但是忽略了全局特征。2021年，Yan等[6]通过将Parallel DenseNet融入CNN网络中，进行短文本情感分析，可以较好地提取局部特征和全局特征，得到更好的短文本情感分析效果，但是对于该模型来说全局特征和局部特征对情感分析贡献度是一样的。这显然存在一定的问题。
　　本文基于上文Parallel DenseNet提出了一种融合注意力机制和Parallel DenseNet的ATT-Parallel Dense- Net 文本情感分析模型[7]。该模型不仅可以同时提取文本的局部特征和全局特征，还可以为局部特征和全局特征设置学习不同的权值，以期待得到最好的文本情感分析效果。
　　2相关工作
　　根据特征提取和分类器的不同方法，文本情感分析主要有基于情感词典的情感分析方法、基于传统机器学习的情感分析方法和基于深度学习的情感分析方法，如图2所示。
　　基于情感词典的情感分析方法是指根据带有情感信息的词语，对文本情感分数进行计数和加权，以此获得文本情感倾向。现有的情感词典都是人工构造的，需要消耗大量的人力与物力。例如，SentiWordNet[7]情感词典是一部国外最早的情感词典，它将含义一致的词语放在一起，并且赋予了代表正面或者负面的情感极性分数。当一句话出现时，就可以根据每个句子中每个词的情感极性分数进行累加得到最终的每个句子的情感极性分数，而这些分数就代表了每个用户的情感倾向。与英文情感词典不同，中文情感词典主要有NTUSD[8]、How Net和情感词汇本体库[9]等，这些情感词典中分别包含不同数量的褒义词和贬义词。在早期得到了广泛的应用，然而因为人工量大、难以维护，所以逐步退出了历史舞台。
　　基于传统机器学习的文本情感分析方法是指不依赖于词典，具有自我学习文本情感特征能力的方法。该方法是一种通过给定的数据训练模型，通过模型预测结果的一种学习方法。该方法研究至今，已经取得了诸多有效的成果，分为有监督模型、半监督模型与无监督模型。有监督模型是指训练带有情感极性的文本样本，得到模型，后根据模型预测无情感极性的样本。该类方法对样本集依赖度大。当样本集足够全且多时，效果较好。当样本集不全且少式时，效果一般。半监督模型是指在有监督模型的基础上，模型具有训练提取未带情感极性文本样本能力的模型。该模型从一定程度上可以解决带有极性数据集稀缺的问题。无监督模型是指模型可以自动学习未带极性数据集特征判别其所属情感倾向。通常而言是根据提取特征之间的距离而判断的，在情感分析中所用较少。然而，因为其所提取的特征较浅且不全，随着深度学习的出现，该类方法得到了一定的冲击。
　　基于深度学习的文本情感分析方法是指可以学习更加高级、难以描述的文本情感特征。即使是非常抽象、难以人工表述的特征，它也可以学习提取，以此作为文本的重要特征的模型。该类模型是从传统机器学习方法引申而来的，它由两种类型构成。一是单一神经网络构成的模型，二是组合神经网络构成的模型。而单一神经网络构成的模型一般以CNN与RNN两类为主。Kim[4]提出的TextCNN就是以CNN构成的用于文本情感分析的方法。该方法通过一维卷积来获取句子中n-gram的特征表示，其对文本浅层特征的抽取能力很强。然而，该方法却无法提取远距离特征和全局特征。Liu[5]提出的适用于情感分析的RNN模型就是以RNN构成的用于文本情感分析的方法。该方法通过RNN模型来提取文本特征，其对远距离特征提取能力强，然而却无法提取浅层特征与全局特征。因此，后来的研究者普遍将RNN与CNN相结合企图在模型中同时提取文本的浅层特征和远距离特征。何野等[10]2021年提出的LSTM-CNN模型就是将LSTM与CNN 相结合在中文电子商务网站评论上获得了较好的准确率。李俭兵等[11]2021年提出的跳转LSTM-CNN模型也是将LSTM与CNN相结合解决纯LSTM-CNN模型训练较长短文本效率低下的问题，可以很好地获取局部特征。郭勇等[12]2021年提出的结合改进Bi-LSTM和CNN的文本情感分析模型同时获得浅层特征和长距离依赖特征，在Twitter上获得了较好的改进。程艳等[13]2021年提出的融合卷积神经网络与双向GRU的文本情感分析胶囊模型利用双向GRU与CNN提取特征在酒店评论数据集上获得了较好的效果。刘道华等[14]2021年提出的一种加权词向量的混合网络文本情感分析方法将CNN与ATT-BiGRU相结合，两者分别提取特征，再将其进行组合，最终分类任务，效果较好。然而，这些方法虽能同时提取浅层特征和远距离特征，但是因为其将两种或两种以上网络进行组合，效率比较低，速度较慢且从某种程度上来说依赖数据集。数据集若小，则效果一般。

nlc202209051557

转载注明来源:https://www.xzbu.com/8/view-15439085.htm