基于深度学习方法的中文情感分析*

骞恒源 孟彩霞

（西安邮电大学计算机学院 西安 710061）

1 引言

情感分析，又被称为意向挖掘、倾向性分析等［1］，其主要任务是针对人们在网络社交或者产品评论等日常网络行为中产生的主观性文本进行分析、挖掘，以获得其中的情感信息，是自然语言处理领域的研究热点。

传统的针对于文本情感极性分析处理的技术主要分为两类。1）基于规则的情感分析技术：从语言学角度出发，根据经验或者专家的知识和意见构建特征、情感词典和模板，进而完成对文本情感极性的分析。这个过程需要大量的人工干预［2~3］，构建特征需要花费极大的代价。2）基于机器学习的情感分析技术：人为地对数据集进行情感标注，标注过的数据集即为训练集。接着在训练集上进行特征的提取和学习，得到机器学习模型。最后，通过训练完成的机器学习模型对文本的情感极性进行判断［4~5］。然而，该方法面临特征稀疏，维度爆炸，特征提取较为困难等问题。

近来，深度学习的技术越来越多地被应用到自然语言处理的领域，且深度学习的技术在不断的发展和完善［6~7］。Kim 等［8］采用卷积神经网络（CNN）完成了对电影评论的情感分类，Wang 等［9］利用长短期记忆网络（LSTM）对文本情感进行分析，都取得了比传统分类器更好的效果。但上述模型无法挖掘到文本更多的隐藏信息，从而导致对文本中包含的大量语义信息利用不充分。刘龙飞等［10］提出了一种将不同粒度的CNN 模型相结合来获得到更多的语义信息。但该模型没有对现有的情感资源，包括情感词典、情感规则等进行有效利用，忽略了情感信息对于情感分类的影响。陈钊等［11］提出将情感特征与深度学习模型相结合，使得模型在训练过程中充分利用文本所包含的情感信息，提升了分类的准确率。然而该模型难以表征每个词对分类的重要程度。陈珂［12］等提出基于多通道卷积神经网络的模型，将词性映射为连续的值向量，对词语在句子中的位置进行取值并进行向量化操作来表示词语在句子中的重要程度，最后将其与词向量、情感向量相互拼接作为卷积神经网络中不同通道的输入。尽管该模型考虑到了每个词的重要性对于分类结果的影响，但是用词语在句子中的位置特征表示词语重要性的方法明显不能准确地体现出词语对于句子以及分类的重要程度。

针对以上问题，本文提出一种基于权重分配的多通道卷积神经网络与双向长短期记忆网络特征相结合的模型（WAMCCNN-BILSTM）。首先，针对陈珂［12］等提出的MCCNN 模型进行改进并提出基于权重分配的多通道卷积神经网络模型（WAMCCNN），该模型使用词语的特征权重表征每个词对于句子的重要程度，句子中每个词语的特征权重通过TF-IDF特征权重算法计算得出。将其与其他特征结合形成不同的通道作为卷积神经网络的输入，充分利用文本的情感信息以及词对于分类重要性等信息学习出文本的局部特征。相较于原模型，该模型在降低输入向量维度的同时也提高了模型的训练效率。接着，针对卷积神经网络无法充分利用文本的上下文关系，提出双向长短时记忆网络（BILSTM）来获取包含文本上下文信息的全局特征。最后将两种模型提取出的特征相结合作为全连接层的输入完成对文本的分类。在京东评论数据集和微博评论数据集上的实验显示本方法相较之前基于神经网络模型的情感分析方法取得了更好的效果。

2 情感分析模型

如图1 所示，本文所提出的WAMCCNN-BILSTM模型由五部分组成。

图1 WAMCCNN-BILSTM模型

1）输入层，将不同特征组合形成不同通道作为WAMCCNN模型的输入，将文本映射为词向量的形式作为BILSTM模型的输入。

2）特征提取层，使用WAMCCNN 模型提取出包含丰富语义信息和隐藏信息的文本局部特征，使用BILSTM模型学习包含文本上下文信息的全局特征。

3）合并层，将通过WAMCCNN 模型挖掘到的包含丰富语义信息和大量隐藏信息的局部特征和经过BILSTM模型提取到的包含文本上下文信息的全局特征进行拼接并将其作为合并层的输入。

4）隐藏层，本文在合并层和输出层之间加入一个隐藏层，目的在于对合并层得到的特征向量进行学习，挖掘出局部特征和全局特征之间的联系，提高分类的准确率。

5）输出层，利用softmax 函数输出文本情感极性。

和普通卷积神经网络相比，本文提出的WAMCCNN 模型充分利用了文本中所隐藏的情感信息且有效突出了词语对于分类的贡献度。通过将不同特征结合形成不同的输入通道，使得模型在训练过程中充分学习不同特征间的联系，获取到更多的语义信息。因为将不同的特征相结合不但可以生成新的特征，也使得不同特征间相互联系和影响。同时，WAMCCNN 模型的输入通道独立存在，在对模型进行训练时，可以在模型的不同输入通道中区别设置各自的卷积核和激活函数，使得模型能够更加全面地对文本隐藏信息进行挖掘。在此基础上，本文通过引入双向长短时记忆网络模型所构建的WAMCCNN-BILSTM 模型能够通过WAMCCNN 模型对包含丰富语义信息和大量隐藏信息的文本局部特征进行挖掘，利用BILSTM 模型对包含特征之间依赖关系的文本上下文信息进行学习，之后将通过BILSTM 模型得到的文本全局特征与通过WAMCCNN 模型得到的文本局部特征合并，从而使得模型在情感分析过程中能够有效地利用到文本的上下文信息，进一步提高分类准确率。

3 实验

本文通过python 爬虫爬取京东评论文本和微博评论文本进行实验，对本文所提模型的有效性进行验证。爬取不同领域10000 条评论文本，作为京东评论数据集（JD-comment dataset，JDC），包括5000条正面评论和5000条负面评论。爬取新浪微博的10000 条评论文本作为微博评论数据集（Weibo-comment dataset，WBC），包括 正 向情绪 评 论5000条，负面情绪评论5000条。此外，从微博评论数据集和京东评论数据集各抽出3000 条数据形成混合数据集，验证本文所提方法在混合数据集上的有效性。

3.1 数据预处理与模型参数设置

本文使用JIEBA 分词对实验数据进行分词处理并且进行词性标注。通过Google 开源的word2vec［13］的Skip-gram 模型，利用京东评论数据集对词向量和词性向量进行训练。实验中，词向量维度为30 维，词性向量维度为30 维。本文所提模型卷积神经网络部分参数设置如表1 所示，对本文所提模型中BILSTM 模型的参数设置如表2 所示，在模型的训练阶段，本文采用Zeiler［14］提出的随地梯度下降法对模型的参数进行迭代更新。

表1 卷积神经网络参数

表2 BILSTM网络参数

3.2 实验介绍

将本文所提出的WAMCCNN-BILSTM 模型与其它深度学习的模型在不同的数据集上进行对比实验，验证本文所提出的情感分析模型在分类准确率上得到提高，以下对各实验进行介绍。

1）CNN。文献［7］提出的普通卷积神经网络模型。

2）BILSTM。双向长短时记忆网络模型。

3）MCCNN。文献［11］提出的MCCNN 模型，将不同特征组合形成不同的通道作为卷积神经网络的输入。

4）CNN-BILSTM［15］。文献［15］提出的CNNBILSTM 模型，将使用卷积神经网络学习到的局部特征与使用双向长短时记忆网络学习到的全局特征结合，作为融合模型的输入。

5）WAMCCN。本文提出的WAMCCNN模型。

6）WAMCCNN-BILSTM。本文提出的WAMC CNN-BILST模型。

7）SWCNN。文献［11］提出的SWCNN 模型，将文本的情感特征映射为词向量加入卷积神经网络。

8）WFCNN 模型。文献［10］提出的WFCNN 模型，对情感特征进行二值化操作，将二值形式的情感特征加入卷积神经网络。

3.3 实验结果与分析

在本文所提数据集上进行8 组不同的实验对比验证本文所提模型的，对比结果如表3所示。

表3 不同模型情感分类性能对比

根据表3 结果可以看出，本文所提WAMCCNN-BILSTM 模型在三种不同数据集上均取得了最好的结果，其中在最好的JDC数据集上取得了86.75%的正确率，相比于MCCNN 模型的85.10%和CNN-BILSTM 模型的83.35%分别提高了1.65%和3.40%，验证了本文所提方法的有效性。对比文献［10］提出的将词性特征加入卷积神经网络的WFCNN 模型和文献［7］提出的CNN 模型，在三种不同数据集上WFCNN 模型分别取得了82.79%、83.55%、82.40%的准确率，相较于CNN 模型的82.42%、82.92%、82.20%分别提升了0.37%、0.63%、0.2%，说明文本情感信息的加入可以使得模型取得更好的分类效果。对比将情感特征映射为词向量形式加入到网络的SWCNN 模型和WFCNN 模型可以看出，SWCNN 模型分类效果较之WFCNN 模型得到了提升，说明将词性特征映射为词向量的形式加入卷积神经网络使得文本的情感特征在网络中被充分利用，分类准确率得到提升。对比文献［11］提出MCCNN 模型和WFCNN 模型可以看出，将不同的特征组合形成不同的通道作为卷积神经网络输入的MCCNN 模型相较于WFCNN 模型在3 种数据集上的准确率均有大幅度提高，说明将不同特征结合形成不同的通道作为卷积神经网络的输入使得模型能够充分学习到文本不同特征之间的联系，文本中更多的语义信息得到发掘，进而提升了模型分类的准确率。

此外，从表3 结果可以看出，融合模型相较于单模型有更好的分类效果，结合表3 实验结果，在三种不同数据集上完成3 组对比实验来进一步说明融合模型在情感分类任务中的有效性，对比结果如图2所示。

图2 融合模型与单模型对比结果

如图2 结果可以看出，CNN-BILSTM 模型在三种不同数据集上取得的分类效果较之CNN、BILSTM 均有所提升，同时，本文所提出的WAMCCNN-BILSTM 模型在不同数据集上较之其WAMCCNN、BISTM 单独模型也取得了更好的情感分类效果。该结果表明，更过的语义信息的加入可以使得模型取得更好的分类效果。此外，对实验结果进一步分析可以看出结合文本上下文信息的CNN-BILSTM 模 型和WAMCCNN-BILSTM 模型 在3 种数据集上相较于CNN、WAMCCNN 模型分类准确率均有提高。对比结果表明，本文提出的结合文本上下文信息的方法可以使得模型在训练过程中充分利用到文本的上下文信息，有效地解决了卷积神经网络无法充分利用上下文信息的问题，提高了分类的准确率。

4 结语

本文提出一种WAMCCNN 和BILSTM 模型相结合的情感分析模型，该模型利用WAMCCNN 对文本的各个特征之间的联系进行学习和挖掘，获取到了更多的语义信息和隐藏信息，同时利用长短时记忆网络获取文本中包含的上下文信息，将通过WAMCCNN 提取到的包含丰富语音信息和隐藏信息的局部特征和通过BILSTM提取到的包含文本上下文信息的全局特征相结合作为WAMCCNNBILST 模型全连接层的输入，经过隐藏层后得到分类结果。 实验结果表明，本文提出的WAMCCNN-BILST 模型在情感分析中相较于之前的深度学习模型取得了更好的分类效果。

在接下来的工作中，可以考虑引入更多的文本特征并将其组合形成不同的通道作为卷积神经网络的输入，使得模型可以学习到更多特征之间的联系。同时考虑在不同的通道采用不同的激活函数，使得模型可以学习到更多的隐藏信息，提高分类准确率。