基于深度学习的电商平台产品评论情感分析

赵浩博 唐非

摘  要：随着网络的蓬勃发展，现代人越来越依赖于网上购物，消费者在购物后留下大量的商品评论文本。为了能让评论文本为消费者及商家带来更多的优质信息，利用Python抓取某电商平台中某个产品的评论，对所得到的文本数据进行预处理，采用机器学习和深度学习算法构建模型并进行分析，找出分析效果最好的模型，并分析产品的不足，给出相应的指导意见。

关键词：用户评论；文本分析；情感分析；机器学习；深度学习

中图分类号：TP391.1；F724.6  文献标识码：A  文章编号：2096-4706（2023）05-0030-04

Emotion Analysis of E-commerce Platform Product Reviews Based on Deep Learning

ZHAO Haobo1， TANG Fei1，2

（1.School of Software， Shenyang University of Technology， Shenyang  110870， China;

2.School of Artificial Intelligence， Shenyang University of Technology， Shenyang  110870， China）

Abstract： With the vigorous development of the Internet， modern people increasingly rely on online shopping， and consumers leave a large number of product comments after shopping. In order to make the comment text bring more high-quality information to consumers and businesses， Python is used to capture the comments of a product in an E-commerce platform， preprocess the obtained text data， use machine learning and deep learning algorithms to build model and make analysis， find out the model with the best analysis effect， analyze the shortcomings of the products， and give corresponding guidance.

Keywords： user comment; text analysis; emotion analysis; machine learning; deep learning

0  引  言

近年来，国外又掀起一股互联网热潮，据《中国互联网络发展状况统计报告》[1]显示，截至2022年6月，我国在网上购物的人数达到8.41亿，占网民总人数的80%。在如此庞大的购物人群中，产品的评论就显得尤为重要[2]。我们进行了一项实验，在京东商城中使用Python爬虫技术，爬取红米K50手机的评论[3]。由于所爬取的差评文本较少，实验将中评和差评文本合并，统一标为差评。对数据进行预处理后[4]，使用机器学习和深度学习模型进行分类[5]，得到一个效果较好的分类模型。一方面消费者可以从评论中提取与自己需求匹配的关键信息，另一方面也可以帮助商家对自己产品功能的优势和劣势进行区分。

1  评论的情感分析

1.1  数据的获取

使用Python爬虫技术对京东商城旗舰店某品牌最新款5G手机进行评论的爬取[6]。由于网页版京东商城设置了反爬机制，实验将不同型号和不同颜色的k50相互组合，分别进行爬取。首先调用request库，在京东网站上搜索所需抓取商品的信息，找到自己想要抓取信息的商品并点开其评价信息；复制URL，在Python编辑器中定义URL；使用json库进行在线分析，寻找规律后对所抓取的代码进行解析；调用json库中的函数并将其整合成带有好评及差评标签的两列评论文本，并保存在.csv文件中，一列为评论文本，一列为评价类型，便于后续的使用。所爬取的部分评论如表1所示。

1.2  数据的预处理

为了避免数据遗漏及数据重复对实验造成影响，首先对所得到的文本进行预处理。通常，不同用户对于其所购买产品的评价是不同的，所以他们在平台留下的评价也各不相同。如果消费者在购买商品后没有对商品做出评论，平台会给出默认评论，例如，“此用户未填写评价内容”等，所以这类文本数据是没有任何分析价值的。除此之外，还存在一些购买者的评论内容完全重复的情况，这种评论只有最早的评论才有意义。本实验对两条或多条重复的评论进行处理，仅删除完全重复的评论，以确保保留有用的文本评论信息。

在对评论去重之后，使用Python中的jieba库对评论文本进行分词。Jieba的分词功能和执行准确率相比其他工具更高。当然，在已有的停用词表基础上，如果我们还有一些不需要的词语，也可以自己完善停用词表。本文依照哈工大停用詞表去掉与实验不相关的停用词，例如“我们”“买”“已经”等[7]。同时使用自定义词典，加入网络流行词及长词，避免在jieba中被默认分割。

由于好评和差评也属于文本数据，采用数字编码方法将好评转码为1，将差评转码为0，方便后续实验的有序进行。如图1所示为好评与差评中频数较高若干词的柱状图。

1.3  数据可视化

目前，开源工具种类繁多，实验使用Jieba库。在编译器Pytharm中导入jieba库、wordcloud库和matplotlib库。Wordcloud用于绘制词云图，而Matplotlib库用于将图展示出来。根据分词之后的词频绘制词云图。从词云图中不难看出，好评中占比较高的词有“屏幕”“性价比”“电池”等；差评中占比较高的词有“速度”“效果”“系统”等。如图2所示为好评与差评中频数较高若干词的词云图。

2  词向量转换

2.1  词袋模型

由于文本数据不能直接使用，需要将文本数据转换为可以计算的向量[8]，可以使用词袋模型来解决此问题。词袋模型就是将词语打乱顺序后放入袋子里，按顺序编码，然后取词语的个数按句子的对应关系构建词向量。但是one-hot编码有多少词语，就要构建多少维的向量，这样可能会发生维度灾难，而且也无法度量词语之间的相似性。

2.2  词嵌入模型

词嵌入模型（Word to Vector）是表示词语位置关系的一种模型[9]。Word2vec提出了一种假设，一段话中离得越近的词语它们的相似度也就也高。使用余弦相似度计算两个词语之间的距离，判断两个词语之间的关系，现在常用Word2vec构建词嵌入模型，它是由CBOW和Skip-Gram算法组成的神经网络模型。CBOW的主要方法是通过句子中的上下文词来推测出中心词，而Skip-Gram则是使用中心词来预测上下文词。

词袋模型的One-Hot表示法、TF表示法等算法都没有考虑词与词之间的关系，比如“的”字的后面只能接名词性词语，“地”字的后面只能接动词性词语。也就是说，词袋模型认为一个词出现的可能性与其他词出现的可能性无关，词语的出现是相互独立的。

词袋模型最大的缺陷是向量的维度高，维度高造成后续相似度或文本分类的计算量非常大，同时数据稀疏也导致相似度区分不明显。由于词袋模型所表示文本向量的每个维度都代表一个词语，因此可以将聚类后簇中心向量中具有较大值的维度对应的词语用作簇的关键词。Word2vec是神经网络的衍生品，在使用浅层神经网络对文本进行情感分析时，发现在得到分类结果的同时，输入矩阵刚好可以用来表示词语。由于词语是用上下文来表达的，一定程度上反映了词语的语义，但这并不代表机器真正明白了词语的含义，只是说明相似词语之间的向量相似度较大而已。如图3所示为Skip-Gram网络结构图。

3  算法建立

3.1  机器学习算法

支持向量机（Support Vector Machines， SVM）是一种传统的机器学习算法，于1993年被提出。它是一种二分类模型，将数值型的特征向量投影到平面或空间上，寻找区分两类点的超平面，使得边际最大，以“最好地”区分这两类点。SVM称得上深度学习出现之前最好的机器学习算法之一。调用sklearn中的SVM库，进行SVM算法的调试和模型训练，得到准确值和预测值，然后将模型保存。将两万多条带有标签的数据集按7：3的比例分成训练集和测试集，实验之后把测试集导入训练好的模型进行测验。

3.2  深度学习算法

3.2.1  卷积神经网络

卷积神经网络（Convolutional Neural Networks， CNN）是一种深度学习的算法，也是Deep Learning中较为火热的几个算法之一，它通常被用于图像处理。CNN通常由输入层、卷积层、池化层、全连接层、softmax层组成。使用TensorFlow中的CNN，调整input与卷积核参数，迭代次数为100，epoch次数为5，词向量的维度为20。在上文分好的训练集上进行测试，并进行多次训练。

3.2.2  长短期记忆网络

长短期记忆网络（Long Short-Term Memory， LSTM）是循环神经网络（RNN）的一种变体，在RNN标准模型的基础上增加了三个门控单元：遗忘门（Forget Gate）、输入门（Input Gate）以及输出门（Output Gate）。三个门恰好可以把LSTM分成三个部分，整个LSTM的实现也是围绕着这三个门展开的。如图4所示为LSTM的结构图。

图中，C（t-1）为上一次的单元状态，通过遗忘门有选择性地遗忘一些信息。假设输入的x（t）为10个向量，通过四个全連接层计算出新的候选信息值，传递到输入门补充新的信息。最后一层sigmoid函数通向输出门，与其他“记忆”发生权值交集，一部分从h（t）以隐藏状态输出，一部分作为包含历史信息的长期记忆，继续从c（t）输出下去。四个全连接层的权重公式为：

（1）

（2）

（3）

（4）

举个例子，我们在阅读或看书的时候，会根据已经读过的文字来推理和理解后续的文字，而不是看一段忘一段，我们一直保持着一个思考的状态。

传统的神经网络即RNN做不到这一点，LSTM是具有循环的网络，解决了信息无法长期存在的问题，在工业界普遍使用并取得了良好的效果。使用LSTM，很容易实现对文本的情感分析。针对每一条商品评论，对长度较短的评论进行补充，对长度过长的评论进行裁剪处理，使得每个句子向量的长度相同。然后，利用长短时记忆网络，按照从左到右的顺序读取每一个句子向量。读取之后，使用长短时记忆网络的最后一个输出记忆，将其当作上一条语句的信息，并且将这条读取完的信息当作下一条语句的输入向量，送入一个分类层进行分类和训练。设置迭代次数为100，epoch次数为5，词向量的维度为20，完成对LSTM算法模型的建立。

3.3  情感分析效果验证

本实验中情感分类模型的性能评价指标，主要包含准确率、精确率、召回率、F1_score、ROC曲线、AUC等。对于给定的测试集来说，准确度为模型正确分类的样本数与需要进行分类的总样本数之比。但是在分类样本集中如果差距较大，准确率就不能很好地体现分类的优劣。精确度为分类模型将正类样本预测为正类的数量与整个样本预测为正类的总数的比例。召回率在实际为正的样本中被预测为正样本的概率，而F1值则是前两种方法所得结果的调和平均数。如表2所示为实验中三种方法的评价指标。由表2可知，LSTM算法的分类性能要好于其他两种算法。

4  结  论

本文使用爬虫技术对京东商城某品牌手机进行评论内容的抓取、评论去重、数据清洗、中文分词、去掉停用词的预处理，然后将评论文本分为正面评价和负面评价两类。通过词频统计得到出现次数较高的词，以此得出该款手机在外观、运行速度方面的优势，而在屏幕和手机整体外观上还需要进一步提升，以更好地适应消费者的需求。由于商品评论数据过于庞大，本文未全部获得并进行分析，只对平台上34 220条评论进行了处理和分析，在所用数据上难免会存在偶然性。最后使用处理好的数据进行算法的构建，通过对比分类指标得出，LSTM算法的性能明显优于CNN和SVM，满足商品评论情感分析的需要。

参考文献：

[1] 张晓娜.第50次《中国互联网络发展状况统计报告》发布 [N/OL].光明日报，[2022-11-02].http：//www.gov.cn/xinwen/2022-09/01/content_5707695.htm.

[2] 王惠，撒海兰.电商购物平台追加评论对消费者购买意愿影响的实证分析——基于新疆高校的调查数据 [J].新疆广播电视大学学报，2021，25（2）：45-51.

[3] 彭梅，胡必波.基于大数据人工智能的电商用户评论情感分析 [J].电脑编程技巧与维护，2022（6）：123-126.

[4] 王鹏岭，应欣慧，梁家瑞，等.网购评论情感分析——以某化妆品为例 [J].电脑知识与技术，2022，18（13）：21-23.

[5] 吴淑凡.基于机器学习的电商平台中用户价值分析研究 [J].惠州学院学报，2022，42（3）：81-86.

[6] 千文.基于Python的旅游网站数据爬虫分析 [J].电脑编程技巧与维护，2022（9）：85-87+118.

[7] 吴昔遥，刘欣凯，王孝杰.基于信息化的酒店评论情感分析 [J].中國新通信，2022，24（4）：124-126.

[8] 朱名勋，郭琴.电商平台中的在线评论情感分析 [J].长江信息通信，2022，35（1）：170-171+174.

[9] 凌洁，刘玉林.电商平台在线评论分析研究综述 [J].江苏经贸职业技术学院学报，2019（6）：38-41.

作者简介：赵浩博（1998—），男，汉族，辽宁鞍山人，硕士研究生在读，主要研究方向：自然语言处理；唐非（1975—），女，汉族，辽宁沈阳人，讲师，博士，主要研究方向：数据分析。

收稿日期：2022-11-09

基金项目：辽宁省教育厅项目（LJKZ0145）