基于文本挖掘的投资者关注指标与投资行为分析研究

刘建义 周洁 夏换

摘  要：近年来，随着互联网技术和大数据技术的不断发展，人们获取投资信息的时间成本、空间成本不断地下降，但是信息质量却是变得良莠不齐，投资者特别是新投资者面对海量的金融数据信息难以快速地找到自己所需的信息。因此，该文利用LDA主题模型对所爬取的文本信息进行挖掘分析，并进行了数据可视化展现。研究发现投资者关注主题热词，对投资者现实的投资行为具有一定的参考意义。

关键词：投资行为    主题模型    数据爬取    SOR模型

中图分类号：F832.51          文献标识码：A           文章编号：1672-3791（2022）06（b）-0000-00

Analysis and Research on Investors' Concerned Index and Investment Behavior Based on Text Mining

LIU Jianyi1    ZHOU Jie1     XIA Huan2*

（1.Guizhou University of Finance and economics; 2.E-commerce Big Data Marketing Engineering Research Center Guizhou University of Finance and Economics， Guiyang， Guizhou Province， 550025 China）

Abstract：In recent years， with the continuous development of Internet technology and big data technology， the time cost and space cost of people's investment information have been declining， but the information quality has become uneven， and investors， especially new investors， cannot quickly find the information they need in the face of massive financial data. Therefore， the LDA topic model is used to mine and analyze the crawled text information， and the data is visualized. It is found that investors pay attention to the topic hot words， which has certain reference significance for investors' actual investment behavior.

Key Words： Investment behavior; Theme model; Data crawling; SOR model

流量信息時代的到来对证券投资行业带来了巨大的冲击，人们对于自己投资领域信息的获取变得更加方便快捷，另外随着智能终端的全民化以及投资理财线上化的日趋完善投资理财的受众群体也是横向加纵向地大范围扩张。而90、00后新生代群体因其对新事物的易接受性以及敢尝试性逐渐地开始加入到理财群体中去，特别是在2020年中国股市的牛年，巨大的投资红利在各种渠道进行宣传吸引了众多的新生代投资群体，巨大红利的背后往往隐藏着巨大的风险，2021上半年上交所、深交所的指数一路下滑，导致众多毫无经验的投资者受到了不同程度的损失，也因此产生了一个新的网络热词“韭零后”。

面对这样的冲击，没有经验的新生代投资者很容易造成情感上的焦慮，进而会发展成心理上的焦虑，而该文为解决新投资者没有经验以及因此造成的情感波动这一问题，使用Python对雪球社区、腾讯自选股、微博投资理财超话三个社区的2020年1月至2021年9月的投资者讨论内容和热点信息的文本进行抓取，建立LDA主题模型，筛选关键热词并且对其进行归类，另外还对关键热词频次进行梳理统计，整合出投资者关注的投资参考指标，以及投资行为。

1   国内研究综述

在对国内文献的梳理过程中发现林树、葛逸云等利用对基金年报进行文本分析，进而探索基金经理语调与投资行为之间的关系[1];李苗、李村璞对高管的攀比心理、控股股东性质对投资行为的影响做出了相关研究陈述[2];赵胜民、张博超就分析师关注如何影响公司投资行为——基于不同投资类型的分析[3];马天平、卢旭蕊等人在“原油宝”事件后对亏损后投资者的风险偏好做了研究和调查[4];葛如一、胡蓉认为智能投顾会影响投资者的投资行为，使得投资者单笔投资额下降、总投资额上升[5]。颜端武、梅喜瑞等人基于主题模型和词向量融合的微博短文本主题聚类研究，利用LDA主题模型对微博一段时间内的热点进行聚类分析，发现对微博短文本的处理效果较好[6]。杨奕、张毅以中美贸易争端为案例，利用 LDA 主题挖掘与社会网络分析算法探究复杂公共议题下社交媒体演化趋势，先利用 LDA 主题模型提取出议题关注主 题，实现降维分类，然后进行主题时间趋势分析，最后利用社会网络分析构建主题词图谱，明确了主题议题之间的联系[7]。曹树金、岳文玉就突发公共卫生事件微博舆情主题挖掘与演化分析进行了相关研究，通过生命周期理论对突发公共卫生事件微博转播阶段进行划分，利用LDA主题模型实现文本聚类和TF-IDF特征权重赋值，分析2020年01～04月的热门微博和评论文本数据，指出LDA主题模型可以揭示突发公共卫生事件微博的传播内容主题[8]。但是现有文献中对投资者关注度及其投资行为的分析较少，所以该文从这一研究角度出发进行深入研究。

2  数据和研究方法

2.1  数据文本的爬取

数据的获取采用Python爬虫技术获取，利用Python爬虫第三方库selenium即浏览器自动化操作框架，这里主要用到webdriver这一个工具，接着利用element_by_xpath或css_selector进行数据抓取，具体处理过程为：

另外，因为微博评论的特殊性，使用移动端源代码获取评论较为简单，需要找到爬取微博评论的URL、Cookie、Referer、User-Agen;因为现在微博的反爬虫机制，20条评论后会出现一个随机变化的max_id和max_id_type参数，设置代码捕捉这个参数就可以实现翻页爬取（部分代码展示如下）。

"""提取翻页的max_id"""

max_id = response['data']['max_id']

"""提取翻页的max_id_type"""

max_id_type = response['data']['max_id_type']

在进行下一步的研究之前需要将获取到的数据进行预处理，包括残缺值的处理、相似值的处理等，将处理好的数据表格保存整理成.csv.文件。

2.2  爬取文本预处理

将利用Python爬虫技术获取到的数据首先进行残缺值的预处理，利用人工检索的方式进行补充，查询不到的则将该条数据删除。然后去除停用词，停用词表根据数据集的特殊性进行相应的调整，最后利用jieba分词库进行分词处理形成可进一步分析的数据集[9]。

2.3  LDA主题模型逻辑

对蕴含着投资者关注的指标文本进行主题挖掘，对求助、讨论的中文文本进行聚类并获取主题[10]。LDA即三层贝叶斯概率图，包含文档、主题、主题词三层结构，这种方法首先选定一个主题向量θ，确定每个主题被选择的概率。然后在生成每个单词的时候，从主题分布向量θ中选择一个主题z，按主题z的词语概率分布生成一个词语。其图模型如图1所示。

3  研究发现

在使用LDA主题模型处理文本时首先需要确定主题的数量，一方面要考虑模型的适配性，另一方面还要考虑所获主题词对文本的解释性和涵盖性。为了更科学地确定主题数不仅要从模型效果的角度，还要考虑所获主题是否具有良好的解释性。拟采用困惑度（Perplexity）指标来确定最优主题数，困惑度越低，说明聚类的效果越好[11]。

根据困惑度确定好主题数之后，进行LDA主题模型分析，因此该文在经过测试后选择了8个主题作为最终的主题数。

经过挖掘和数据分析，投资者关注指标主题词词表见表1（表格数据经过二次处理，近义词进行了人工整合）。

根据表1所获数据可以看到投资者关注指标是非常的多且杂乱的，但是人工二次梳理后會发现其这些主题指标是有内在联系的。根据其内在属性和联系可以将其进行主题编码，对杂乱的主题进行归类，方便进行研究。

同时为了更加直观地看出投资者对投资主题热词的关注度，绘制出投资者关注热词TOP16，根据条形图所示，（数据经过二次处理，近义词进行了人工整合）可以看到资金流向是投资者最为关注的指标，带着这一指标选取各个板块中的部分股票进行验证发现资金流向之所以是大家最关注的指标很大原因在于资金流向是影响股票走势的最直接的因素之一，在资金里面又以主力资金的流向为最敏感的指标，主力资金净流入高股价便会走红，反之则很大程度会下跌，而散户资金正好与之相反[12]。

另外，因为获取样本的时间在各上市公司财务中报发布之后，所以财务报表和其中的某些列示项目再一次引起了投资者的关注，同样进行二次验证之后发现主营业务营收同比上涨的公司其股价便是出于上升状态，反之则是下降状态。

为了更方便我们解释主题词其中的内涵，同时更加直观方便地分析其中的内在关联。对上述8个主题依据其内容进行归类，详见于表2。

第三方机构根据其性质来分析，不难得出其也是属于投资者的一种。

SOR模型源自心理学，解释了环境特征对用户行为和心理活动的影响，Mechrabian A和Russell在环境心理学的基础上提出了SOR理论模型，其中S代表外界环境的刺激（Stimulus），会对主体有影响，O代表有认知的有机体（Organism）;在某些外部环境刺激之后，产生相应的心理活动并相应做出的行为反应（Response）就定义为R，如接受或拒绝、采纳或规避。该文基于刺激-有机体-反应（S-O-R）理论模型，借鉴管理学、信息学、心理学等领域的相关研究成果，研究互联网时代投资者关注热点，为新老投资者的投资决策提供科学数据支持[13]。

利用S-O-R理论模型即刺激-机体-反应理论模型，强调外部环境的刺激引发机体的内化作用最后产生机体的行为变化[14]。以及前文的结论来分析，其理论影响模型如图3所示。

根据上述行为影响模型不难发现其实最重要的一环还是投资者自身的认知能力，当投资的外部环境对投资者产生刺激时，投资者自身的认知和经验就显得尤为重要，因为这会直接影响下一步的投资行为。

所以投资者在进行理财投资的过程中应当注意自身理财技能和认知能力的提升，多多关注财经新闻，特别是当下新兴流量媒体平台的兴起使得信息的获取成本降低，为投资者自身投资理财知识的获取提供了更多的便利。

4   结论与展望

根据研究发现资金流向成为投资者最为关注的指标，并且利用这一指标进一步发现了主力资金净流入和股价走势是成正比的。同时机构、净利润、行业板块、营业总收入、估值、财务报表、股价走势也是投资者关注的热点主题词。

同时将主题词归类并利用S-O-R理论模型构建了影响投资者投资行为的理论模型图，分析出影响投资者投资行为的内外部因素，并且根据模型指出投资者自身认知能力是最重要的一环。

流量化时代，新的媒体宣传平台再加上智能终端的快速普及使得人人都知道投资理财，投资者群体正在以肉眼可见的速度进行增长。因此对投资者关注主题及其投资行为的分析有助于更好地了解投资者的喜好同时可以让新的投资者少走弯路，一定程度上减少投资损失，增强其投资信心，从而可以起到维护国家金融市场稳定，扩大资金规模的作用。

参考文献

[1] 林树，葛逸云，朱超.基金经理语调与投资行为——基于基金年报的文本分析方法[J].证券市场导报，2021（8）：58-70.

[2] 李苗，李村璞.高管薪酬攀比心理、控股股东性质与投资行为[J].统计与决策，2021，37（12）：178-181.

[3] 赵胜民，张博超.分析师关注如何影响公司投资行为——基于不同投资类型的分析[J].中央财经大学学报，2021（5）：51-64.

[4] 马天平，卢旭蕊，李沁洋.亏损后投资者风险偏好的变化——基于“原油宝”事件的检验[J].金融论坛，2021，26（9）：49-57.

[5] 葛如一，胡蓉.互联网金融环境下智能投顾对于投资行为的影响[J].系统管理学报，2021，30（1）：94-100.

[6] 颜端武，梅喜瑞，杨雄飞，等.基于主题模型和词向量融合的微博文本主题聚类研究[J].现代情报，2021，41（10）：67-74.

[7] 杨奕，张毅.复杂公共议题下社交媒体主题演化趋势与社会网络分析——以中美贸易争端为案例的比较研究[J].现代情报，2021，41（3）：94-109.

[8] 曹树金，岳文玉.突发公共卫生事件微博舆情主题挖掘与演化分析[J].信息资源管理学报，2020，10（6）：28-37.

[9] 杨建梁，刘越男，祁天娇，等.重大公共卫生事件中民众诉求的主题挖掘与演变透视[J].图书馆论坛，2021，41（4）：121-131.

[10] 罗棋，闵超，颜嘉麒，等.国际区块链研究主题挖掘及演化分析[J].现代情报，2021，41（9）：157-166.

[11] 夏鑫，田晓楠，刘永飞，等.投资者关注、融资融券交易与股价信息含量——基于交易所互动交易平台的经验数据[J].会计之友，2021（17）：75-82.

[12] 王文韬，张震，张坤，等.融合SOR理论的智能健康手环用户不持续使用行为研究[J].图书馆论坛，2020，40（5）：92-102.

[13] 黄仕靖，许缦.基于SOR理论的移动电商网络直播对用户在线购买意愿的影响机制研究[J].统计与管理，2021，36（7）：122-128.

[14] 江琳，李民.基于SOR和TAM的社会化电商用户持续意愿影响因素研究[J].科技促进发展，2021，17（4）：808-815.