面向投资经济和金融数据库的构建及分析研究

徐凯 陈绵绵 赵旋 张忠新

一、研究背景介绍

在投资领域，需要处理和分析大量和复杂的金融数据[1]。例如股票的盘面数据，上市公司发布的财报，行业的指数等。要做好投资研究，需要系统的构建金融数据库，并应用相应的方法进行分析。吴庆慧[2]通过构建金融大数据，采用聚类分析，应用在金融分析领域。刘文洁[3]等人结合关系型和非关系型数据库。设计了金融数据库CBase，融合了关系型数据库的基本功能，同时支持分布式存储和扩展。朱哲哲[4]等人通过增强一致性算法保障金融大数据存储的一致性，构建了分布式金融数据库。这些都是采用大数据技术构建的金融数据库，缺乏相应的分析研究，尤其是针对投资领域的分析研究。

對于投资领域，姚辉[5]等人根据A股近十余年的数据，研究发现价值投资策略收益更好。沈坤荣[6]等人研究了宏观经济波动与资本以及投资效率等指标的关系。邓创[7]等人采用高维因子对宏观经济和金融进行分离测度，发现金融不确定性对经济不确定性影响更大。由现阶段的研究可见，经济和金融领域的投资分析需要和大数据分析进行结合，才可发挥有效的作用。

本文通过系统梳理面向投资领域的经济和金融数据库的构建及其数据分析方法，从数据的获取和处理出发，讨论了经济数据库和金融数据库构建和分析的方法。

二、经济和金融数据获取和处理方法

（一）数据获取

1.获取宏观经济数据。通过国家统计局、工业与信息化部、工商局、人民银行、银保监会等中央、地方政府各个部门的官方网站，可以获取丰富的国内经济数据。包括GDP、进出口额、CPI、货币供应量、外汇储备、利率、行业市场规模、国家政策文件等经济数据。通过世界银行等国际机构的官网，可以获取丰富的国际经济数据。包括国际贸易数据、金融市场数据、世界各国发展数据和市场研究报告等。

2.通过付费的方式购买高质量的金融综合数据。国内外有大量公司和机构提供付费的金融数据服务。国内代表性的金融数据提供商有万得信息技术公司的Wind金融数据库，国泰安的CSMAR经济金融研究数据库，北京聚源锐思数据科技有限公司的RESSET数据库，阿里云的数据市场金融接口。国际代表性的金融数据提供商有彭博公司的Bloomberg数据库，汤森路透公司的Refinitiv数据库，标普全球公司的S&P Capital IQ数据库等。

3.通过互联网资源获取金融数据。通过计算机的爬虫技术，可以获取财经类门户网站的数据。对网站的页面进行解析，可以获取金融数据和资源。比如可以获取股票的行情数据，上市公司公开的年报数据，公司相关的舆情和新闻等金融相关的数据。

（二）数据处理

首先要对数据进行解析。比如通过爬虫爬取到的数据有XML，HTML，JSON等格式。可以采用DOM解析，JavaScript等技术来进行数据解析。

然后处理缺失数据和异常数据。把异源数据进行集成，同时删除重复数据，进行汇总分析，对数据规范化，以提高数据的质量，提升数据分析的效率和精度。

（三）数据质量评估

数据是否合理，能否解释业务，数据字段的定义要明确。数据的完整性可以量化数据覆盖程度。金融指标是否准确，错误值和异常值占比是否控制在合理范围，数据在采集和处理时是否规范都是保证数据准确和可靠的指标。数据一致性，数据主键是否保持一致，属性的取值范围是否一致。此外对于投资分析，对投资对象时间维度的分析要全面和及时，时间区间的覆盖度要达到模型需要的标准，同时要保障数据更新要及时。

三、经济数据库构建和分析

（一）构建国际贸易数据分析库

1.构建进出口贸易数据库。各国通过进出口贸易交换商品，国家之间互通有无。统计我国进出口总额，分析进口额和出口额，可以计算出我国外贸的规模，可以分析得到我国对外贸易的顺差或者逆差情况。

贸易顺差和逆差不宜过大。如果本国长期出现贸易顺差，则反映出国家对外部依赖程度大，国际贸易的波动会强烈影响本国市场的稳定性。同时，外汇储备随着贸易顺差增大而增长，本国货币则随之升值，从而会造成本国的金融风险。如果本国长期出现贸易逆差，会导致国内资金大量转移到国外，进一步的，贸易逆差会造成本国货币贬值。同时造成外汇储备快速减少，对外债务也会增加。长期贸易逆差同样不利于国家经济的健康发展。

对于金融投资而言。关注贸易顺差和逆差指标，可以帮助投资人员分析公司的经营前景。比如在国际贸易出现逆差时，要关注出口依赖型企业的生产经营情况。特别是劳动密集型产业，该类产业的产品销量出口额比重较大，像纺织业、生活家居用品业、机电制造业和航空业等产业。贸易逆差会降低这些产业的利润，影响投资收益。

2.构建汇率数据库。国际间通常采用浮动汇率。国际货币间的供求关系即国际货币的均衡价格影响汇率的波动。以A国和B国为例，B国对A国货币的需求，与B国和A国的贸易量相关。如果B国对A国贸易出现顺差，说明B国较少用B国货币购买A国货币进行交易，反映在外汇市场上，A国的货币需求会降低。同时如果A国利率下降，则A国货币供给会增加。当A国汇率超过均衡点，A国的货币供给会大于市场需求，最终会导致A国货币贬值。汇率的波动反映在外汇市场上，与国家货币间的需求、供给息息相关。

（二）构建国内经济指标数据分析库

1.构建国内生产总值（GDP）数据库。通过分析GDP了解国家经济发展情况。统计居民消费数据，包括耐用消费品和非耐用消费品支出。统计企业投资数据，包括固定资产相关投资、存货投资等数据。统计政府支出数据，包括政府公共资源等方面的支出。统计净出口数据，分析进出口差额。通过分析国内GDP增长的趋势，从而分析投资机会。

2.构建政府财政收入数据库。通过获取政府部门在每个财政年度的收入数据，分析政府财力是否充沛，需要分析国有资产和国债收益，国家税收等收入。通过分析国家财政收入，可以得到财政收入中贷款比例，国家的减税政策等信息。国家贷款和减税政策具有消费效应，可以促进投资增长，改善投资的宏观环境。

3.统计国家财政支出数据。通过归纳整理财政支出的规模和结构。包括基建、行政管理等支出数据。分析国家财政支出可以研判短期和长期的挤出效应。短期挤出效应会导致私人投资供应的减少。而国家在长期的基础设施建设和科研教育等方面的投入上会显著改进长期的投资环境，带动产业健康持续发展，提升经济活跃程度。

4.统计分析利率数据。宏观经济调控有效手段是利率，利率杠杆可以抑制或促进经济的冷热。通过分析利率数据，可以了解国家的利率政策，从而预测市场供求的变化趋势，分析出经济发展变化的趋势。

5.统计货币供应量数据。包括货币发行总额m0，狭义货币供应量m1，广义货币供应量m2。根据货币供应量的特点，分析国家对货币的调控政策，分析民间资金松紧程度，从而分析投资的宏观金融环境经济波动情况。

6.统计工业增加值数据。通过统计工业生产扣除成本后增加的余额，分析工业增加值的波动情况，从而分析出产业经营表现，进一步预测经济发展情况。

（三）构建国内民生经济数据分析库

1.分析居民消费价格指数（CPI）数据。通过分析八类消费品CPI指数，可以分析通胀趋势，从而优化投资结构。比如CPI指数升高的情况下，投资短期债券可以抗利率增加的风险。同时长期债券，在投资金额到期后，可以继续持有以对抗通胀的影响。

2.构建通货膨胀率数据库。纸币超发较多的情况下物价上涨，造成通货膨胀。可以对有色金属行业投资，增加抗通胀能力。从产业链的角度分析投资，具有较低库存的大宗商品，通过分析行业龙头企业的经营数据，投资行业资金和技术比较占优势的企业。同时投资消费品类企业，比如白酒，艺术品，医药类公司。

3.构建通货紧缩率数据库。当社会整体商品供给过大时，会造成通货紧缩，导致物价下降。可以进行黄金投资，同时规避风险。合理控制好投资比例，尽可能的减少投资结构性风险。

四、金融数据库分析方法

（一）财务价值投资分析方法

1.通过市盈率来衡量投入与回报的关系。市盈率为股票价格和股票税后收益之比。通过预期回报的折现价值来对股票价格进行评估。计算税后收益的总计年份和现阶段股价的关系，从而衡量股票价格是否满足投资客户的预期。

2.通过市净率来衡量资产的清算价值。分析公司公允价值以及市场价值，计算出公司市场价值和公允价值的比值。市净率由于对净资产进行估值，所以稳定性比较好。对于市净率较低的公司，投资价值相对会比较高。

3.分析公司盈利能力，投资高盈利能力的公司。从持续性和成长性等方面对盈利能力进行评估。通过计算投资资本回报率，将生产资产的回报进行量化，从而筛选出成长性更好且更具备竞争优势的企业。

4.分析公司经营效率进行投资。通过分析经营资产周转率，衡量公司资本管理水平，同时反映出公司资产利用的效率。最后评估公司的经营资产回报率，选择高效经营的公司以提升投资回报率。

（二）金融投资理论分析方法

根据金融投资理论进行资产配置，同时根据风险承担能力做个性化的金融投资分析。

1.分析用户风险承受能力。通过设计调查问卷来搜集和确认用户的投资目的，以及用户的风险承受意愿。风险承受能力问卷可以帮助投资机构为客户合理制定个性化的投资方案。主要搜集用户的目标投资收益，用户最大限度能承受的风险意愿。用户投资的收益和风险的态度可以进行量化。通过得分的不同，可以大致分类为不同级别，如激进型，稳健型，保守型等。最后通过金融工具进行风险收益均衡，在最大化投资收益的基础上，保持风险控制在用户意愿承担的范围之内。

2.分析资金分配方案。资金分配是投资首要考虑的问题。需要合理分配资金类别的分配比例。先确定投资的资金种类，包括货币市场现金工具，固定收益类债券、股票、贵金属等投资标的。通过分析经济发展分析市场的发展情况，预测不同种类资金的收益率，从而合理制定资金分配方案。

3.分析有效的投资组合。通过金融工具，分析有效投资组合的边界。常用的投资组合分析模型有单指数模型、投资组合有效边界模型等。在控制风险目标的范围内，分析最大化收益率的组合，从而满足投资的需求。

（三）数据挖掘分析方法

金融数据挖掘通过融合统计学和机器学习等技术，得到金融数据内隐含的高价值信息和知识。通过数据挖掘可以发现金融数据中的各类模式规则，获取市场内隐含的各类有价值的信息，可以根据挖掘出的信息作出更明智的投资决策。

1.时序预测挖掘。通过对股票的历史数据建立模型，分析价格变化的趋势和状态。常用的有回归分析，建立回归方程拟合趋势。还有神经网络模型可以进一步提升预测的精度。通过对时间序列进行数据挖掘，找出序列模式的常见形式，可以帮助投资人员把握股价的变动规律，从而帮助更好作出投资决策。

2.分类和聚类分析。通过数据挖掘方法对股票数据进行合理分类。使用决策树、贝叶斯分类等方法进行数据分类。使用K-Means、分层聚类等方法进行数据聚类。可以对股票进行分类和聚类，方便进一步的行业研究和趋势的研判。

3.关联分析。通过关联分析发现数据之间频繁出现的关系来建立关联规则，常见的关联规则挖掘方法有Apriori算法。可以挖掘出不同股票间不同因子的相关性，有利于进行跨行业和板块的对比分析。还可以通过挖掘不同证券市场之间的关联规则，合理地进行资产配置以规避风险。

五、研究结论

针对当前研究缺乏面向投资领域的经济和金融数据库构建和分析的问题，本文通过梳理投资数据库的构建以及分析方法，可以为从事投资行业的教学科研和工作人员提供一定的参考价值。

参考文献：

[1] M. D. Maggio，A. Kermani， and K. Majlesi， “Stock Market Returns and Consumption，”The Journal of Finance， vol. 75， no. 6， pp. 3175–3219， 2020.

[2]吳庆慧.在金融数据库营销中的一种数据挖掘与决策分析的方法[J].中国科学技术大学学报，2009，39（2）：208-214.

[3]刘文洁，李戬勃，李战怀，张利军.一种面向金融应用的海量分布式关系数据库[J].华中科技大学学报（自然科学版），2019，47（2）：121-126.

[4]朱哲哲，赵振海，李鹏，吴海洋，向小佳.分布式关系型数据库研究与金融行业应用[J].计算机系统应用，2021，30（6）：75-81.

[5]姚辉，武婷婷.兼顾基本面与估值指标的价值投资策略实证研究——来自2000-2013年中国沪深A股市场的经验数据[J].投资研究，2014，33（11）：123-138.

[6]沈坤荣，孙文杰.投资效率、资本形成与宏观经济波动——基于金融发展视角的实证研究[J].中国社会科学，2004（6）：52-63+205.

[7]邓创，吴超.中国经济、金融不确定性的交互影响动态与宏观经济效应分析[J].系统工程理论与实践，2021，41（7）：1625-1639.

基金项目：贵州财经大学教学质量与教学改革项目（2019JGZZD05）;贵州省大数据统计分析重点实验室开放课题（BDSA20200116）;贵州财经大学大学生创新创业训练计划资助项目（S202010671022）;贵州省软科学项目（黔科合支撑[2019]20033号）。

作者单位：贵州财经大学