基于文献计量的深度学习论文影响力分析及知识图谱

韩建芳

关键词：深度学习;论文影响力;知识图谱;文献计量

摘 要：文章从深度学习的研究现状及其内涵入手，利用文献计量法对有关深度学习的426篇文献进行论文影响力分析，并对排名前20%的文献进行文献年代、期刊发布、作者分析，得出深度学习的初步知识图谱，以期促进深度学习技术的应用和发展。

中图分类号：G250文献标识码：A文章编号：1003-1588（2020）05-0117-03

1 背景

2016年，作为人工智能（Artificial Intelligence，AI）一個重要分支的深度学习（Deep Learning，DL）无疑得到了广泛的关注。谷歌、微软、亚马逊、脸书、百度、阿里巴巴等公司纷纷加强对深度学习的研发工作，成立专门的研究中心，邀请领域专家加盟研究（如Andrew Ng—百度、Yann LeCun—脸书、斯坦福大学教授Feifei Li—谷歌、卡内基梅隆大学教授Alex Smolna—亚马逊[]，在语音图像识别、手势控制、语音翻译等方面取得了长足的进步。

2016年3月，谷歌开发的智能围棋系统AlphaGo战胜了韩国职业棋手李世石;5月，谷歌开源了基于深度学习的自然语言理解算法框架SyntaxNet;6月，基于深度学习和人工神经网络技术的图像编辑软件Prisma上线;9月，谷歌发布了基于深度学习技术的神经机器翻译系统，该翻译系统可将翻译质量提高55%～85%，与基于短语翻译的传统机器翻译相比，该系统可以直接翻译一整句话[2]。可以说，经过2016年的发展，深度学习彻底从理论知识走向应用实践，从高高在上的学术领域走进了大众视野。

2 深度学习的研究现状及其内涵

2.1研究现状

深度学习的研究最早起源于多伦多大学教授Hinton[3]，他提出了基于深度置信网络（Deep Belief Net，DBN）的高效学习算法，这个算法成为今后深度学习算法的主要框架。此外，Hinton教授和Salakhutdinov[4]还提出了一种更为有效的依靠深度自动编码网络学习低维度代码的初始化权重方法，该方法比以往利用主成分分析法减少数据维数更加有效。

自2006年以来，各国学者对深度学习开启了更广泛的研究，如：Jason Weston等人提出了一个新的学习模型框架即记忆网络，能实现长期记忆，并能对长期记忆进行读取和写入。DeepMind技术团队的V Mnih等人首次将深度学习与增强学习结合起来，用增强学习的算法构建了一个基于卷积神经网络（CNN）的深度学习模型，其研发的机器人在Atari2600游戏中成功战胜了其他机器人，甚至在3个游戏中超越了人类游戏专家。

众多国际会议也对深度学习进行了多次专题探讨，如神经信息处理系统大会（NIPS） 2016年邀请斯坦福大学教授Andrew Y Ng[5];国际机器学习大会（ICML）2016年邀请Google DeepMind的David Silver和Facebook的Kaiming He[6]。国际计算机视觉与模式识别会议（CVPR）2016年的报告主题有《Computer Vision and Applied Deep Learning with Mathematica》《Mathematics of Deep Learning》等，从多角度对深度学习进行探讨和学习[7]。

2.2深度学习的内涵及理论依据

深度学习的概念由Geoffrey Hinton等人[8]于2006年提出，在本质上是一种神经网络算法，其原理是通过模拟人脑进行分析学习，在进行算法训练时可以不用人工干预，因此也属于一种无监督式机器学习算法。

维基百科对深度学习的定义是一种具有以下四个特征的机器学习算法[9]：一是使用多个非线性处理层进行特征提取和转化，每一层使用上层的输出作为本层的输入，算法可以是监督（模式分析）或无监督（分类）的。二是基于对数据多层特征的（无监督）学习。较高层的特征取决于较低层的特征，从而形成深层这一概念。三是机器学习中的子领域，是基于数据表示的学习。四是对多层表示和抽象的学习。

2.3人工智能、机器学习与深度学习的关系

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学[10]，其概念是在1956年达特茅斯会议上被首次提出。机器学习（Machine Learning， ML）是一门人工智能的科学，主要研究通过数据训练的学习算法[1]。

人工智能是一个大概念，机器学习是人工智能的一个分支，也可以说机器学习是实现人工智能的一种方法。深度学习是一种具有特殊特征的机器学习算法，是一种实现机器学习的技术。

3 基于文献计量的深度学习论文影响力分析

3.1研究数据来源分析

本研究数据来源于2015版《Journal Citation Reports》下的《COMPUTER SCIENCE， ARTIFICIAL INTELLIGENCE》类别，共收录有130种期刊。深度学习属于人工智能领域的一个分支，由于核心期刊的影响力较大，关于深度学习的核心文献大部分均会发表于此，因此选取这些期刊作为研究数据来源。

笔者检索Web of Science数据库，用Deep Learning做检索词在COMPUTER SCIENCE类别下进行主题检索，检索时间为2006—2016年，共检索得到2，696篇文献，选取ARTIFICIAL INTELLIGENCE下的130种期刊发表的文献，共得到609篇文献。因被引次数为0的论文的影响力肯定不大，因此剔除这部分论文后得到426篇文献，本研究以这426篇文献为基础。

3.2研究方法

评价论文影响力的方法有很多，如谷歌的I10指数、H指数、G指数、H5指数、H5中位数、Altmetric、RG Score等。这些评价方法主要从三个角度进行评价，I10指数、H指数、G指数、H5中位数都是从论文被引用的次数进行评价，H5指数在论文引用数的基础上增设了期刊的论文数指标，而Altmetric、RG Score是从社交网络、分享的角度提出的评价指标。

本研究基于数据库文献，首先排除从社交网络分享角度进行评价的论文，主要考虑从论文和期刊本身、期刊发表相關文献数、期刊影响因子指标进行评价。

期刊发表相关文献数是指426篇文献里每种期刊登载的相关文献数量，一般来说文献数越多，说明在该领域影响力越大，因此这一指标可作为其中的一个评价指标。发表在高影响因子期刊上的论文的影响力肯定较高，因此将期刊影响因子作为其中一个指标。

3.3期刊分析

笔者引进了一个新的评价指标——期刊发表相关文献数，是指426篇文献里每种期刊登载的相关文献数量，一般来说文献数越多，说明在该领域影响力越大，期刊发表相关文献数与论文影响力是正相关关系。

426篇文献分别发表在71种期刊上，其中《NEUROCOMPUTING》期刊上发表的有关深度学习的文献数最多，共计69篇，占总文献数的16%。《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》和《EXPERT SYSTEMS WITH APPLICATIONS》期刊分别发表32篇和31篇文献，近1/3的文献发表在这三种刊物上。

4 深度学习知识图谱

二八法则被广泛应用于现实生活中，在文献分布规律里也同样试用，也就是说20%的文献里集中了80%的知识内容，前20%的文献是核心文献。笔者以426篇文献为基数，研究排名前20%的文献信息（即前85篇文献），以揭示深度学习的知识图谱。

4.1发表年限研究

图1是85篇高影响力文献中论文的每年发文量，从图1可以看出深度学习的研究最早起源于2006年，是Geoffrey E. Hinton发表的A fast learning algorithm for deep belief nets一文，2009至2012年每年都发表2～3篇高影响力文献;2013至2015年文献增多至12～13篇;2016年文献最多，达39篇。

4.2发表期刊研究

图2是85篇高影响力文献中每种期刊的发文量，NEUROCOMPUTING发文量最大，其次是IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE，其余期刊发文量锐减，说明前两种期刊属于深度学习领域的核心期刊。NEUROCOMPUTING的影响因子为2.392，主要发表关于神经网络、神经计算科学、学习系统、跨学科人工智能等方面的文章[12]。IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE的影响因子为6.077，主要发表关于计算机视觉和图像理解的文章，特别是用于模式分析的机器学习领域，还涵盖图像和视频检索、手写分析、面部识别等领域。

4.3作者研究

图3是85篇高影响力文献中每个作者的发文量，从图3可以看出Yoshua Bengio发文量最大，达5篇;其次是Mohammed Bennamoun、Gao Xinbo等人发文3篇;Geoffrey E. Hinton等人发文2篇;其余有281个作者发文1篇。每篇文章的作者数最少有2个，最多的有8个。

在这些作者中，较有影响力的有Geoffrey E. Hinton，Yoshua Bengio，Ruslan Salakhutdinov等人。Geoffrey E. Hinton是多伦多大学计算机科学领域的荣誉教授，是谷歌的工程师。Yoshua Bengio是计算机科学教授，蒙特利尔学习算法研究所（MILA）主任，是多本机器学习和神经网络杂志的副主编。Ruslan Salakhutdinov是卡内基梅隆大学（CMU）的副教授，也是苹果首任AI总监。

5 结语

本研究的思路主要包括以下几个方面：①选取若干核心期刊作为文献数据来源，获取刊登关于深度学习的所有论文和论文相关信息。②对所有论文进行论文影响力分析，进而揭示出若干深度学习的高影响力论文。③对高影响力论文进行分析，揭示出深度学习的文献年代分布和期刊分布、主要研究专家和主要研究领域，得出深度学习领域初步的知识图谱。囿于篇幅，笔者对相关数据仅做了粗浅统计，研究范围也略显薄弱，希望后期研究能够更加深入。

参考文献：

[1]boxi.2016：深度学习统治互联网之年[EB/OL].[2017-01-20].http：//36kr.com/p/5060853.html.

[2]郑泽宇.深度学习：2016年大事记回放[EB/OL].[2017-01-20].http：//www.infoq.com/cn/articles/deeplearning-2016-review？from=timeline.

[3]Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J].Neural computation，2006（7）：1527-1554.

[4]Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[5]Andrew Y Ng. Nuts and Bolts of Building Applications using Deep Learning[EB/OL].[2017-01-20].https：//nips.cc/Conferences/2016/Schedule？type=Tutorial.

[6]Kaiming He. Deep Residual Networks： Deep Learning Gets Way Deeper[EB/OL].[2017-01-20].http：//icml.cc/2016/？page_id=97.

[7]CVPR 2016.Tutorials[EB/OL].[2017-01-20].http：//cvpr2016.thecvf.com/program/tutorials.

[8]维基百科.深度学习[EB/OL].[2017-01-20].https：//en.wikipedia.org/wiki/Deep_learning#Definitions.

[9]百度百科.人工智能[EB/OL].[2017-01-20].http：//baike.baidu.com/link？url=2pDgfw34X-d7LeyF 7X0rLsNKtA2E0CBzVk4Jab0M2_AANqVN1Hi0XOWS_gUsZPi7hiHPV6kbENVo_Vi0ZQ_M4CC9DN7Y1Y3yw ZrbK-Y8CzoJ6EYP5_na5H4_U6tWn107.

[10]Langley P. Elements of machine learning[M].Morgan Kaufmann，1996：1.

[11]Elsevier.Neurocomputing[EB/OL].[2017-01-20].https：//www.journals.elsevier.com/neurocomputing/#tab-page-3.

[12]IEEE.org.IEEE Transactions on Pattern Analysis and Machine Intelligence[EB/OL].[2017-01-20].http：//ieeexplore.ieee.org/xpl/aboutJournal.jsp？punu mber=34.

（編校：崔 萌）