试论大数据应用于档案管理工作的必要性

陈南

摘 要：大数据时代的到来，冲击着整个社会，改变着人们的工作与思维方式，也给档案信息化建设理念与技术带来了机遇与挑战。我们应主动运用大数据的理念，将大数据技术与水利档案工作深度融合，使档案工作适应大数据时代发展趋势，更好更快发展。本文从大数据的特性及运用出发，分析了大数据背景下将大数据技术引入档案管理工作的必要性。

关键词：大数据；档案；档案管理

大数据时代，档案信息资源的数据量呈现出几何级数的增长趋势，资源用户也对信息的需求表现出“井喷式”扩展的态势，为档案工作带来了前所未有的机遇与挑战。即便是云计算、云储存、移动互联网等新型信息技术，也难以满足档案管理工作的需要和档案信息资源用户对档案的利用需求。在这种情况下，档案管理技术革新势在必行。大数据是继云计算、物联网之后的社会信息化的又一次颠覆性的技术变革，它通过海量、动态数据的有效集成，推动信息管理科学化和精细化，有效提升信息利用精准度和实效性。

1 大数据及其特点

随着计算机科学和互联网技术的快速发展，我们已经进入了一个大数据时代。大数据有以下四个特征：

一是数据量巨大（Volume）。我国馆藏档案的总量已经达到4亿卷。馆藏数字档案的数量已经从TB级别跃升到PB级别， 甚至会达到ZB级别。预计到2020年，我国各级综合档案馆纸质档案数字化的数量要比2010年翻两倍。国家和各省的综合档案馆开展了百万馆藏档案数字化工程，电子档案的移交和接收也要开始实施。

二是数据类型繁多（Variety）。大数据的数据来源多，因此得到的数据呈现分布和异构的特点，不仅包含文本、图像、视频等，还有网络日志、地理位置信息、用户行为信息等。这些不同形式的数据包括结构化数据、非结构化数据及半结构化数据，这些数据的构成非常庞大，构成类型多样，处理和分析方式各不相同。

三是处理速度快（Velocity）。档案工作实际上就是提供利用资源，大数据形势下的档案管理工作最重要的就是时效性和便捷性要求，而大数据就具有较强的时效性，在大数据技术能够实现网络信息智能化和个性化以及精品化的基础上，依托互联网的新技术，采用实时分析和分布式处理模式，全方位实现档案信息的检索功能、决策功能以及推送功能，从各种类型的数据中快速获得高价值的信息，這一点和传统的数据挖掘技术有着本质的不同。

四是价值性高（Value）。档案的技术实现必须依赖档案作为载体，大量的档案数据在运用过程中，数据价值的密度较低，数据的价值却很高，大数据的数据相关度不高，数据量庞大且蕴含巨大价值，但是单个数据的价值很难体现，档案信息资源能够提供资政查考，服务社会等不可替代的作用，在大数据的形势下，只有使用海量数据处理工具，合理利用数据并对其进行正确、准确的深度分析，才可以对趋势和结果进行预测，实现其较高的利用价值。

2 大数据应用到档案管理中的必要性

随着社会的发展、技术的进步，无论是档案本身还是档案管理工作都在发生着深刻的变化：档案理论含义不断扩展，档案管理技术不断创新，档案业务环节、载体等都在不断丰富。同时，社会对于信息资源的需求呈现出几何级数的增长趋势。这就要求我们适应新形势，利用新技术去开展档案管理，因此在档案管理中引入大数据技术是非常有必要的。

1、社会管理的需要

目前，由国家统一规划和施行的智慧城市建设已经正式起步，档案馆需要借助大数据技术融入智慧城市。智慧城市建设理念为“多用信息少用资源、多用信息少受灾害、多用信息多利民众”，需要海量的信息作为资源，档案馆作为重要的社会文化机构之一，存储有海量信息，恰恰可以提供这种需要。但是目前档案的数字化率还有待于进一步提高，为了跟上智慧城市建设的步伐，有必要改变传统的管理方式，使社会信息资源得到更好的开发利用，而大数据处理技术则是不二选择。

从另一方面来看，智慧城市建设可以将大量的档案信息融入到智慧城市的建设中，盘活档案馆中信息资源，加大信息管理、开发，便于政府决策和公民的利用。而想要盘活档案馆的海量信息，就必须借助于大数据技术，为政府借助档案馆加强和创新社会管理奠定坚实的基础。

2、文件处理的需要

大数据时代，数字化资源、电子文件以几何速度增长，这给档案文件鉴定、处理、存储、备份带来了新的挑战。首先，利用大数据技术做好电子文件的宏观鉴定，从整体上形成能直接判断文件价值的方法和能力，为电子文件的进一步利用打好基础。其次，加大数据技术在非结构化电子文件处理中的应用，大数据包括结构化数据、半结构化数据和非结构化数据，其中非结构化数据的增长比例一直呈上升趋势，鉴于此，利用相关数字技术对显性、隐性网络化数据进行处理，理清数据之间的内在关联，拓展系统规模和性能，成为空间数据、图像、数据流等非结构化数据处理的关键，也是档案工作中非结构化电子文件管理的新方法。最后，利用大数据技术做好档案数据的存储与备份。档案数据库的建立和使用，提高了档案管理利用效率，但是，数据库胀库现象日益严重。到2020年，各级国家档案馆馆藏案卷将达6 亿多卷。有限的库房容量致使新出现的档案无法存储到库房中去，这就促使我们借助大数据技术优化数据库存储，提高数据存储效率，节约数据存储空间。但就目前来说，档案数据存储与备份技术尚未大规模使用。这就要求档案馆在加快数据技术开发的同时，尽快建立跨系统、跨平台、跨数据结构的数据系统，提高档案利用效率。

3、档案存储方式转变的需要

随着档案信息化管理方式的产生，档案从以传统的纸质载体为主，转变为以电子文档、图片、音视频等载体为主，电子档案的数量越来越多，档案管理人员需要对这些数据信息进行存储与备份，但海量的信息资源仅仅采取目前所采取的云存储、虚拟存储、网格存储等方式是不够的，而要采取新的存储方式。如今大数据技术得到了广泛应用，档案管理部门能够建立大数据平台，对档案信息进行数据存储，在降低存储空间的基础上有效提升存储质量，并通过智能技术对数据进行收集整理和分配，通过数据平台高效处理大量的信息数据，利用分析用户有关行为数据，不断优化档案信息的内部存储，提高电子档案的使用效率。

4、档案服务职能转变的需要

大数据时代，档案管理从实体管理转变为知识管理，档案用户已经不仅仅满足于档案展览、查询等传统服务方式，也不仅仅满足于数据和文件的利用，他们的需求变得更加个性化和多样化，希望获得更多数据隐藏的信息和知识，而数据背后知识的获得就需要通过大数据技术来实现。

此外，档案的功能和作用发生了变化，从以前的纯粹重保管转变为通过先进技术手段分析现、发现和提取有效信息，创造价值。档案服务也将以服务对象个性化的需求为导向，提供网络化、智慧化的服务，这些都需要大数据技术作为支撑，为用户提供有针对性的服务。

大数据技术可以把隐藏在海量数据中的知识揭示、展现出来，把传统低效的信息服务创新为高效的知识服务，还能对用户的行为习惯和喜好进行数据挖掘和量化分析，获得潜在价值，构建档案馆知识服务体系，提供个性化的档案信息资源收集、推送服务，实现真正的个性化服务。

参考文献

[1]徐呈平.大数据时代的档案管理[J].中国管理信息化，2017，20（14）：147-148.

[2]房洁.大数据背景下档案工作信息化建设的思考[J].办公室业务，2017，（11）：47-48.

[3]蔡利剑.大数据背景下的档案管理问题研究[J].西北工业大学学报（社会科学版），2016，36（01）：104-107.

[4]刘泓，刘冰欣.大数据时代背景下的档案管理探讨[J].信息化建设，2016，（05）：277.

[5]李小晨.大数据时代背景下的档案管理探讨[J].云南档案，2013，（06）：48-50.endprint