大数据时代的档案管理工作

罗静

摘要：本文对大数据与档案资料的关系作出了详细的分析，剖析了大数据技术对档案管理工作发展的意义，并展望了大数据背景下的档案管理工作的主要发展方向。

关键词：档案管理；大数据；数据安全；数字档案馆

半个世纪以来，随着计算机技术的发展，不仅人们的生活方式发生巨大的改变，信息的大量产生和积累也引发了深刻的变革。随着数据信息大发展，移动互联、社交网络、电子商务等极大的扩展了互联网的边界和应用范围，互联网、物联网、金融、电信等都在大量产生和我们息息相关的数据：全球美妙发送290万封电子邮件，每天有2.8万小时的视频上传到Youtube，亚马逊每天产生630万笔订单。人类产生的数据量正在成指数级增长，而最近两年产生的数据量可以相当于之前人类社会产生的全部数据量。这些我们创造的信息背后产生的数据已经远远超出了目前人力能处理的范畴，大数据时代已经到来。

一、大数据与档案管理的关系：

档案管理工作主要包括对档案的收集、整理、保管、鉴定、统计和提供利用的活动。随着社会的发展，信息化水平和管理水平的提高，档案管理的内容和范围也在不断增加。档案管理和大数据分析同样包含了对信息的收集、整理、分析和利用，有许多相似之处，“大数据技术”的发展也必将推动档案管理技术的发展和改变。但他们之间也有着明确的不同之处：

1）信息数量：目前，单个档案馆数据资源总量多在GB级，与“大数据”中PB和TB级别的数据量相距甚远，而档案信息中被数字化，可公开利用的档案信息更是少了许多，但是各档案馆累计的档案资源信息是庞大的。2020年，各级国家档案馆馆藏将达到6亿多卷。而档案数据广泛存在于政府、企业、金融、教育等各行业的档案保存机构中。随着数字档案资源建设战略的不断推进，档案信息的资源整合必将成为发展趋势，要处理这些海量档案资源，势必需要借助大数据技术。

2）信息来源：档案数据的来源主要是在政府机关、集团企业、金融、通信、建筑、房产、教育、军工、法院等行业产生的，包括文档、设计图、照片、录音材料、视频、GIS信息、水文气象信息等。这些数据之间又存在一定的关联性，如城市建设的平面图、设计图可以和GIS数据信息关联，同时还可以关联政府建设规划文件、批复与施工文件等。数据内容明确有效，并有相关企业或机关背书。

3）信息结构：档案数据以结构化数据为主，多数档案数据来源明确、内容明晰。而“大数据”则以非结构化数据为主，大量包括网页、音视频等非结构化数据，而且数据内容和结构还不断变化，如交易信息类别更加明确、采集用户交易后的反馈等。当然，档案数据目前也越来越多的包含了表格、网页、音视频、图像等非结构化数据。面对快速增长的非结构化数据，大数据技术的发展也为档案工作提供了有效的参考目标和大量的可用工具。

“大数据技术”的发展对档案管理工作有着十分重要的意义，为档案管理工作提供了信息化、规模化的重要参考及大量的实用工具。而档案信息的成熟管理制度和数据的完整有效也同样对“大数据”的分析使用有着极为的作用：

1）档案资料是许多“大数据”分析的重要基础数据：如对消费习惯、消费层次的分析离不开政府人口档案的支持：公开档案资料可以提供人口基数、收入比例、年龄层次等重要的基础数据，与企业的消费信息“大数据”一起，能够更精确的分析出某个区域人群的消费习惯，为企业提供更精准、高效的决策支持。反过来，这些分析结果也可以成为企业档案数据，为政府档案提供有效的补充，进一步完善档案材料的完整性和有效性；

2）档案资料成熟的分级管理和保密制度对“大数据”的滥用、用户隐私的侵犯有着一定的制约作用：如政府档案公开的统计信息可有效协助企业的“大数据”分析，但涉及个人身份、工作信息或保密性质的档案信息则不流出档案管理规定范围，避免被滥用；另外，如运营商等涉及大量用户数据的企业档案资料如果严格执行档案资料的分级和保密制度，区分公开数据及保密数据，利用成熟的档案资料管理和保密规定，就可避免资料信息在企业甚至个人间非法流转，某种程度上限制“大数据”对安全和个人隐私的严重侵犯。

二、档案管理信息化的发展与现状：

随着网络和信息技术快速发展，档案工作也在面临一场深刻变革。为满足大数据时代政府、高校、企业等对档案工作的更高要求，档案工作必须要应势而动、乘势而为，加快转型升级，逐步实现以信息化为核心的档案管理现代化。

根据国家电子政务、电子商务以及大数据、云计算、人工智能等发展规划，档案管理工作必需进一步推进信息数字化、数据交互等方面建设，现以信息化为核心的档案管理现代化。

在2017年，我国档案信息化建设明显加快。目前，全国已有16家单位的数字档案馆系统通过了国家示范数字档案馆测试，4家单位通过了国家示范数字档案室评价。在档案数字化建设方面，中国第一历史档案馆、中国第二历史档案馆数字化工作成效显著，各级档案馆数字档案资源的比例均有大幅提高，全国数字化档案资源达2243万GB，数字化全文识别取得重要进展。

但是，仍有不少省级档案部门没有按计划接入国家电子政务内网，仍有很多信息系统在‘孤立运行。下一步，要逐步实现档案部门与其他部门之间的互联互通，逐步实现由政务信息的互通到业务数据的互通再到档案数据的互通，最终实现对包括政务信息、业务数据等在内的各类电子文件的在线归档、在线移交接收、在线利用，彻底打破档案部门“信息孤岛”的状态。

三、大数据背景下的档案管理工作：

随着社会的发展和技术的更新，档案管理工作还存在许多问题，需要不断的改进和发展才能满足政府、高校、企业和个人等对数据、安全等各方面的要求，便利人民的生活，保护人民的權益。

1）进一步促进档案的信息化和数字化：目前各级数字档案馆多从自身档案建设需求出发，尚未形成统一的管理标准和规范制度，档案信息资源的种类、格式、存储形式有较大区别，使资源整合难度较大。另一方面，数字档案馆提供的信息资源多为政府公文、法律规章、馆藏目录等，形式单一，目录层级较为简单，开放的档案资源的价值不大，可用性不高。而无论是以前积累的纸质的资料以及很多档案管理机构不断增加的线下资料，都急需进一步加强数字化进度，提高数字档案的比例和数据的完整性，并制定多种查询方式，提升信息的使用效率；

2）档案信息的整合和互联互通：各地区、各部门档案信息各自为政，建设水平、数据标准各异，导致各种 “数字鸿沟”的出现，信息共享的门槛较高，信息跨库检索难度较大，严重影响了信息的利用价值。这个问题需要主管部门和各级档案管理机构合作，逐步建立信息的交互接口和标准，消除“信息孤岛”，加强信息流通。

3）档案信息的分析利用：随着档案信息的数字化水平提高和信息互通的的加强，大量的档案信息可以利用“大数据”分析的思路进一步分析整合，获取以前面对零散的档案信息难以获得的决策或统计信息，有效提高决策分析的效率和准确性。

4）加强档案信息的分级与安全机制：

随着档案的信息化发展，数字档案馆的运行，网络环境的开放性对档案的安全保密性形成一定冲击，以前有效的档案管理、保密制度可能在新的环境下难以满足安全要求。档案资源如何在公共开放的数字环境中保障其真实可靠，加强信息的分级和查询接口的安全，是档案资料今后必须解决的重要问题。

参考文献：

[1]大数据带给图书馆的影响与挑战《图书与情报》2012（5）。

[2]大数据背景下的档案行业发展 《中国档案》2015（6）。