构建能源物资数据资源共享云平台

范海虹

摘   要： 数据是各行业实现数字化、网络化、智能化发展的关键要素。为了提升能源物资物流效率，增强能源物资数据的互联互通，利用数据即服务（DaaS）技术，打造了能源物资数据资源共享云平台。在流程设计上，基于能源物资采购环节数据，进行商品比价、筛选，采购流程全闭环管理，交易数据全量化统计，实现实时数据同步，提升采购效率;在架构部署上，采用共享API云平台，与电商企业采购平台和应用场景有机结合，深度分析和挖掘数据。建立了能源物资大数据监测系统平台，通过用户行为分析等手段，按照用户需求，实现指标采集和数据挖掘。数据即服务技术的应用，使得能源物资及物流数据价值得以充分挖掘，充分利用了能源物资企业的IT运营效果，提升了管理效益，具有广泛的应用前景。

关键词： 数据即服务（DaaS）;能源物资;资源共享;数据挖掘;云平台

引言

当前，随着工业互联网、人工智能、云计算等技术的广泛普及与应用，数据成为工业企业实现数字化、网络化、智能化发展的关键要素。产业数字化、数字产业化，加快数据中心等新型基础设施建设，是现代工业企业创新发展的基石。

近些年，大数据挖掘在能源、交通、通信等领域[1-4]的研究与应用越来越广泛。例如，我国某能源物资企业的物流系统不断完善，先后打造了以“招投标管理系统”、“询比价采购系统”和“国家能源e购网上商城”为核心的三大电子商务关键平台，并通过大数据挖掘技术的应用，取得了很好的成效。

为了给能源物資物流领域赋予新动能，还应进一步增强能源物资数据的互联互通，打破信息孤岛。本文利用数据即服务（Data as a Service，DaaS）技术，打造能源物资数据资源共享云平台，构建一套全新的智慧物资物流电子商务系统。

1  数据即服务（DaaS）的发展背景与技术原理

1.1  数据资源

数据资源是信息化建设的基础，是信息系统的价值所在，数据的采集、处理、共享与开放已经成为数字产业的抓手。对数据资源的利用方式已历经两个阶段：第一阶段，业务单元数据利用计算机存取，这类电子化的数据通常仅被个人或单一系统使用;第二阶段，互联网和工业物联网在部门或行业逐步整合了各类业务信息系统，数据开始在部门内或行业垂直领域内实现流动共享。目前，第三阶段，即跨领域、跨平台的数据共享、开放、融合的阶段已经来临。

1.2  数据共享与开放面临的问题

1.2.1  数据共享接口标准化工作不深入

在C/S、B/S等具有三层体系架构的应用系统中，数据层存储数据的值及其基本语法，业务层和表现层蕴含数据的语义和语用。由于后期需要进行系统二次开发和实现数据共享，其一是从开发者角度，必须完整理解和掌握系统，避免出现文档源码缺失、开发团队缺位、第三方软件公司不配合等问题;其二是从管理者角度，必须全面评估安全风险，要考虑数据的一致性和及时性、数据访问权限的安全性等;其三是从系统相关者角度，要考虑的问题会更多，如系统架构、流程、性能、稳定性，需要的人员、时间、成本和利益得失等，但现实中无法面面俱到。因此，对数据共享接口提供者而言，难以同时满足以上各方的要求，也无法列明和预计所有可能的数据接口。

1.2.2  数据开放开发成本巨大

对于传统信息系统而言，数据开放协调难度大，需要取得相关各系统的完整技术文档，方可开始开发。开发技术复杂，开发速度慢，而且参与开发的人员数量也比较多。可见，应用传统技术实现数据开放互联，开发工作量巨大、难度极高，见效比较缓慢。

1.3  数据即服务技术原理与特点

针对数据共享接口复杂、数据开放开发成本巨大，导致数据资源无法得到充分利用的问题，数据即服务技术应运而生，其通过数据资源的集中化管理，实现数据利用效能提升等目标。

数据即服务技术是指与数据相关的任何服务，如数据聚合、数据质量管理、数据清洗等，都能够在集中处置中实现，只是体现为不同的工程模式、行为模式、组织模式。通过各种模型、方法和平台，将数据提供给不同的系统和用户，而无需再考虑这些数据来自哪些数据源[5]。数据即服务技术原理如图1所示。

数据即服务技术是面向大数据的数据开采技术，其以创新的体系结构和模型，将数据以服务的形式开放出来，进行精细化管理并提供给各种场景使用。这种服务在系统中对应着具有独立语义的数据单元，用户可自由组装并调用所需要的数据，重建出业务信息系统的数据，快速实时挖掘出有用的数据，形成多源数据共享池，为数据开放、融合与增值创新提供高效的平台支撑。

数据即服务技术可将互联网/局域网中的各种IT资源（业务信息系统、文档、数据库等）中蕴含的数据和服务以API（Application Programming Interface，应用程序接口）的形式进行供给、管理和增值处理。这一创新的开发方式，一是复杂性极低，对源系统的风险接近零;二是无需协调源系统开发者，大幅提升效率与进度;三是数据读写与源系统完全一致，保证数据一致性和安全性。

2 能源物资数据资源共享云平台的实现

本章分析数据即服务技术实用化的手段，并将其应用于能源物资数据资源共享云平台建设。通过数据即服务技术，整合企业内外部API服务资源，为公司内部及能源生态圈的上下游企业提供服务、按需调度资源[6]提供了一套全新的技术解决方案。

2.1  需求与机会分析

构建能源物资数据资源共享云平台，要解决以下问题：

一是要解决采购成本高的问题。能源物资采购人员无法对所有产品都精通了解，不能及时并且精准地掌握能源物资产品的成本，造成价格虚高。

二是要解决采购效率低的问题。每次采购都需要在众多能源物资供应商中进行比较，甚至需要与众多供应商沟通协调，影响采购效率。

三是要有效应对市场行情变化。能源物资采购人员有时不能及时并且精准地掌握能源物资产品的市场行情，无法保障采购效果。

四是要解决采购过程监管不力的问题。能源物资采购应以实现能源物资供应的“高效、规范、质优、价宜”为目标，就需要具有很好的过程化监管，但现实中这种监管手段难以有效实现。

2.2  平台流程设计

基于数据即服务技术建立的能源物资数据资源共享云平台，是一种一站式、多电商、云服务的企业级采购云平台，旨在重点解决企业在开展能源物资集中采购中遇到的问题，发挥集中采购效益最大化，实现能源物资采购数据资源共享。平台流程设计如图2所示，其从采购环节的申请审批出发，突破传统思维，借助新技术及资源整合优势，在多个电商企业采购平台进行商品实时比价、筛选，实现数据同步，提升效率。此外，采购流程全闭环，实现价格体系分析和内部管控分析，对采购总额、采购总数以及成本节省等情况进行全量化统计，选择品质最好、服务最优、价格最低的能源物资产品。

该平台的流程设计还实现了同一类型商品在各大电商平台的精确定位，并基于价格的自动计算，筛选最低价格的电商产品，并予以突出显示。同时，系统会列出每个商品的个人版价格，并形成对比，避免在多个电商采购平台间频繁切换比价。这种设计使得采购省时省力，既避免了电商价格欺瞒，也避免了采购人员的繁重比价工作，更提升了上级公司的信任度。

2.3  平台架构部署

基于数据即服务技术的平台架构采用共享API云平台，可以打通各家企业电商平台数据，颠覆传统的数据开采技术，有机融合电商数据，深度分析和挖掘数据。

平台架构部署如图3所示。在这一平台架构部署下，采购平台、API云平台和应用场景有机结合，以创新的体系结构，重建业务系统的数据接口，快速实时挖掘出系统数据，形成多源数据共享池，为数据开放融合与增值创新提供高效的平台支撑。平台架构为分层结构，包括数据层、应用层和表现层。电商企业采购平台作为数据层，主要存放源业务系统数据库，以提供真实有效的业务数据;共享API云平台作为应用层，是对业务处理进行实用化评价的核心，实现指标数据计算、规则统计、问题数据处理等功能;应用场景作为表现层，负责为用户设计操作方式和UI展示，其由多个功能模块组成，包括采购数据分析挖掘、物资申请或审批、比价与支付功能，并在后台进行用户日志获取、业务运行监测、实时日志分析、指标统计和展示、报警和审计等功能。

3  能源物资大数据监测系统平台设计

能源物资大数据监测系统平台是能源物资数据资源共享云平台的重要组成部分，其设计围绕电子商务平台实用化监测来展开，按照用户需求实现指标采集和数据挖掘。该平台基于API技术，从应用模块外部入手，采用主动探测方式，监测应用模块功能表现的变化。

3.1  总体架构设计

（1）业务系统：采用流量旁路技术，实现流量复制转发，并采用Agent（代理）技术，主动采集业务系统运行信息，探测应用模块可访问性;

（2）数据收集：通过API捕获分析这一核心技术，建立API映射规则，实现系统监测和报警，并对系统状况进行智能分析;

（3）系统展示：对业务指标进行多维度分析与展现，并展示系统健康度分析和问题诊断结果。

能源物资大数据监测系统平台总体架构如图4所示。

3.2  平台功能设计

3.2.1  用户行为分析

（1）用户行为数据采集指标

① 用戶停留时长、同时在线人数;

② 用户访问的具体操作时间;

③ 用户访问具体模块或业务的次数;

④ 用户业务操作时长;

⑤ 其他。

（2）采购员行为分析要点

① 采购员工作量分析，可分析采购员的工作投入情况，横向分析同类采购员的工作投入差异;

② 采购员工作时段分析，分析采购员工作压力的高峰期，调整人员投入和工作安排;

③ 采购员工作效率分析，通过对同类人员操作相同业务的不同时间周期，反映人员的工作效率情况;

④ 采购员业务熟练度分析，通过对同一采购员在不同时间段操作的分析，展现业务的熟练度，对新采购员效果明显。

3.2.2  应用模块分析

（1）应用模块数据采集指标

① 应用模块用户访问次数，可以按照累计访问次数和日/月访问次数分别统计;

② 应用模块单次访问平均时间;

③ 应用模块错误情况;

④ 自动巡检异常告警情况。

（2）应用模块数据分析要点

① 应用模块使用频度分析，用于分析系统核心功能的使用情况，评估应用核心功能的价值，为后期的投入提供参考依据;

② 应用模块的使用时长统计，用于分析业务功能的复杂情况，便于后期的优化改进;

③ 应用模块的使用时段，用于分析系统的压力情况，结合资源占用情况可提供系统部署调整的数据支撑;

④ 应用模块健康情况分析，通过错误的频度及重要度的分析，提供后期整改或优化的数据参考。

3.3.3  业务流程分析

（1）业务单据流转数据采集指标

① 单据发起数量;

② 单据流转时长;

③ 单据类型及名称;

④ 单据流转过程中的人员信息;

⑤ 其他。

（2）业务流程数据分析要点

① 不同类型业务单据数量统计，通过对不同业务总量的对比，体现业务的重要度和关注点;

② 相同类型业务单据数量统计分析，通过对同类业务不同时间区间的数量变化，分析业务流程使用的高峰低谷情况;

③ 同一单据的流转过程分析，通过对业务单据流转节点的业务数量分析，得到业务处理的挤压或滞留等问题，可以关注重点并作出及时处理;

④ 业务流程使用时间段分析，通过对整体业务时间段的分析，得到业务过程的复杂情况，便于后期的业务优化及人员安排;

⑤ 业务流程用户访问量及并发量分析，分析系统处理压力和人员工作压力情况。

能源物资大数据监测系统平台部分功能示例如图5所示，如采购数量最多的商品、采购总金额等。

4  应用效果评估

4.1  降低了企业IT运营成本，提升了社会效益和管理效益

随着数字化转型的进一步推进，能源物资企业对IT运营的需求和管理模式也在发生变化。在激烈的市场竞争环境下，企业不断整合资源，寻求以更低的成本获取更高的效益的工作模式。由于在降低企业IT成本、提升企业IT运营效率等方面的显著优势，数据即服务技术受到越来越多企业的青睐[7]。

数据即服务技术已经发展得越来越成熟，越来越被企业用户所接受。利用数据即服务技术，将会对提高服务质量、增强用户体验和降低自身服务成本产生重要影响。实现的企业级多电商能源物资数据资源共享电子商务云平台，有效利用现有数据，使采购更加规范透明，使监管手段更加方便有效，最大程度地节约采购成本，为市场策略的制定提供了依据，从而提高了企业的风险控制能力、经营决策能力以及竞争能力。在管理效益方面，可以加强采购监管能力，实现业务创新，提升采购体验;在经济效益方面，可以提升采购配送效率，节约采购成本;在社会效益方面，可以促进业务数据聚合，建立信息决策可靠数据基础，产生行业示范效应。

4.2  实现了横向协同，数据价值得以充分挖掘

通过数据即服务技术构建的能源物资数据资源共享云平台，打破了信息孤岛，消除了对系统源码、数据库表、后台权限、原开发团队等的依赖，形成了聚合型管理系统，实现了数据、功能与第三方系统的高效互操作。在应用层监测方面，为系统优化、数据交互共享、系统互联互通、大数据监测、信息安全和辅助决策提供了有力支撑。后续还可以建立应用行为优化支持系统、应用层信息安全审计系统和实用化应用辅助决策系统等，进一步挖掘数据价值。

4.3  推动了纵向业务创新，企业获得了可持续发展能力

数据即服务技术，一是能够实现B/S架构系统的移动端快速迁移，二是能够实现API接口的平台化管理。以上优势从纵向上为业务创新提供了高效的复用支持，使得云端大数据业务应用实现了前后端分离，形成了可衍生的前端新型业務应用模式。企业获得了可持续发展能力，可随时满足业务系统快速上线的需求，提升企业创新速度和效率。

5  结束语

本文利用数据即服务技术，为能源物资企业打造了数据资源共享云平台，尤其是构建了能源物资大数据监测系统平台，形成了一套全新的智慧物资物流电子商务系统。数据即服务技术的引进，使得数据价值得以充分挖掘，降低了能源物资企业的IT运营成本，提升了社会效益和管理效益。

业务需求带动技术进步，技术进步推动业务创新。不局限于能源物资物流领域，数据即服务技术在其他工业与信息化融合领域也将有广泛的应用前景。

参考文献

[1] 王雷， 张祎. 基于大数据挖掘的国防交通建设研究[J]. 工业技术创新， 2018， 5（4）： 99-105.

[2] 戴新建. 基于大数据挖掘的广播电视客户价值分析[J]. 科技视界， 2019（34）： 229， 250.

[3] 王家海， 郝保伟. 基于深度学习的工业领域数据挖掘方法及应用[J]. 数字技术与应用， 2019， 37（11）： 52-53， 55.

[4] 杨红伟. 应用信息化和智能化提升智慧工程建设的项目管理[J]. 工业技术创新， 2019， 6（3）： 107-110.

[5] https：//wiki.mbalib.com/wiki/DaaS [EB/OL].

[6] 中国互联网协会. 中国互联网发展报告[R]. 2019.

[7] 谢静. DaaS帮助企业推进数字化转型[N]. 人民邮电， 2019-04-16（6）.