信创及X86多云平台数据整合技术在烟草信息化中的应用探究

高炜　周鑫

摘  要：烟草信息化建设一直都有一个难以突破的点，那就是信息资源共享，如今信创及X86多云平台为这一难点的突破提供了机会，云平台是信息资源共享的一大渠道，烟草公司各部门都可以在这一平台上进行资源分享与获取，这样可以有效打破资源隔阂，提高烟草信息管理效能，倘若信创及X86多云平台可以广泛的应用到烟草行业当中，那么烟草行业就可以实现数据共享，一个公司当中从生产到销售的各个管理数据都可以明确的展示出来，也可以通过信创及X86多云平台进行数据分析，如此一来，烟草公司面对烟草生产与销售决策可以得到充分的现实数据支持，有利于烟草公司的科学管理，从而推动烟草行业各公司实现共收共赢。

關键词：信创云平台;X86多云平台;数据整合技术;烟草信息化;应用探究;时间戳;数据抽象层应用

一、引言

我国经济飞速发展，这使信息化技术也水涨船高，相关的科技水平不断进步，直接推动了各种行业之中的信息化技术朝着十分喜人的方向发展，为了进一步推进烟草行业信息化的进程，使得烟草行业管理模式更适合二十一世纪的发展需求，特别提出烟草行业运用云平台进行数据整合。这是由于当今信创及X86多云平台发展非常迅速，提供基于“云”的服务，供开发者创建应用时采用。顾名思义，信创及X86多云平台允许开发者们或是将写好的程序放在“云”里运行，或是使用“云”里提供的服务，或二者皆是。而现在许多烟草行业经过几年的信息化建设，已经基本实现烟草行业的信息化应用，但是由于烟草行业这一行业特殊性，各个部门在正常工作当中，由于烟草生产链、业务对接和其他相关业务处理，导致烟草公司系统当中存在许多积累数据，这些数据主要有两种，第一种是生产数据，第二种是管理数据，无论是哪种数据由于存在量巨大而且纷繁复杂，导致数据分析工作虽然可以按部分顺利完成，但是缺少对于整个烟草公司的分析。导致这一现象发生有多种因素：第一种因素就是最初为了快速推进信息化建设，所以在初始建设阶段，只求速度，没有考虑之后发展，缺乏统一的规划与设计，第二种因素就是烟草公司虽然信息化建设并不落后，但是由于存在多个系统，系统与系统之间信息共享能力差，导致存在信息孤岛问题，许多有价值的原始烟草信息资料由于以上原因无法被整合利用，许多可以进行清理的原始烟草信息资料，也由于以上原因无法得到彻底清理，进一步加重了烟草信息系统的负担，为了解决这一问题，可以将信创及X86多云平台引入到烟草公司工作系统之中，不仅可以解决以上问题，还可以帮助烟草公司更便捷的查询与统计全辖区生产数据，进一步辅助烟草公司进行宏观决策。

二、数据整合存在的问题

相对其他行业，烟草行业信息化程度较高，但是数据整合问题还有几方面叩待解决，可以大概概括为五点：

第一点是跨系统的数据共享问题。烟草公司由于业务需要一般都会拥有多个系统，但是系统之间的数据如果无法顺利共享的话，那么会给烟草公司数据资源的整理与分析，带来很大的弊端目前继续解决就是不同系统之间数据逻辑如何形成正确性校验，如何更好的在不同系统之间对于数据进行监控。

第二点是不同软件重复采集相同数据。烟草公司由于业务需要，往往会开设多个相应软件，但是应用软件的用户可能存在重复问题，于是对于用户信息的采集经常会出现重复现象，对于烟草业务的记录，也会出现重复记录的情况，不仅如此对于信息的采集，还会出现一致性差的问题。

第三点是用户查询实时数据困难。一般烟草用户在烟草公司的软件或者系统上无法直接查询实时系统，而且无法得到需要查询的数据全貌，这给烟草销售业务带来了很大的影响。

第四点是烟草公司进行决策时缺少系统分析支撑。因为目前许多烟草公司都没有建设综合管理系统，这一系统的作用就是辅助决策，可以对烟草公司的许多数据资源进行综合分析，从而得出结果支持公司决策。

第五点是数据聚合困难。因为烟草行业的公司由于业务需要通常会应用多个系统，但是系统之间由于体系和架构不同，相互之间存在隔阂，而且物理设计上也有阻碍系统共享的设计，因此往往会存在数据聚合实现困难的问题。

面对以上五点问题，烟草行业在急需一个解决办法，最好是有一个平台帮助烟草行业各系统之间的数据进行统一的处理与分析，另外，烟草公司也由于存在许多系统导致共享信息资源性能较差，许多有效数据难以利用，海量数据无法清理、整合与汇总。与此同时，信创及X86多云平台拥有较为先进的数据整合技术，可以帮助烟草公司分析利用已有的海量数据，将不同系统之中的数据进行筛选与整理，虽然许多应用系统都是面对不同业务进行特殊建造的，因此许多管理系统和数据结构与代码都存在差异，但是信创及X86多云平台数据整合技术可以将这些差异进行简化，从而高效的利用已有数据资源，综合分析，从而辅助公司进行决策，也便于烟草公司对数据资源的统一管理。

三、数据整合技术中的数据抽取研究

烟草公司由于存在许多系统，所以数据整合当中对于数据抽取技术要求是非常重要的，为了更好的实现数据抽取，从而更好的利用数据资源，一般来说会采用仿照数据仓库建设的步骤进行数据抽取与利用，首先将目标系统当中的数据进行抽取，其次，对于抽取的数据进行再次清洗，最后得到的数据，结果就是可以直接利用的数据。一般要实现这两个步骤需要应用ETL工具进行操作，在这一过程当中，面对不同的系统、不同的数据来源都要依照相同的操作标准进行抽取、清洗与转换操作。同时还要注意的一点就是对于数据的增量抽取。也是非常重要的，因为一般来说，烟草公司的数据信息量是非常巨大的，面对如此多的数据量，常见的很多数据库信都是无法完成数据处理的，创及X86多云平台为了解决这一问题特意提出了三种应对方式：

第一种应对方式是对于数据增量的抽取无论是哪个系统、哪个来源都采用基于时间戳抽取的方式。

第二种应对方式是对于数据增量文件进行扫描，在这一过程当中可以建设关于关系数据库的归档日志。

第三種应对方式就是在数据增量的处理前后对于映象进行对比操作。

当然以上几种方法各有利弊，创及X86多云平台在实际应用过程之中，主要考虑的是基于时间戳的数据增量抽取，想要实现基于时间戳的数据增量抽取，那么在数据处理之前就应当保证以下四点不会影响数据抽取：

第一点影响因素是增量抽取的标识唯一性，如果抽取数据增量过程之中有多个标识，那么对于数据抽取来说是混乱的抽取方式，为了避免这种问题的产生，只将时间属性作为抽取唯一标识。

第二点影响因素是索引字段，索引字段可以有效避免遭遇性能瓶颈，抽取过程中，我们也尽可能的对于大事务从大化小的处理，然后对于数据总量进行抽取。

第三点影响因素是数据库和数据仓库的连接，为了顺利的将抽取到的哟数据进行存储，应当在抽取之前建立好数据仓库进行数据存储，而且应当采取直接的连接方式，以免在数据储存过程中产生误差。

第四点影响因素就是尽力减少对于数据的操作处理，因为一般原始数据是最能反映烟草公司业务情况的数据，如果对于抽取到点数据进行多次的转换和清洗动作，那么难免会产生误差。

四、云原生

（一）云原生存储

云原生存储在数据、控制双平面提升存储使用效率与安全性。云原生存储是指通过整合多种云存储形态，完整匹配 Kubernetes 环境下的存储声明机制，提升存储的质量、稳定性及安全等能力，以满足不同应用场景下的存储使用需求的新型存储解决方案。当前主要有两种方式来构建云原生存储能力：

一是对已有存储系统的对接改造。这种构建方法适用于已经具备可用存储系统的公有云或私有云环境，通过标准的CSI接口来对接各类存储，通过完善声明式接口和增强原有存储系统能力（扩展性、性能、安全性、稳定性等）来构建云原生存储系统。这种构建方式可以复用云计算基础设施，无需重复发明轮子。二是面向云原生场景设计全新的存储系统，云原生存储系统通常基于具体平台存储层（块或者文件）再构建一层分布式存储层，屏蔽了不同平台的存储层差异，提高了应用部署的灵活性，使存储系统可以像云原生应用一样能被部署到任意平台上。

烟草行业公司由于业务需要，往往存在许多应用，应用与应用之间如果要实现通信信息集成那么就需要中间连接器，可以在创及X86多云平台之中的消息中间件平台身上连接连接器，这样做的目的是将税务内部不同系统进行连接。如果要实现在不同企业之间的税务部门连接，那么就应当增加B2Bi建立连接，B2Bi是应用在不同企业之间特殊的连接器，可以有效的建立企业间联系，也可以在同一企业内，不同部门间建立上下级联系，同时在消息传输过程中，数据几乎零误差，可以有效避免因为数据传输问题带来的数据损耗或者误差缺陷，避免数据丢失。同时创及X86多云平台的连接器也可以保证应用之间同步通信，没有延时误差，传输效率高，应用间异步通信也可以得到很好的保障，系统之间的耦合度弱，可以支持并发数据的良好传输，数据一致性和完整性不会被破坏。最后应用层之间的通信集成还可以支持集群服务，系统容错性能好，负载均衡不会产生偏差。

（二）云原生服务器

云原生服务器是指基于专用硬件、芯片，利用软硬融合虚拟化等技术将负载或任务转移，提升资源使用效率、用户体验和整体性能的新型服务器。云原生服务器采用软硬一体的硬件卸载和加速技术，通过专用的硬件，将原来在物理机上运行的网络、磁盘、管控等负载，完全下沉到定制的硬件上，物理服务器上的资源可以被最大程度的释放出来，从而提升资源的使用效率，降低成本。同时，通过使用 ASIC或者 FPGA 等专用芯片来处理存储、网络等任务，可以使用较低的成本将性能提升数倍甚至一两个数量级。此外，软硬融合的虚拟化技术能够支持裸金属形态的计算产品，使其同时具备虚拟机的使用体验和物理机的强大性能。

云原生服务器不仅具有虚拟机的灵活性和弹性，同时具备物理机的一切特性和优势，因此也具备再次虚拟化的能力，而不用担心嵌套虚拟化带来的性能开销。

（三）云原生技术架构

云原生技术架构目前看来是较为先进的技术加购形式，有如下特点：

（1）服务自制与故障自愈能力：云平台的服务形式如果全部依靠工作人员维护的话是非常庞大的一个工作量，为此实现服务自制即是云原生技术的一个技术提升，另外又是减轻维护与运行人员的有效革新。

（2）极致的弹性能力：不同于虚拟机分钟级的弹性响应，以容器技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应。

（3）大规模可复制能力：可实现跨区域、跨平台甚至跨服务商的规模化复制部署能力。

五、烟草行业应用云原生未来发展趋势

（一） 应用服务 Serverless 化，更加聚焦业务的核心价值

作为云原生技术未来的演进方向，无服务器架构技术（Serverless）也从观望逐渐落地，据Gartner 的过往预测数据显示到2020年全球将有20%的企业部署无服务器架构。Serverless 将进一步释放云计算的能力，将安全、可靠、可伸缩等需求交由基础设施实现，使用户仅需关注业务逻辑而无需关注具体部署和运行极大地提高应用开发效率。同时这个方式促进了社会分工协作，云商可以进一步通过规模化、集约化实现计算成本大幅优化。

（二） 从资源云化到业务云化，最终趋于全面云原生化

企业上云的初期阶段是把现有 IT 系统搬迁到云上，更多在虚拟化层面的改造工作，随着云计算生态的蓬勃发展，原有的应用架构陈日，在扩展性、适配性、弹性伸缩、资源调度、开发运维等方面与云计算架构的优势不四配，无法真正发挥云的价值。云原生技术通过标准化资源，轻量化弹性调度等特征，应用场景较为广泛，随着技术和生态不断成熟和完善，有效缓解企业上云顾虑，拉动全行业的上云程度。

六、结语

通过创及X86多云平台可以有效完成我国烟草信息系统数据整合问题，无论是客观影响还是建设规划造成的数据共享困难，专网系统过强，烟草公司横行系统薄弱都可以得到有效的解决，烟草公司专网之间数据隔阂现象将会被打破，我国烟草行业应用创及X86多云平台将会在数据处理与决策方面得到更进一步的发展，决策结构将会变得更加科学化，动力结构将会变得更加生动化，信息结构将会变得更加严谨化，共同协作可以促进烟草行业信息管理的统一化，这样做不仅可以提高烟草公司近期局部效益，而且从烟草行业信息化发展的整体来看，使用创及X86多云平台可以促进烟草行业长远发展。

参考文献：

[1] 苑志刚.空间信息大数据管理及其可视化技术在地下管线管理平台中的应用[J].价值工程，2020：245-246.

[2] 黄彬.大数据技术在计算机网络信息管理中的应用研究[J].卫星电视与宽带多媒体，2020：77-78.

[3] 叶峰，张一扬.质量管理信息化平台在再造烟叶行业的应用研究[J].中国管理信息化，2020：86-91.

[4] 尹鹏程，凌海峰，李淑贞，陈新伟，马艾平.时空信息云平台技术在国土资源信息化中的应用探讨[J].国土资源信息化，2017

[5] 尹鹏程，凌海峰，李淑贞，陈新伟，马艾平.时空信息云平台技术在国土资源信息化中的应用探讨[J].国土资源信息化，2017