ORACLE 数据库的数据迁移研究

2023-07-21 11:16苏婷
计算机应用文摘·触控 2023年14期
关键词:数据库

摘 要 随着系统业务的不断扩展 系统产生的数据呈几何级增长 而数据是信息系统的核心 因此在数据迁移中 保障數据的安全性更是重中之重ORACLE 数据库是世界上主流的数据库之一 数据迁移的方法有多种 而如何在有限的系统停机时间内完成ORACLE 数据库的数据迁移工作 并保证数据的完整性和正确性 文章将结合实际案例进行探讨

关键词ORACLE 数据迁移 数据库

中图法分类号TP311  文献标识码A

随着信息技术的快速发展、各项业务的数字化办理,以及信息系统覆盖面不断增大,系统产生的业务数据也随之增长,这对服务器和存储设备提出了新的要求,这些要求通过对设备进行升级、扩容来实现,在升级改造过程中,数据迁移是必不可少的一项工作。而ORACLE 数据库是目前最流行的关系型数据库之一,有安全级别高、处理速度快、存储量大等优势,广泛应用于各个关键领域。ORACLE 数据库如何在数据迁移中实现数据的完整性、提高数据的安全性,本文将结合数据迁移的实际案例,分析数据迁移的动机、方法、风险等,并讨论其在实际中的应用。

1 数据迁移的动机

数据中心的搬迁:由于机构搬迁或者相关政策的因素影响,需要把数据中心搬迁或合并到新的地址,根据需求合理安排数据的存储空间,因此涉及数据的迁移和存储的整合。

旧的存储性能不足:随着信息系统的发展,现有的存储设备容量不足、机器老化等,已无法满足需求,甚至影响到系统的正常使用,数据迁移迫在眉睫。信息系统升级:当信息系统升级后,要将旧系统的数据迁移到新系统上,涉及旧系统数据的整理、抽取,按照新系统数据库表的逻辑结构关联对应并迁移。

2 数据迁移的方法

数据迁移一般分为物理迁移和逻辑迁移2 种。物理迁移指将整个数据库备份后再完全恢复,根据是否关闭数据库又将备份的方法分为冷备份和热备份。冷备份称为脱机备份,是在关闭数据库的环境下进行数据备份,优点是操作比较简单、方便归档;缺点是当数据量大时,该方法停机时间较长,会引起系统长时间无法使用。热备份也称为联机备份,适用于数据库不能停的情况,而数据是不断改变的,该方法也称为不一致备份。

逻辑迁移指将数据库的结构和数据导出到文件,再导入到目标数据库,其中Orecle 数据库主要迁移方法有Exp/ Imp 工具迁移数据、Expdp/ Impdp 工具迁移数据、利用data guard 迁移、用rman 做迁移等[1] 。自Oracle 软件推广应用以来,Exp/ Imp 工具就被作为备份迁移的配套工具,其操作简单,但导入导出慢、效率低、数据迁移时需要停机操作等,适合中小型数据库的数据迁移工作。

Expdp/ Impdp 工具一般被称为“数据泵”,针对Exp/ Imp 工具效率低的问题,其加强了数据的并行处理能力,并支持暂停和远端操作,大幅提高了数据迁移的效率,缺点是数据迁移时同样需要停机操作。

RMAN 能备份整个数据库或数据库部件,且支持DATABLOCK 方式导入,但只用于Oracle 8 或更高版本,且跨Oracle 版本的支持较差。

GoldenGate 是一种非插入性的基于日志的结构化数据复制软件,它通过解析源数据库的日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。其优点是不影响业务数据,可同步迁移,支持异构,且与EXP /EXPDP 结合使用效果良好,缺点是主机和存储都要双份,使用其软件会产生一定费用。

3 数据迁移的风险

数据迁移遇到最大的风险首先是数据丢失。例如,物理迁移中设备在搬迁过程中损坏,导致备份数据丢失等。

其次是数据完整性的问题。一方面是数据字段在源系统和目标系统的不一致,用户访问权限不足等问题,导致数据迁移到新设备后查找不到;另一方面是在数据迁移过程中短时间出现故障导致数据丢失,这需要迁移数据后进行数据校验的工作[2] 。

最后是长时间停机影响系统业务的办理。其风险来源于未能在计划时间内完成数据迁移,导致长时间停机,影响到业务的办理。所以迁移所需的时间和设备要适当做好冗余,才能在计划时间内顺利完成。数据迁移必然会存在一定的安全风险,因此搬迁方案的制定要谨慎,迁移策略要合理,迁移计划要有冗余,才能把风险降到最低。

4 数据迁移案例

4.1 当前现状

某单位管理和运维部门涉及全市数据的相关业务系统,其数据中心运行的系统众多、数据量大、业务增量大,存在较大的运维风险。目前业务系统存储已经出现了无法完整备份、空间不够随时需要扩容、镜像备份许可不足、数据库效率低下,前端反应慢等问题。当发生存储故障时,要进行空间紧急扩展,如果不尽快进行迁移、扩容、优化和运维保障,系统随时可能出现故障,后果极为严重。因此,该单位决定在数据中心搬迁的同时,进行数据的迁移、扩容等。

数据存储主要由2 台小型机和HDS 存储构成。每台小型机划分为2 个物理分区,除了上述设备还有Oracle 数据库,可用于档案查询、镜像备份、数据验证。HDS 存储阵列处于系统的核心位置,核心数据都存储在HDS 存储上。宏杉存储作为备用磁盘阵列使用。

4.2 迁移方案

借迁移的机会对整体系统进行优化。根据实际情况该方案选择使用GoldenGate 进行数据迁移。在新机房中,先利用现有的2 台IBM 小型机及新购的HDS 存储完成Oracle 数据库的配置,然后将所有数据同步到新机房的新数据库中。在新系统运行稳定后,停止旧系统,将旧HDS 存储搬迁到新机房中,与新HDS 构成双存储冗余配置。将宏杉存储和飞康CDP 作为同城异地的灾备系统使用,以提高数据的安全性。

(1)通过现行构建新业务系统基础平台,进行新旧系统的数据同步镜像,在此基础上进行各种业务测试和数据校验,可以将短期迁移和架构调整的风险降到最低,甚至完全消除。

(2)通过新旧2 台HDS 存储进行冗余配置和设置Oracle ASM 的冗余磁盘组,可以完全实现高效、安全和无缝切换的磁盘冗余,任何一个磁盘阵列崩溃,数据库可以自动漂移到另外一个阵列,客户端完全不受影响。相较而言,如果现有架构、HDS 磁盘阵列崩溃,宏杉存储接管,中间必然会有较长时间的切换过程,少则2 小时,多则数天。同时,2 台磁盘阵列相互镜像比数据在同一个阵列上备份更安全。

(3)将宏杉存储和飞康CDP 部署在灾备机房,能够实现同城灾备保护,从而进一步提升交易系统的安全性。

4.3 迁移实现过程

(1)首先购买1 台新的HDS 存储设备并将其部署于新机房中,将新的HDS 存储设备作为新系统的核心存储设备。

(2)将新购的2 台IBM 小型机搬迁到新机房中,并将其作为新系统的数据库服务器。2 台小型机都配置Oracle _闯抇_磼_L11g 数据库。每台小型机分2 个物理分区,两两组成RAC(A1 分区和B1 分区组成RAC,A2 分区和B2 分区组成RAC)。配置Oracle 数据库,设置DATABLOCK_SIZE 参数为8KB。按照业务规则创建相应的表空间,以存储不同时期的分区数据,提升查询效率。

(3)使用数据同步工具将旧业务系统数据库同步到新数据库中,并进行数据校验、业务验证。

(4)在完成相关测试的情况下,将业务系统切换到新机房和新系统,实现平滑过渡。新旧机房、系统切换时间不超过8 小时。

(5)运行一段时间(至少一个月)后,将旧机房内的HDS 存储下架、搬迁到新机房中,重新配置磁盘组,与后加入新系统数据库的ASM 实现在线ASM 磁盘组冗余配置。

(6)将现有的飞康CDP 镜像备份系统进行重新配置,并对新系统的HDS 磁盘阵列进行镜像备份。

(7)对备份功能和恢复功能进行测试,以确保各项功能正常。

(8)对新系统的数据库进行跟踪优化和日常运维管理,以减少故障点,提高运行效率。

5 ORACLE 数据库在数据迁移后的维护优化

5.1 检查数据库文件和进程运行情况

数据库内存储的文件状态是反映系统稳定性的主要指标,需要在日常维护阶段定期检查确定文件状态,判断文件是否异常。若出现问题,则管理员应及时上报并采取针对性技术进行阻止或化解,如迅速找寻攻击对象、备份数据。在日常检查中常见的异常情况包含“表空间不足”,因此有必要及时拓展表空间,恢复文件和数据[3] 。同时,需要及时检查数据库进程,对于规定时间内的数据处理任务,需检查其运行结果和工作进程,若未按时完成操作,则有必要查询异常原因。例如,Oracle 数据库运行中出现不同等级报错信息,应针对特定对象进行检查,为后续项目维护提供数据支持。

5.2 排查日志文件

系统日常维护阶段需要仔细排查日志文件,即警告日志,其中包含Oracle 数据库在实际运行阶段的多项问题。这些内容虽然不会在短期内对系统工作造成影响,但仍需要长期监测,不断更新优化文件,防止后续出现严重问题。例如,Oracle 数据库的运行阶段,其日志文件内会积攒部分警告文件,管理员可以定期查看alert_SID.log,其中会包含以下内容:Oracle 数据库的开闭时间记录、切换失败过程、数据文件扩充、创建表空间记录、系统报错(ORA?600 内部文件错误)。因此,管理员有必要定期检查日志文件,结合报错信息进行针对性优化。例如,开闭参数报错时,查找初始化参数的记录。如果报错原因是操作未完成、检查点提前归档等,需要重新形成日志文件,提升归档速率。此外,若非管理人员恶意删除表空间,管理员应及时查找操作ID,限制其操作权限,并重置密码。

5.3 对数据库系统进行性能检测

在日常维护工作中,需要对数据库的运行性能进行测试,以便找寻故障,提升系统的运行速率。在借助Statspack、AWR 报告开展系统分析工作时,可以得到对应的历史状态数据。此报告主要通过采集历史信息完成分析,具有一定的滞后性,需要针对服务器参数、数据库核心性能开展实时监测工作。

5.4 数据备份

数据库备份可以防止系统出现故障( 数据损毁、丢失),快速完成数据恢复,提升数据保护水平。数据库备份过程主要包含物理和逻辑2 种模式,其中物理备份的基本单元是磁盘块,借助该结果拷贝数据,通过物理模式恢复初始存储特征。物理备份划分为热备份和冷备份。逻辑备份主要单位是数据文件,能够生成数据映像,实现数据的逻辑恢复。常见的Oracle 数据库逻辑备份工具包含exp/ imp,expdp/ impdp 数据泵,可以灵活高效地进行数据恢复和备份。此外,在许多企业的Oracle 数据库备份工作中常常应用RMAN 软件,其具有较高的自动化数据管理能力。因此,在日常运维优化阶段,管理员需要将物理和逻辑备份方式充分結合,依托RMAN 工具,借助自动化脚本模式,定期备份控制文件、数据文件、参数文件、日志文件,并将备份数据存储到多个磁盘内,构建专业的磁盘存储环境,提升备份可行性。

5.5 处理数据库坏块

若在Oracle 数据库日常维护阶段遇到数据坏块,能够从警告日志文件中及时查找对应信息。不过若想精确判断其是否为坏块,管理员需要借助排除法开展工作,具体内容如下。首先,定位发生坏块问题的区域或对象,设置针对性的解决方式。其次,删除并重建表空间,查看数据库备份情况,借助备份文件恢复数据。若出现表空间内缺少数据的问题,则需要人工复制数据库初始记录,重新构建表空间。最后,标注坏块主体,将表中其他数据存储到另一种表内,删除故障表,生成对应索引。

5.6 优化数据库系统

在日常维护和数据库系统优化工作中,需要关注以下内容。第一,科学配置存储空间,提升内部空间、表空间的参数设置水平。第二,降低输出、输入次数,减少系统交互频率,降低CPU 的实际运行负担,优化Oracle 数据库系统性能,避免不必要的资源消耗。第三,科学设置环境参数,提高环境利用功率,加快等待程序运行,避免锁存器冲突。因此,有必要进行数据的分页处理、构建索引。在调用SQL 语句时,只显示特定字段,优化Oracle 数据库系统性能,在确保数据安全的基础上,提升系统性能。

6 结束语

不同的数据迁移方法有不同的特点,适用于不同的数据迁移需求。数据量小且可停机操作的业务系统,可采用Exp/ Imp 工具、Expdp/ Impdp 工具;若数据迁移需在不停机情况下进行, 则可优先使用GOLDENGATE 技术。数据中心的迁移是个系统性工程,因此要制定一个科学有效的数据迁移方案,才能保证数据的完整性和安全性。实践证明,选择一种相对切实可行的方案有利于提高数据迁移的速度和质量,进而提高其安全性和可靠性。

参考文献:

[1] 徐灵均.数据迁移技术及其应用[D].南京:南京理工大学,2013.

[2] 王刚,王冬,李文,等.大数据环境下的数据迁移技术研究[J].微型电脑应用,2013,30(5):1?3.

[3] 陆叶杉.系统数据迁移常见问题及案例分析[J].计算机科学,2019,46(S1):412?416.

作者简介:

苏婷(1987—),本科,工程师,研究方向:计算机科学与技术、数据库管理。

猜你喜欢
数据库
数据库
数据库
数据库
数据库
数据库
数据库