新闻动态-DSG动态
全球领先的数据管理软件、应用开发统一提供商,致力于为企业级的大型数据中心提供解决方案。
Oracle到OceanBase:迪思杰助力河北移动CRM系统迈向国产化替代
发布时间:2023.12.11

近日,迪思杰公司利用自身丰富的经验和技术实力,采用双向回流策略,成功助力河北移动完成了Oracle到OceanBase的数据库迁移,实现了国产化替代,并保障了数据的一致性和安全性。


01


项目背景及情况说明



近年来,随着国内数据库技术的不断发展,更多的企业开始关注国产数据库的应用。河北移动作为国内领先的通信运营商,积极推进CRM系统的国产化替换。


河北移动原有的营业F库基于Oracle 19C数据库,数据量约为15T,每日增量数据约300G。为从根本上确保企业数据安全,实现核心技术自主可控,河北移动决定将营业F库迁移到国产的OceanBase数据库上。项目中,迪思杰公司作为移动运营商资深合作伙伴,负责实现此次数据的迁移。


现场情况说明

- 源端Oracle 19C数据库采用西文字符集,目标端OceanBase 数据库采用utf8字符集

- 源端通过ADG同步,同步/比对程序均部署在中间机

- 正向迁移链路20条,备用链路7条,根据分区表、HOT表、LOB表、乱码表以及需要手动改造的表和pkuk_uidx_flag进行拆分;

定期比对正向实时迁移链路全量数据一致性。


同步要求

同步16410张表,有pkuk表8033张,无pkuk表8377张,项目要求在4小时内完成全量同步,过程中产生的增量数据要求半小时内追平;

- 通过ADG停机校验,要求2小时内完成全库内容稽核;

- 白天正常业务期间延时在0-5s之间;晚上跑批持续时间1.5-3小时左右,DML操作量/小时约1亿,每小时延时不超过10min


迁移特点

Oracle端存在大量无pkuk

- 支持河北移动营业库独特的西欧字符集(GB18030)转码到utf8,保证数据质量;

- 将无法转换的乱码通过日志输出,协助业务进行乱码数据改造。


02


项目部署架构



项目架构图


项目采用双向回流方案,中间机部署模式。迪思杰自主研发的国产大型数据库高性能复制工具DSG SuperSync负责链路的搭建,实现Oracle 19c到 OceanBase 数据库的全量+增量数据迁移,OceanBase到Oracle 19c数据库的增量数据迁移。完成国产化替代的同时,保障回流链路,以应对突发情况下业务回切的可能性。

 

为了保障数据的一致性,项目还采用了DSG XCMP数据比对平台,实现少有的Oracle 19c西文字符集(WE8ISO8859P1)数据比对,跨字符集比对,多种数据类型数据比对等,确保数据的有效性和完整性。


03


项目性能及难点



此次项目,数据量大,数据类型复杂,数据一致性、可用性要求高。整个项目,迪思杰团队做出了巨大努力,克服了各种挑战,最终圆满完成了此次国产化替代项目。


性能指标

- 割接当晚,核心系统表600+稽核,两百亿条数据内容比对耗时50分钟

- 并发sort,单表数亿条,2045s内容比对;

- 全库10000+表,涉及1T+lob数据,四百亿+条数据内容比对2H

 

项目难点及创新

- 解决OB无rowid数据类型,Oracle的rowid无法插入到urowid中问题;

- 自动修正源端Oracle存储日期负值;

- 源端导出大量空表时,速度过慢,修改配置后, 导出近万张表, 用时三分钟;

- 保证数据唯一性, 简化数据校验配置;

- 比对数亿条的单表,提升排序效率。


04


结语



迪思杰公司在河北移动CRM系统国产化替换项目中,充分发挥了自身在数据库迁移方面的技术优势,为河北移动提供了一个高效、稳定、安全的迁移方案。


这一项目的成功实施不仅提升了河北移动CRM系统的自主可控性,降低了运维成本,同时也为国内其他企业提供了一个成功的国产数据库迁移案例。未来,迪思杰公司将继续为客户提供高效、稳定的数据库解决方案,为推动数据库的国产化替代做出积极贡献!


热门动态
警告弹窗