为满足行内各种数据交换需求，重庆银行引入迪思杰数据交换共享平台，以实现数据的实时同步和应用，提高数据处理的准确性与高效性。

项目背景与问题

数字化时代下，金融领域的数据分析和挖掘应用逐步由非实时模式向实时+非实时的混合模式转型，银行业管会、大数据、关联交易等系统均有实时数据应用的场景和需求。

重庆银行成立于1996年，是西部和长江上游地区成立最早的地方性国有股份制商业银行。2013年11月6日在港交所成功挂牌上市，成为全国城商行中首家在港交所主板成功上市的内地城商行。2021年2月5日，成功登陆上交所主板，成为西部首家“A+H”上市城商行。

近年来，重庆银行逐渐发展成为一个业务结构优、资产质量好、盈利能力强、发展潜力大的商业银行。

随着重庆银行的业务快速发展，其系统数量持续增长，系统之间数据交互批次愈发频繁复杂，对数据交换的规格规范、数据交换与共享的时效性、稳定性和可控性提出了更高的要求。

重庆银行原系统采用传统的ETL+Flume的模式进行每2分钟的准实时同步，未真正实现数据的实时同步和应用，且存在对源数据库压力较大，无法进行大量数据的同步、适用范围有限等问题，缺乏一个实时数据同步工具。

其各个下游分析系统的数据获取及交换均通过ETL实现，主要有数仓、大数据和ODS三套ETL系统。其中，数仓和ODS的ETL均采用DataStage工具实现数据的抽取和加载，架构较为陈旧，存在数据接口调整困难、大表同步时间过长，不支持大数据平台和MPP数据库等缺陷。大数据ETL采用perl脚本的方式进行开发，缺乏稳定的ETL开发工具和完整的接口运维管理界面。

以信贷系统的合同、借贷等大表为例，其整个ETL过程耗时约7小时（抽取耗时约2小时、加载耗时约5小时），效率不高，严重影响数仓、大数据等各个下游分析系统的数据及时性。

为了解决这些问题，重庆银行与迪思杰达成合作，通过DSG DataXone 数据库综合实时采集与共享交换平台，满足行内的各种数据交换需求，提高数据处理的准确性与高效性。

项目同步流向与部署

项目分为实时同步和定时调度同步两大块，DSG DataXone CDC模块负责实现库到库实时同步，DSG DataXone ETL模块负责实现库到文件、文件到库、文件到文件定时调度同步。

ETL定时同步中，数据同步包含Oracle、Gbase8a、DM、Hive、TDSQL、MySQL等数据库与文件以及文件与文件之间的相互数据流动。

CDC实时同步中，数据流向包括Oracle-Kafka、TDSQL-Kafka、Oracle-文件、MySQL-Kafka、DM-Kafka等，同步场景复杂，涉及数据库种类多。

定时同步基础架构

数据交换平台ETL定时同步基础架构图

定时同步架构说明

重庆银行定时调度同步，是由第三方平台moia调度平台完成，在moia平台中可以对作业设置定时任务。

- 通过moia平台提供的接口文档，调用moia平台接口，在搭建队列时，同时在moia平台中创建一个相对应的作业信息，以供moia平台调用。

- 提供对外调用DSG DataXone平台接口程序，moia在定时执行作业任务时，通过调用底层脚本执行DSG DataXone对外接口程序，从而实现对DSG DataXone搭建队列的启动、运行、停止等操作。

DSG DataXone部署架构

DSG DataXone部署架构图

部署架构说明

DSG DataXone平台部署在2台中间机，ETL采集、加载程序部署在4台中间服务器（一主3备），第三方TDSQL数据库进行原数据库部署，通过第三方moia平台资源判断随机定时调用4台中间机实现流程的高可用负载均衡，文件都通过NAS存储服务器进行读取和写入。

DSG DataXone CDC实时同步采用高可用模式，使用Manager程序，在服务器挂掉时，Manager检测到后，自动进行容灾切换，在备机中自动创建队列并启动继续同步数据。

为达到更好的建设效果，重庆银行也提出了相应的同步要求。经过实践与评估，DSG DataXone的性能指标很好的满足了重庆银行的采集要求，包括高速数据传输、多源异构数据支持、稳定的系统运行和强大的功能模块等。

同步要求

   ETL定时同步

- 超越原数仓DataStage平台ETL卸数速度（1G每分钟）；

- 满足行内现有数据库的采集与加载支持；

- 支持视图、复杂ETL语句自定义批量调用。

  CDC实时同步

- 未跑批时，CDC实时同步分析延迟不超过3s。

结束语

总的来说，DSG DataXone 为重庆银行提供了一种高效、稳定、实时的数据交换共享解决方案，将极大地提升重庆银行的数据处理能力和业务效率。

未来，迪思杰将持续专注技术创新，不断优化和升级产品与服务，以灵活、智能的解决方案满足企业数字化建设的需求。我们相信，通过持续的努力和创新，迪思杰将成为众多企业数字化转型道路上的最佳合作伙伴！

关于DSG DataXone

                                                                 可视化平台界面图

迪思杰数据库综合实时采集与共享交换平台（简称DataXone）是迪思杰自主研发的拥有自主知识产权的数据采集与共享交换平台，底层集成了自主研发的数据库同步模块、数据转换脱敏模块、文件同步模块、切换导航模块、差异比对模块等功能模块，可实现对多源异构数据库的高效实时同步，支持数据采集、共享、交换、复制、迁移、容灾切换等场景应用，兼容多达百种以上异构源端数据源和目标端，包含国内外数据库、大数据平台、上云、下云和云内各类数据交换共享，是企业集团数据交换的基础平台。

DSG DataXone集成高性能、高可用、多功能、多模式等特色，凭借超高的实时数据同步效率，多源异构的数据库支持能力，完善的数据脱敏技术、可视化的平台界面等特性，高效助力众多客户实现数据的融合与共享。