在数字化转型的浪潮中，信创国产化已成为金融行业的一大趋势。近日，迪思杰公司凭借自身在数据迁移领域的深厚技术积累和丰富经验，成功助力上海某股份制银行完成其某分布式核心系统的数据迁移，并于2024年9月21日顺利投产，为该银行的数字化转型注入了新的活力。

1. 数据迁移挑战

- 大量数据迁移: 需要迁移的数据量超过10TB，且源端和目标端的表索引不一致，升级过程中需要反复多次迁移；

- 频繁的批处理操作: 源端每天都有大量的批处理任务，这可能导致数据传输延迟；

- 割接时间限制: 业务允许的停机时间有限，因此必须最小化数据迁移和割接对业务的影响；

2. 性能与资源限制

- 现网主机性能受限: XCMP和数据同步部署在同一台主机和磁盘上，导致比对数据时对同步性能产生较大影响；

- 增量数据量大: 实时增量比对不可行，因为增量数据量大，抽取数据已经非常耗时，加上比对，将更是如此；

3. 数据一致性问题

- 数据不一致: 由于源端行迁移频繁，部分未收录的格式可能导致合成失败，进而造成数据不一致；

- 高数据质量要求: 差异数据的修复难度大，且数据一致性的要求非常高，需要进行详细的数据比对校验；

4. 管理复杂性

- 队列管理困难: 为了同步和比对，共搭建了20条队列，并且分布在两台机器上，管理起来相当复杂。

- 高效同步技术：DSG SuperSync能够实现实时数据同步，面对30T的海量数据，也能将延迟控制在5秒以内；

- 智能数据比对：通过小表全量比对、中表近两天数据比对、大表采用hash比对的方式，极大地提高了数据比对的效率和准确性；

- 优化措施：迪思杰的技术团队针对项目中出现的各种问题，快速响应并实施了有效的优化措施，确保了项目的顺利进行。