2023年，东亚银行（中国）与迪思杰合作建设大数据实时处理平台，满足实时数据分析需求，推动数字化转型。目前，建设项目的各项任务都在有条不紊地进行。

什么是实时数据处理平台？

实时数据处理平台是一种能对现场数据在其发生的实际时间内进行收集和处理的系统。这个过程包括数据从生成->实时采集->实时缓存存储->实时计算->实时落地->实时展示->实时分析的全过程。

为了确保数据的完整性和准确性，实时数据处理平台需要有高可靠性，即系统不能出现问题并且数据不能丢失。同时，为了提高处理效率，平台需要具备高性能和低延时的特性。    

一、实时同步功能

支持将Oracle、 MySQL、 SQL Server等数据库数据全量+增量， 实时数据导入到Kafka集群，同时保证数据的实时性和完整性。

数据同步具体功能要求如下：

- 数据同步：全量同步，实时增量同步，异构同步；

- 数据容灾：双活容灾，容灾增量切换；

- 数据转换：数据ETL，数据脱敏，数据过滤，数据加工；

- 数据对比：全量对比，增量差异对比，定时对比，异构比对；

- 采集内容：支持结构化，半结构化等数据采集；

- 采集要求：秒级延迟，加密采集，满足实时查询要求及实时数据共享。

二、二次开发功能

可提供面向未来实时应用场景，支持灵活配置的二次开发能力。

三、拓展性需求

元数据采集和数据安全性要求，满足数据ETL转换，确保数据安全。

一、平台建设

实时数据同步软件以及Flink实时流处理平台的安装、部署，形成东亚银行统一的实时采集、实时转换处理的流处理平台能力。

二、数据实时采集实施

根据应用场景的指标需求，实时采集业务数据库（如NDS,YIP）的数据，并按照标准格式加载到Kafka中，保证采集数据的完整性、准确性与实时性。

三、应用场景开发

针对对私、对公和零售业务场景需求，进行指标定义、模型设计、实时流处理任务开发、任务调度以及用户要求的其他数据开发工作。

四、维护与优化

系统维护；日常维护、软件升级；定制化维护；体系优化。

一、数据同步需求

满足异构场景下的全量、增量实时同步需求，整体延迟时间控制在秒级别。同时，在实时采集过程中，满足数据的清洗、转换、脱敏等功能。

二、业务场景需求

- 对私业务场景：存款类实时异动提醒、账户金额转出实时异动提醒、理财类实时异动提醒；

- 对公业务场景 ：各机构存款余额实时查询、各机构存款余额实时查询、特定客户实时存款查询、反洗钱业务功能、实时异动提醒、实时数据预测报表；

- 零售业务场景 ：实时异动提醒（出入账）、实时异动提醒（理财产品购买、赎回）。

- 迪思杰采用流批一体架构，充分利用流批一体的能力，重新设计离线指标计算逻辑，使其适用于实时流处理。

- 通过状态管理与容错机制的应用，保障系统在大规模数据和异常情况下的高效和可靠运行。

- 实时输出与反馈模块的调整，确保结果的即时传递和业务反馈。

- 配置全面的监控和调试机制，为系统的稳定运行提供保障。

迪思杰流批一体化平台是基于Hadoop生态圈的端到端的数据服务流水线，致力于为企业内部打造一个具备自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期开发管理平台的目标而诞生。

迪思杰流批一体化平台功能架构图

迪思杰流批一体化平台能够同时支持流式数据和批量数据处理，实时数据和历史数据处理，提供一致的API和开发模型，多种数据源和数据格式，可视化工具和监控，具有数据转换、聚合、过滤、连接等功能。

其可以满足数据传输、数据计算、数据治理、数据分享等的各类复杂组合应用场景，助力用户更加高效地进行数据分析和应用开发，提高数据处理效率，真正实现数据业务化、业务数据化。