金融业数据湖仓开源技术应用交流沙龙会分享——中国建设银行

human

2022年9月30日，北京金融科技产业联盟开源专业委员会成功举办“金融业数据湖仓开源技术应用交流沙龙会”。建信金融科技公司架构师张永育分享了中国建设银行湖仓建设演进历程及在湖仓一体技术上的探索与实践。

中国建设银行一直走在数字化转型前沿，数据仓库和数据湖作为全行重要的数据底座，经历了Teradata、Greenplum、云化MPP、Hive、Hudi等技术的演进，从商业技术栈到拥抱开源，形成了中国建设银行特色的湖仓技术体系。

不同于大多数基于Hadoop体系的湖仓建设，中国建设银行根据自身数据仓库基于云化MPP建设的实际情况，为避免湖、仓数据出现冗余、“先搬迁、再使用”导致的一致性、时效性问题，通过一体化架构设计、一体化湖仓直访、一体化数据视图、一体化资产管理，保证湖数据的完整性，提高特定场景的数据时效性，及保证仓数据的准确性、一致性与全行数据资产的同一个管控。

从Hadoop生态+云化MPP的湖仓混合式架构走向湖仓一体的融合式架构，中国建设银行的湖仓数据架构具备五大特点：

一是数据采集支持行内外多源异构数据的实时采集和批量采集；二是数据湖云化数仓同时支持数据的批计算和流计算；三是湖仓一体打通了数仓和数据湖，将数仓和数据湖的计算能力管理能力融合起来，底层支持多种数据类型并存，支持数据间的共享；四是数据湖云化数仓的数据通过数据服务的方式对外提供使用，实现数据服务统一管理；五是支持数据可视化、即席查询等多种数据应用模式。

中国建设银行湖仓技术的升级及大规模资源云化，为业务提供更为丰富的数据处理模式与资源供给，后续还将探索AI技术融合，提升数据线技术架构，不断以新技术驱动金融场景的创新，释放更高数据价值。