一款基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,目前服务于抖音、今日头条等业务线,每日同步百万亿级数据。
快速开始开源仓库
支持多种异构数据源间高性能、高可靠的海量数据同步,并支持不同数据源类型之间的转换
支持流批一体、湖仓一体架构,用一套框架覆盖几乎所有数据同步场景
基于Hadoop生态,支持分布式水平扩展,通过一套架构解决批式、流式、增量场景下的数据同步
支持上下游数据源之间灵活的表结构同步,包括表创建和列级别的增、删、改
支持脏数据收集展示,并支持扩展脏数据存储方式
独立于引擎的读写接口,开发成本低