hero

一款基于分布式架构的高性能数据集成引擎,支持多种异构数据源间的数据同步,目前服务于抖音、今日头条等业务线,每日同步百万亿级数据。

快速开始开源仓库

异构数据源同步

支持多种异构数据源间高性能、高可靠的海量数据同步,并支持不同数据源类型之间的转换

湖仓一体

支持流批一体、湖仓一体架构,用一套框架覆盖几乎所有数据同步场景

分布式架构

基于Hadoop生态,支持分布式水平扩展,通过一套架构解决批式、流式、增量场景下的数据同步

DDL自动同步

支持上下游数据源之间灵活的表结构同步,包括表创建和列级别的增、删、改

脏数据收集

支持脏数据收集展示,并支持扩展脏数据存储方式

高效开发

独立于引擎的读写接口,开发成本低