BitSail

RocketMQ 连接器

RocketMQ 连接器

上级文档：连接器

BitSail RocketMQ 连接器支持写指定的 RocketMQ topic。

依赖引入

<dependency>
   <groupId>com.bytedance.bitsail</groupId>
   <artifactId>bitsail-connector-rocketmq</artifactId>
   <version>${revision}</version>
</dependency>

RocketMQ写入

支持数据类型

  • int, bigint
  • float, double, decimal
  • timestamp, date
  • string, char
  • boolean
  • binary

主要参数

写连接器参数在job.writer中配置，实际使用时请注意路径前缀。示例:

{
  "job": {
    "writer": {
      "class": "com.bytedance.bitsail.connector.legacy.rocketmq.sink.RocketMQOutputFormat",
      "name_server_address": "127.0.0.1:9876",
      "producer_group": "test_producer_group",
      "topic": "test_topic"
    }
  }
}

必需参数

参数名称是否必填参数枚举值参数含义
class是RocketMQ写连接器类型, com.bytedance.bitsail.connector.legacy.rocketmq.sink.RocketMQOutputFormat
name_server_address是RocketMQ的name server地址
topic是要写入的topic
columns是指定写入的字段名和字段类型

可选参数

参数名称是否必填参数枚举值参数含义
writer_parallelism_num否指定RocketMQ写并发
producer_group否任务的生产组。若不指定，则为一随机字符串
tag否生产消息的tag
enable_batch_flush否是否开启batch发送。默认 true
batch_size否Batch发送的数量，默认100
log_failures_only否当send出错时:
1. true: 仅日志打印错误
2. false: 抛出异常
默认 false
enable_sync_send否是否使用同步发送。默认 false
access_key否用于鉴权的Access key
secret_key否用于鉴权的Secret key
send_failure_retry_times否最大失败重试次数, 默认 3
send_message_timeout_ms否消息发送的最大超时, 默认 3000 ms
max_message_size_bytes否最大消息体积, 默认 4194304 bytes
key否指定column中的一个或几个字段作为消息的key
partition_fields否指定column中的一个或几个字段用于选择消息发送到的queue

相关文档

配置示例文档：RocketMQ 连接器示例