BitSail

SelectDB 连接器

SelectDB 连接器

上级文档: connectors

SelectDB连接器支持批式往SelectDB云数仓写数据，并提供灵活地写入请求构建。

依赖引入


<dependency>
    <groupId>com.bytedance.bitsail</groupId>
    <artifactId>bitsail-connector-selectdb</artifactId>
    <version>${revision}</version>
</dependency>

SelectDB写入

支持的数据类型

Selectdb 写连接器使用json或者csv格式传输数据，支持的数据类型有:

  • CHAR
  • VARCHAR
  • TEXT
  • BOOLEAN
  • BINARY
  • VARBINARY
  • DECIMAL
  • DECIMALV2
  • INT
  • TINYINT
  • SMALLINT
  • INTEGER
  • INTERVAL_YEAR_MONTH
  • INTERVAL_DAY_TIME
  • BIGINT
  • LARGEINT
  • FLOAT
  • DOUBLE
  • DATE
  • DATETIME

主要参数

写连接器参数在job.writer中配置，实际使用时请注意路径前缀。示例:

{
  "job": {
    "writer": {
      "class": "com.bytedance.bitsail.connector.selectdb.sink.SelectdbSink",
      "cluster_name": "test_cluster",
      "table_identifier": "test_db.test_select_table"
    }
  }
}

必需参数

参数名称是否必填参数含义
class是Selectdb写连接器类型, com.bytedance.bitsail.connector.selectdb.sink.SelectdbSink
load_url是Selectdb上传数据的HTTP URL
jdbc_url是JDBC连接Selectdb的地址
cluster_name是Selectdb cluster 的名称
user是Selectdb账户
password是Selectdb密码
table_identifier是要写入Selectdb的库表，例如：test_db.test_select_table

可选参数

参数名称是否必填参数枚举值参数含义
writer_parallelism_num否指定Selectdb写并发
sink_flush_interval_ms否Upsert模式下的flush间隔, 默认5000 ms
sink_max_retries否写入的最大重试次数，默认3
sink_buffer_size否写入buffer最大值，默认 1048576 bytes (1MB)
sink_buffer_count否初始化 buffer 的数量，默认为3
sink_enable_delete否是否支持delete事件同步
sink_write_mode否目前仅支持BATCH_UPSERT写入模式
stream_load_properties否追加在streamload url后的参数，map<string,string>格式
load_contend_type否csv
json		copy-into使用的格式，默认json
csv_field_delimiter否csv格式的行内分隔符, 默认逗号 ","
csv_line_delimiter否csv格式的行间分隔符, 默认 "\n"

相关文档

配置示例文档: selectdb-connector-example

SelectDB Cloud: selectdbopen in new window