BitSail

LocalFileSystem 连接器

LocalFileSystem 连接器

上级文档：连接器

BitSail LocalFileSystem 连接器可以从本地文件系统读取文件。其功能点主要包括：

  • 支持一次从单个文件（csv/json 内容类型）批量读取。

依赖引入

<dependency>
    <groupId>com.bytedance.bitsail</groupId>
    <artifactId>connector-localfilesystem</artifactId>
    <version>${revision}</version>
    <scope>provided</scope>
</dependency>

支持的数据类型

  • 支持的基础数据类型：
    • 整数类型：
      • tinyint
      • smallint
      • int
      • bigint
    • 浮点类型：
      • float
      • double
      • decimal
    • 时间类型：
      • timestamp
      • date
    • 字符类型：
      • string
      • varchar
      • char
    • 布尔类型：
      • boolean

主要参数

写连接器参数在job.reader中配置，实际使用时请注意路径前缀。例如：

{
  "job": {
    "reader": {
      "class": "com.bytedance.bitsail.connector.localfilesystem.source.LocalFileSystemSource",
      "file_path": "src/test/resources/data/csv/test.csv",
      "content_type": "csv",
      "columns": [
        {
          "name": "id",
          "type": "long"
        },
        {
          "name": "date",
          "type": "date"
        },
        {
          "name": "localdatetime_value",
          "type": "timestamp"
        },
        {
          "name": "last_name",
          "type": "string"
        },
        {
          "name": "bool_value",
          "type": "boolean"
        }
      ]
    }
  }
}

必需参数

参数名称是否必填参数枚举值参数含义
classyesLocalFileSystem读连接器类型， com.bytedance.bitsail.connector.localfilesystem.source.LocalFileSystemSource
file_pathyes读取本地文件的存储路径
content_typeyescsv / json指定解析的文件类型
columnsyes指定读取的字段名和字段类型

可选参数（all, csv 和 json 表示适用的内容类型）

参数名称是否必填参数枚举值参数含义
skip_first_line allnotrue / false是否跳过第一行
convert_error_column_as_null allnotrue / false是否将解析出错列视为空值列
csv_delimiter csvno指定两个字段之间的分隔符
csv_escape csvno指定任意转义字符
csv_quote csvno指定任意引号字符
csv_with_null_string csvno指定字符串作为空值字面量
csv_multi_delimiter_replace_char csvno指定一字符替换含超过一个字符的分隔符
case_insensitive jsonnotrue / false是否对大写或小写不敏感

相关文档

配置示例文档： LocalFileSystem 连接器示例