DataWorks:Origen de datos TOS

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

Nombre del origen de datos. El modo script admite agregar orígenes de datos. El valor de este parámetro debe coincidir con el nombre del origen de datos agregado.

Sí

Ninguna

fileFormat

Tipo de archivo de origen. Tipos compatibles: csv, text, parquet, orc, json y jsonl.

Sí

Ninguna

object

Ruta del archivo. Este parámetro se utiliza cuando fileFormat se establece en csv, text, json o jsonl. Admite el comodín * y se configura como una matriz.

Por ejemplo, para sincronizar los dos archivos a/b/1.csv y a/b/2.csv, configure a/b/*.csv.

Sí

Obligatorio cuando fileFormat se establece en csv, text, json o jsonl.

Ninguna

column

Lista de columnas que se van a leer. type especifica el tipo de dato de origen:

• Formato CSV/TEXT: index indica de qué columna del texto proviene la columna actual (comenzando desde 0) y value define un valor constante.

• Formato JSON/JSONL: utilice jsonPath para definir una expresión JSONPath que extraiga campos, mientras que value define un valor constante.

• De forma predeterminada, todos los datos se leen como tipo String. La configuración es la siguiente.

  column": ["*"]

• Especifique la información de la columna de la siguiente manera.

  // CSV/TEXT format
  "column":    
      {       
          "type": "long",       
          "index": 0 //Get the int field from the first column of the TOS text.
      },    
      {       
          "type": "string",       
          "value": "alibaba" //Generate the string field 'alibaba' internally from TOS as the current field.    
  }

  // JSON/JSONL format
  "column":    
      {       
          "name": "id",       
          "jsonPath": "$.id",       
          "type": "LONG"
      },    
      {       
          "name": "name",       
          "jsonPath": "$.user.name",       
          "type": "STRING"
      },    
      {       
          "name": "source",       
          "value": "tos",       
          "type": "STRING"    
  }

Sí

Todo se lee como STRING.

fieldDelimiter

Delimitador de campos para la lectura.

Sí

,

lineDelimiter

Delimitador de filas para la lectura.

No

Ninguna

compress

Tipo de compresión de texto. De forma predeterminada está vacío (sin compresión). Tipos de compresión compatibles: gzip, bzip2 y zip.

No

No compression

encoding

Codificación utilizada para leer el archivo.

No

utf-8

nullFormat

Los archivos de texto no definen null (puntero nulo) mediante una cadena estándar. El sistema de sincronización de datos proporciona nullFormat para definir qué cadenas se tratan como null. Por ejemplo:

• Si establece nullFormat:"null", equivale a un "carácter visible". Si los datos de origen son null, la sincronización de datos los trata como un campo nulo.

• Si establece nullFormat:"\u0001", equivale a un "carácter invisible". Si los datos de origen son la cadena "\u0001", la sincronización de datos los trata como un campo nulo.

• Si no se especifica "nullFormat", equivale a "no configurado". Esto significa que los datos de origen se escriben en el destino tal cual, sin conversión.

No

Ninguna

skipHeader

En archivos CSV, utilice skipHeader para controlar si se lee el encabezado.

• True: lee el encabezado al sincronizar el origen de datos.

• False: no lee el encabezado al sincronizar el origen de datos.

No

false

parquetSchema

Configure este parámetro cuando lea TOS en formato de archivo Parquet. Solo surte efecto cuando fileFormat es parquet y describe el tipo de almacenamiento de los datos Parquet. Asegúrese de que toda la configuración cumpla con la sintaxis JSON después de completar parquetSchema.

message MessageTypeName {
required or optional, data type, column name;
......................;
}

• El formato de parquetSchema se describe a continuación:

  • Nombre de MessageType: introduzca un nombre.

  • Requerido o no: required indica que no acepta valores nulos y optional indica que sí los acepta. Se recomienda establecer todo como optional.

  • Tipo de dato: los archivos Parquet admiten BOOLEAN, Int32, Int64, Int96, FLOAT, DOUBLE, BINARY (utilice BINARY para el tipo string) y fixed_len_byte_array.

  • Cada línea de columna debe terminar con un punto y coma, incluida la última línea.

• Ejemplo de configuración:

  "parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

No

Ninguna

csvReaderConfig

Parámetros de configuración para leer archivos CSV, definidos como tipo Map. La lectura de archivos CSV utiliza csvReader. Si no se configuran, se usan los valores predeterminados.

No

Ninguna