DataWorks:Origen de datos COS

Parámetro

Descripción

Obligatorio

Predeterminado

datasource

Nombre del origen de datos. Este valor debe coincidir con el nombre del origen de datos que creó en DataWorks.

Sí

Ninguna

fileFormat

Formato del archivo de origen. Formatos compatibles: csv, text, parquet y orc.

Sí

Ninguna

object

Ruta del archivo. Admite el comodín asterisco (*) y matrices de rutas.

Por ejemplo, para sincronizar a/b/1.csv y a/b/2.csv, establezca este parámetro en a/b/*.csv.

Sí

Ninguna

column

Lista de campos por leer. type especifica el tipo de dato de origen, index indica el número de columna basado en cero en el archivo de origen y value define una constante. El uso de value genera una columna con la constante especificada en lugar de leerla del archivo de origen.

Para leer todas las columnas como STRING, utilice la siguiente configuración.

"column": ["*"]

Para especificar columnas individuales:

"column":    
    {       
        "type": "long",       
        "index": 0 // Obtener un campo LONG de la primera columna del archivo de texto COS.
    },    
    {       
        "type": "string",       
        "value": "alibaba" // Generar un campo STRING con el valor constante "alibaba".
}

Sí

Todas las columnas se leen como tipo STRING.

fieldDelimiter

Separador de campos utilizado al leer datos. Debe especificar un separador; si se omite, se usa una coma (,) de forma predeterminada y se rellena automáticamente en la interfaz. Para caracteres invisibles, introduzca la codificación Unicode, por ejemplo: \u001b o \u007c.

Sí

,

lineDelimiter

Delimitador de línea. Este parámetro solo es válido cuando fileFormat se establece en text.

No

Ninguna

compress

Tipo de compresión. De forma predeterminada, no se aplica ninguna compresión. Tipos compatibles: gzip, bzip2 y zip.

No

Sin comprimir

encoding

Codificación de caracteres de los archivos de origen.

No

utf-8

nullFormat

Cadena en el archivo de origen que se interpretará como valor nulo. Por ejemplo:

• Si establece nullFormat en "null", la cadena "null" en los datos de origen se sincroniza en la tabla de destino como un valor NULL.

• Establezca nullFormat en "\u0001", que es un carácter invisible. Si un campo de origen es la cadena "\u0001", se trata como un campo nulo y se escribe en la tabla de destino.

• Si no especifica nullFormat, los datos de origen se escriben en el destino tal cual, sin conversión.

No

Ninguna

skipHeader

Para archivos CSV, especifica si se debe omitir la primera línea (la fila de encabezado).

• true: Se omite la primera línea del archivo.

• false: La primera línea del archivo se lee como un registro de datos.

No

false

parquetSchema

Esquema para leer archivos Parquet. Obligatorio solo cuando fileFormat se establece en parquet. El formato general es:

message MessageTypeName {
  required|optional DataType ColumnName;
  required|optional DataType ColumnName;
  ...;
}

Detalles del formato de parquetSchema:

• MessageTypeName: Nombre del tipo de mensaje.

• required u optional: required indica un campo no nulo, mientras que optional permite valores nulos. Se recomienda establecer todos los campos como optional.

• DataType: Los tipos de datos Parquet compatibles incluyen BOOLEAN, Int32, Int64, Int96, FLOAT, DOUBLE, BINARY (utilizar para tipos de cadena) y fixed_len_byte_array. Cada definición de campo debe terminar con punto y coma (;), incluido el último.

Ejemplo:

{"parquetSchema": "message UserProfile 
{ optional int32 minute_id; 
  optional int32 dsp_id; 
  optional int32 adx_pid; 
  optional int64 req; 
  optional int64 res; 
  optional int64 suc; 
  optional int64 imp; 
  optional double revenue; }"
}

No

Ninguna

csvReaderConfig

Parámetros avanzados para el lector CSV. Si no se especifican, se utilizan los valores predeterminados.

No

Ninguna