DataWorks:OSS

Compatible

No compatible

• Admite archivos TXT, los cuales deben tener un esquema de tabla bidimensional.

• Admite archivos similares a CSV con un delimitador personalizado.

  Nota

  Los formatos de texto (TXT y CSV) son compatibles con la compresión gzip, bzip2 y zip.

  No es posible empaquetar varios archivos en un solo archivo comprimido.

• Admite archivos en formatos ORC, Parquet, JSON y JSONL.

• Admite la lectura de diversos tipos de datos (representados como STRING), la eliminación de columnas y las constantes de columna.

• Admite lecturas recursivas y el filtrado por nombre de objeto.

• Admite lecturas simultáneas desde varios objetos.

• El lector no puede leer un solo objeto (archivo) de forma simultánea mediante varios hilos.

• Un único objeto comprimido no admite lecturas simultáneas con varios hilos.

Compatible

No compatible

• Solo se pueden escribir archivos de texto. No se admiten datos BLOB, como videos e imágenes. Los archivos de texto deben tener un esquema de tabla bidimensional.

• Admite archivos similares a CSV con un delimitador personalizado.

• Admite los formatos ORC, Parquet, JSON y JSONL.

  Nota

  El formato de compresión SNAPPY es compatible en modo script.

• Admite escrituras con varios hilos, donde cada hilo escribe en un subarchivo distinto.

• Admite la rotación de archivos. Cuando un archivo supera el tamaño especificado, el escritor cambia a un archivo nuevo.

• Un solo archivo no admite escrituras simultáneas.

• OSS no proporciona tipos de datos nativos. OSS Writer escribe todos los datos en los objetos de OSS como tipo STRING.

• Si la clase de almacenamiento del bucket de OSS es Cold Archive Storage, no se admiten las operaciones de escritura.

• Un solo objeto (archivo) no puede superar los 100 GB.

Categoría

Tipo de columna de Data Integration

Entero

LONG

Cadena

STRING

Punto flotante

DOUBLE

Booleano

BOOLEAN

Fecha y hora

DATE

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

Nombre del origen de datos. El modo script permite agregar orígenes de datos. El valor de este parámetro debe coincidir con el nombre del origen de datos agregado.

Sí

N/D

Object

Este parámetro especifica uno o más objetos que se sincronizarán desde OSS. Se admiten tres métodos de configuración: rutas explícitas, rutas con comodines y rutas con parámetros dinámicos.

1. Métodos de configuración

• Rutas explícitas

  • Regla básica: La ruta comienza desde el directorio raíz del bucket y no necesita incluir el nombre del bucket.

  • Especificar un solo archivo: Introduzca la ruta completa del archivo. Ejemplo: my_folder/my_file.txt.

  • Especificar varios objetos: Separe las rutas de varios archivos o carpetas con comas (,). Ejemplo: folder_a/file1.txt, folder_a/file2.txt.

• Rutas con comodines

  • Puede usar comodines para hacer coincidir varios archivos que cumplan con un patrón específico.

  • *: Coincide con cero o más caracteres arbitrarios.

  • ?: Coincide exactamente con un carácter arbitrario.

  • Ejemplos:

    • abc*[0-9].txt puede coincidir con abc0.txt, abc10,txt, abc_test_9.txt, entre otros.

    • abc?.txt puede coincidir con abc1.txt, abcX.txt, entre otros.

• Rutas con parámetros dinámicos

  • Puede insertar parámetros de programación en la ruta para habilitar la sincronización automatizada. Cuando se ejecuta una tarea, los parámetros se sustituyen por sus valores reales.

  • Ejemplo: Si establece la ruta en raw_data/${bizdate}/abc.txt, la tarea sincroniza de forma dinámica y diaria la carpeta que corresponde a la fecha de negocio.

  • Para obtener más información sobre los parámetros de programación, consulte Scheduling parameter sources and expressions.

2. Mecanismo de lectura simultánea y rendimiento

El método de configuración determina directamente el rendimiento de concurrencia durante la extracción de datos:

• Modo de un solo hilo: Cuando se especifica únicamente un archivo explícito y sin comprimir, la tarea extrae los datos en modo de un solo hilo.

• Modo multihilo: Cuando se especifican varios archivos explícitos o se usan comodines que coinciden con varios archivos, la tarea habilita automáticamente lecturas simultáneas con varios hilos para mejorar significativamente la eficiencia de extracción. Configure el número de hilos simultáneos en Channel Control.

Sí

Ninguna

parquetSchema

Este parámetro se utiliza cuando se leen datos de OSS en formato de archivo Parquet. Solo surte efecto cuando fileFormat se establece en parquet, y define el tipo de definición del almacenamiento Parquet. Asegúrese de que la configuración general cumpla con la sintaxis JSON después de especificar parquetSchema.

message MessageTypeName {
required_or_optional, data_type, column_name;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

No

Ninguna

column

Lista de campos que se van a leer. type especifica el tipo de datos de los datos de origen, index especifica el número de columna (comenzando desde cero) en el archivo de texto al que corresponde la columna actual, y value indica que la columna actual es una constante. En lugar de leer datos del archivo de origen, el sistema genera automáticamente la columna según el valor especificado.

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    //Retrieve the INT field from the first column of the OSS text.
    },
    {
       "type": "string",
       "value": "alibaba"  //Generate the string field "alibaba" from OSSReader as the current field.
    }

Sí

Todos los datos se leen como tipo STRING.

fileFormat

Tipo de archivo. Indica el tipo de archivo de los objetos de OSS de origen. Valores válidos: csv, text, parquet, orc, json y jsonl. Los formatos csv y text admiten delimitadores personalizados.

Sí

csv

fieldDelimiter

Delimitador de campos para la lectura de datos.

Sí

,

lineDelimiter

Delimitador de líneas para la lectura de datos.

No

N/D

compress

Tipo de compresión para archivos de texto. De forma predeterminada, este parámetro se deja vacío, lo que indica que los datos no están comprimidos. Valores válidos: gzip, bzip2 y zip.

No

No compression

encoding

Codificación utilizada para leer los archivos.

No

utf-8

nullFormat

Las cadenas estándar no se pueden usar para definir un valor nulo (puntero nulo) en archivos de texto. Data Integration proporciona el parámetro nullFormat para definir qué cadenas representan un valor nulo. Ejemplos:

• Si configura nullFormat:"null", que equivale a un "carácter visible", y los datos de origen son nulos, Data Integration trata el campo como un campo nulo.

• Si configura nullFormat:"\u0001", que equivale a un "carácter invisible", y los datos de origen son la cadena "\u0001", Data Integration trata el campo como un campo nulo.

• Si no especifica el parámetro "nullFormat", que equivale a "no configurado", los datos de origen se escriben en el destino tal cual, sin ninguna conversión.

No

Ninguna

skipHeader

Los archivos similares a CSV pueden contener una fila de encabezado con títulos de columna que debe omitirse. De forma predeterminada, el encabezado no se omite. skipHeader no es compatible con el modo de archivo comprimido.

No

false

csvReaderConfig

Configuración para leer archivos similares a CSV. Este parámetro es de tipo MAP. Se utiliza CsvReader para leer archivos similares a CSV, el cual admite diversas configuraciones. Si no se especifica este parámetro, se utilizan los valores predeterminados.

No

Ninguna

successOnNoObject

Especifica si la tarea finaliza de forma exitosa cuando no existen objetos en la ruta de lectura indicada. Si este parámetro se establece en false, la tarea falla. Si se establece en true, la tarea finaliza de forma exitosa sin escribir ningún dato. Este parámetro aplica a escenarios de sincronización periódica donde la ruta de origen podría estar vacía. En el modo de interfaz de usuario sin código, este parámetro corresponde a "Allow Missing Source Files" y solo se muestra cuando fileFormat se establece en csv o text.

No

false

minLastModified

Especifica que solo se sincronicen los archivos cuya última hora de modificación sea igual o posterior a la hora indicada. El formato es yyyyMMddHHmmss. Por ejemplo, si configura "minLastModified": "20250101000000", solo se leen los archivos modificados a partir del 1 de enero de 2025 a las 00:00:00, y se filtran los anteriores. Puede usar este parámetro junto con maxLastModified para formar un intervalo cerrado por la izquierda y abierto por la derecha [min, max).

No

N/D

maxLastModified

Sincroniza únicamente los archivos cuya última hora de modificación sea anterior a la hora indicada. El formato es yyyyMMddHHmmss. Por ejemplo, si establece "maxLastModified": "20250102000000", solo se leen los archivos modificados antes de las 00:00:00 del 2 de enero de 2025. Los archivos modificados exactamente a esa hora se excluyen (intervalo abierto por la derecha). Puede usar este parámetro junto con minLastModified para definir un intervalo cerrado por la izquierda y abierto por la derecha [min, max).

No

N/D

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

El nombre del origen de datos. Puede agregar un origen de datos en el modo de script. El valor de este parámetro debe coincidir con el nombre del origen de datos que agregó.

Sí

N/A

object

El nombre del archivo en el que escribe OSS Writer. OSS utiliza los nombres de archivo para simular una estructura de directorios. OSS impone los siguientes límites en los nombres de objeto:

• Si usa "object": "datax", el nombre del objeto escrito comienza con datax, seguido de un sufijo de cadena aleatoria.

• Si usa "object": "cdo/datax", el nombre del objeto escrito comienza con /cdo/datax, seguido de un sufijo de cadena aleatoria. OSS utiliza la barra diagonal (/) como separador de directorio.

Si no desea un sufijo UUID aleatorio, se recomienda establecer "writeSingleObject" : "true". Para obtener más información, consulte la descripción de writeSingleObject.

Sí

N/A

ossBlockSize

El tamaño de bloque para las cargas multiparte de OSS. El tamaño de bloque predeterminado es de 16 MB. Cuando el formato de archivo es parquet u ORC, puede configurar este parámetro en el mismo nivel que el parámetro object.

Las cargas multiparte de OSS admiten un máximo de 10 000 partes. Con el tamaño de bloque predeterminado, el tamaño máximo del archivo es de 160 GB. Si el número de partes supera el límite, aumente el tamaño de bloque para admitir la carga de archivos más grandes.

No

16

writeMode

Especifica cómo OSS Writer gestiona los datos existentes antes de escribir:

• truncate: antes de escribir, elimina todos los objetos cuyos nombres coinciden con el prefijo especificado. Por ejemplo, si establece "object":"abc", se eliminan todos los objetos cuyos nombres comienzan con abc.

• append: no se aplica ningún procesamiento antes de escribir. OSS Writer de Data Integration escribe los datos directamente con el nombre del objeto y agrega un sufijo UUID aleatorio para garantizar que los nombres de archivo sean únicos. Por ejemplo, si especifica el nombre de objeto DI, el nombre real del objeto escrito será DI_**__**.

• nonConflict: si existe algún objeto con un prefijo coincidente en la ruta especificada, se devuelve un error. Por ejemplo, si establece "object":"abc" y ya existe un objeto llamado abc123, se devuelve un error.

Sí

Ninguna

writeSingleObject

Especifica si los datos se escriben en un solo archivo durante la escritura en OSS:

• true: escribe los datos en un solo archivo. Si no se leen datos, no se genera ningún archivo vacío.

• false: escribe los datos en varios archivos. Si no se leen datos y se configuró un encabezado de archivo, se genera un archivo vacío que contiene únicamente dicho encabezado. De lo contrario, solo se genera un archivo vacío.

No

false

fileFormat

El formato del archivo de salida. Se admiten los siguientes formatos:

• csv: solo se admite el formato csv estricto. Si los datos que se van a escribir contienen delimitadores de columna, los datos se escapan según la sintaxis de escape de csv. El carácter de escape son las comillas dobles (").

• text: los datos que se van a escribir simplemente se separan mediante delimitadores de columna. Si los datos contienen delimitadores de columna, no se aplica ningún escape.

• parquet: si utiliza este tipo de archivo, debe agregar el parámetro parquetSchema para definir los tipos de datos.

  Importante

  • Para escribir datos en formato Parquet, debe cambiar al modo de script y configurar parquetSchema. Para ver ejemplos de configuración, consulte Appendix: script demos and parameter description.

  • Si no configura parquetSchema, DataWorks convierte automáticamente los tipos de datos según los tipos de campo de origen, siguiendo una estrategia específica. Para obtener más información sobre la estrategia de conversión, consulte Appendix: conversion strategy for Parquet data types.

• ORC: si utiliza este formato, debe cambiar al modo de script.

• json, jsonl: los datos se escriben en formato JSON.

No

text

compress

El formato de compresión de los archivos de datos escritos en OSS. Debe configurar este parámetro en el modo de script.

No

Ninguna

fieldDelimiter

El delimitador de campos para la escritura.

No

,

encoding

La configuración de codificación del archivo de salida.

No

utf-8

parquetSchema

Obligatorio cuando se escribe en OSS con formato de archivo Parquet. Este parámetro describe el esquema del archivo de destino y solo surte efecto cuando fileFormat se establece en parquet. El formato es el siguiente.

message MessageTypeName {
required_or_optional, data_type, column_name;
......................;
}

Los elementos de configuración se describen a continuación:

• Nombre de MessageType: introduzca un nombre.

• Obligatoriedad: required indica que el campo no puede ser nulo, mientras que optional indica que el campo puede ser nulo. Se recomienda establecer todos los campos como optional.

• Tipo de datos: los archivos Parquet admiten los siguientes tipos: BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (use BINARY para los tipos de cadena) y FIXED_LEN_BYTE_ARRAY.

Ejemplo:

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}

No

Ninguna

nullFormat

Las cadenas estándar no pueden usarse para definir null (puntero nulo) en archivos de texto. El sistema de sincronización de datos proporciona nullFormat para definir una cadena que represente null. Por ejemplo, si establece nullFormat="null" y los datos de origen son null, el sistema de sincronización de datos lo trata como un campo nulo.

No

Ninguna

header

La fila de encabezado al escribir en OSS. Ejemplo: ["id", "name", "age"].

No

Ninguna

maxFileSize (configuración avanzada, no compatible con la interfaz sin código)

El tamaño máximo de un solo archivo de objeto escrito en OSS. El valor predeterminado es 10 000 × 10 MB. Esto es similar a controlar el tamaño de los archivos de registro al imprimir registros de log4j. Durante la carga multiparte de OSS, cada parte tiene 10 MB (que también es la granularidad mínima para la rotación de registros, lo que significa que cualquier valor de maxFileSize inferior a 10 MB se trata como 10 MB). Cada InitiateMultipartUploadRequest de OSS admite un máximo de 10 000 partes.

Cuando ocurre la rotación, el nombre del objeto se genera agregando sufijos como _1,_2,_3 al prefijo original del objeto junto con una cadena aleatoria basada en UUID.

No

100,000

suffix (configuración avanzada, no compatible con la interfaz sin código)

El sufijo que se agrega al nombre de archivo generado durante la escritura de la sincronización de datos. Por ejemplo, si establece suffix en .csv, el nombre final del archivo será fileName****.csv.

No

Ninguna