DataWorks:Doris

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

El nombre del origen de datos. Debe ser igual al nombre del origen de datos agregado. Puede agregar orígenes de datos mediante el editor de código.

Sí

Sin valor predeterminado

table

El nombre de la tabla de la que desea leer datos. Cada tarea de sincronización se puede usar para sincronizar datos de una sola tabla.

Para una tabla fragmentada, puede usar el parámetro table para especificar las particiones de las que desea leer datos. Ejemplos:

• Puede configurar un intervalo para leer datos de bases de datos y tablas fragmentadas. Por ejemplo, 'table_[0-99]' especifica que se leen datos de 'table_0', 'table_1' y 'table_2', hasta 'table_99'.

• Si sus tablas tienen sufijos numéricos de la misma longitud, como 'table_000', 'table_001' y 'table_002', hasta 'table_999', puede configurar el parámetro como '"table": ["table_00[0-9]", "table_0[10-99]", "table_[100-999]"]'.

Sí

Sin valor predeterminado

column

Las columnas que desea sincronizar. Las columnas se describen en una matriz JSON. De forma predeterminada, se sincronizan todas las columnas. Por ejemplo, use ["*"].

• Reducción de columnas: Seleccione un subconjunto de columnas para exportar.

• El orden de las columnas puede cambiarse. Esto significa que puede especificar columnas en un orden distinto del especificado por el esquema de la tabla de origen.

• Configuración de constantes: Debe seguir la sintaxis SQL de Doris. Ejemplo: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"].

  • id: nombre de una columna.

  • table: nombre de una columna que contiene palabras clave reservadas.

  • 1: una constante entera.

  • 'mingya.wmy': una constante de cadena, encerrada entre comillas simples (').

  • null:

    • " " indica una cadena vacía.

    • null indica un valor nulo.

    • 'null' indica la cadena "null".

  • to_char(a+1): una expresión de función que se usa para calcular la longitud de una cadena.

  • 2.3: una constante de coma flotante.

  • true: un valor booleano.

• El parámetro column debe especificar explícitamente todas las columnas de las que desea leer datos. Este parámetro no puede dejarse vacío.

Sí

Sin valor predeterminado

splitPk

Para mejorar el rendimiento de lectura, puede usar el parámetro splitPk para especificar una clave de fragmentación. Data Integration usa esta clave para particionar los datos y ejecutar tareas simultáneas.

• Se recomienda que establezca el parámetro splitPk en el nombre de la columna de clave principal de la tabla. Los datos pueden distribuirse uniformemente entre diferentes fragmentos según la columna de clave principal, en lugar de concentrarse solo en fragmentos específicos.

• El parámetro splitPk solo admite la fragmentación de datos de tipos de datos enteros. Si establece el parámetro splitPk en un campo de un tipo de datos no compatible, como cadena, coma flotante o fecha, se ignora la configuración de este parámetro y se usa un solo hilo para leer datos.

• Si no se proporciona el parámetro splitPk o se deja vacío, se usa un solo hilo para leer datos.

No

Sin valor predeterminado

where

La condición de filtro. En muchos escenarios de negocio, quizá desee sincronizar solo los datos del día actual. Para ello, puede especificar la condición where como gmt_create > $bizdate.

• Puede usar la cláusula WHERE para leer datos incrementales. Si no se proporciona el parámetro where o se deja vacío, Doris Reader lee todos los datos.

• No establezca el parámetro where en limit 10. Este valor no cumple las restricciones de Doris sobre la cláusula SQL WHERE.

No

Sin valor predeterminado

querySql (parámetro avanzado, disponible solo en el editor de código)

En algunos escenarios de negocio, el parámetro where puede no ser suficiente para describir las condiciones de filtro deseadas. Puede usar este parámetro para especificar una consulta SQL personalizada para filtrar. Si configura este parámetro, Data Integration ignora los parámetros table, column, where y splitPk, y usa la consulta personalizada para recuperar datos. Por ejemplo, para unir varias tablas antes de la sincronización, puede usar una consulta como select a,b from table_a join table_b on table_a.id = table_b.id. El parámetro querySql tiene mayor prioridad que los parámetros table, column, where y splitPk. El parámetro datasource sigue siendo obligatorio para que el sistema recupere detalles de conexión, como el nombre de usuario y la contraseña.

No

Sin valor predeterminado

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

El nombre del origen de datos. Debe ser igual al nombre del origen de datos agregado. Puede agregar orígenes de datos mediante el editor de código.

Sí

Sin valor predeterminado

table

El nombre de la tabla de la que desea leer datos.

Sí

Sin valor predeterminado

column

Las columnas de destino donde se escribirán los datos. Especifique los nombres de columna en una matriz, por ejemplo, "column":["id","name","age"]. Para escribir datos en todas las columnas en orden, use un asterisco () en la matriz, por ejemplo, "column":[""].

Sí

Sin valor predeterminado

preSql

Las sentencias SQL que se ejecutarán antes de que inicie la tarea de sincronización de datos. En la interfaz sin código, solo puede ejecutar una sentencia SQL. En el editor de código, puede ejecutar varias sentencias SQL. Por ejemplo, puede usar estas sentencias para limpiar los datos existentes de la tabla.

No

Sin valor predeterminado

postSql

La sentencia SQL que desea ejecutar después de que se ejecute la tarea de sincronización. Por ejemplo, puede establecer este parámetro en la sentencia SQL que se usa para agregar una marca de tiempo. Solo puede ejecutar una sentencia SQL en la interfaz sin código y varias sentencias SQL en el editor de código.

No

Sin valor predeterminado

maxBatchRows

El número máximo de filas que puede escribir en la tabla de destino cada vez. Tanto este parámetro como el parámetro batchSize determinan la cantidad de registros de datos que puede escribir en la tabla de destino cada vez. Cada vez que los datos almacenados en caché alcanzan el valor de cualquiera de los dos parámetros, el escritor comienza a escribir los datos en la tabla de destino.

No

500000

batchSize

La cantidad máxima de datos que puede escribir en la tabla de destino cada vez. Tanto este parámetro como el parámetro maxBatchRows determinan la cantidad de registros de datos que puede escribir en la tabla de destino cada vez. Cada vez que los datos almacenados en caché alcanzan el valor de cualquiera de los dos parámetros, el escritor comienza a escribir los datos en la tabla de destino.

No

104857600

maxRetries

El número máximo de reintentos permitidos después de una operación con errores al escribir varios registros de datos en la tabla de destino a la vez.

No

3

labelPrefix

El prefijo de etiqueta para cada lote de archivos cargados. La etiqueta final es una combinación de labelPrefix + UUID para garantizar que cada importación sea idempotente y evitar la duplicación de datos.

No

datax_doris_writer_

loadProps

Los parámetros de solicitud para StreamLoad, que se usan principalmente para configurar el formato de importación de datos. De forma predeterminada, los datos se importan en formato CSV. Si no se configura el parámetro loadProps, se usa el formato CSV predeterminado, con \t como delimitador de columnas y \n como delimitador de filas. La configuración predeterminada se muestra a continuación:

"loadProps": {
        "format":"csv",
        "column_separator": "\t",
        "line_delimiter": "\n"
    }

Si desea escribir datos en formato JSON, use la configuración que se muestra a continuación:

"loadProps": {
    "format": "json"
}

No

Sin valor predeterminado