DataWorks:Origen de datos de SelectDB

Parámetro

Descripción

Obligatorio

Valor predeterminado

datasource

Nombre del origen de datos. El modo script permite agregar orígenes de datos; este valor debe coincidir con el nombre del origen de datos agregado.

Sí

Ninguna

table

Nombre de la tabla que se va a sincronizar.

Sí

Ninguna

column

Campos que se escribirán en la tabla de destino, separados por comas. Por ejemplo, "column":["id","name","age"]. Para escribir todas las columnas en orden, utilice (); por ejemplo, "column":[""].

Sí

Ninguna

preSql

Instrucciones SQL que se ejecutarán antes de la tarea de sincronización. El modo asistente solo admite una instrucción, mientras que el modo script permite varias, como limpiar los datos antiguos de la tabla antes de escribir.

No

Ninguna

postSql

Instrucciones SQL que se ejecutarán después de la tarea de sincronización. El modo asistente solo admite una instrucción, pero el modo script permite varias, como agregar una marca de tiempo.

No

Ninguna

maxBatchRows

Número máximo de filas importadas por lote. Junto con batchSize, controla el tamaño del lote. La importación comienza cuando se alcanza cualquiera de los dos umbrales.

No

500000

batchSize

Cantidad máxima de datos importados por lote. Junto con maxBatchRows, controla el tamaño del lote. La importación comienza cuando se alcanza cualquiera de los dos umbrales.

No

94371840

maxRetries

Número de reintentos tras un error en la importación por lotes.

No

3

labelPrefix

Prefijo de la etiqueta de cada lote cargado. La etiqueta final se forma con labelPrefix + UUID para garantizar que sea única globalmente y evitar importaciones duplicadas.

No

datax_selectdb_writer_

loadProps

Parámetros de la solicitud COPY INTO, utilizados principalmente para configurar el formato de los datos de importación. El valor predeterminado es JSON. Si omite loadProps o lo establece en "loadProps":{}, se aplica a continuación configuración JSON predeterminada. Actualmente, SelectDB solo admite strip_outer_array=true.

"loadProps": {
        "format": "json",
        "strip_outer_array":true
    }

Para importar archivos CSV, especifique el formato y los delimitadores de fila y columna como se muestra a continuación. Si omite los delimitadores, los datos se convierten en cadenas de texto y se utiliza \t como delimitador de columnas y \n como delimitador de filas para formar el archivo CSV que se importa en SelectDB.

"loadProps": {
        "format":"csv",
        "column_separator": "\\x01",
        "line_delimiter": "\\x02"
    }

No

Ninguna

clusterName

Nombre del clúster de SelectDB Cloud. Puede encontrarlo en la consola de SelectDB.

No

Ninguna

flushInterval

Tiempo entre lotes de escritura de datos, en milisegundos. Si configura valores muy altos para maxBatchRows y batchSize, los datos podrían importarse por tiempo transcurrido antes de alcanzar el volumen configurado.

No

30000