DataWorks:Fonte de dados SelectDB

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da fonte de dados. O modo script permite adicionar fontes de dados. O valor deste parâmetro deve corresponder exatamente ao nome da fonte de dados adicionada.

Sim

N/A

table

Nome da tabela a ser sincronizada.

Sim

N/A

column

Colunas de destino onde os dados serão gravados. Separe os nomes das colunas por vírgulas (,). Exemplo: "column":["id","name","age"]. Para gravar dados em todas as colunas sequencialmente, utilize (). Exemplo: "column":[""].

Sim

N/A

preSql

Instruções SQL executadas antes do início da tarefa de sincronização. O modo assistente permite executar apenas uma instrução SQL, enquanto o modo script suporta múltiplas instruções. Por exemplo, limpe dados antigos da tabela antes da execução da tarefa.

Não

N/A

postSql

Instruções SQL executadas após a conclusão da tarefa de sincronização. O modo assistente permite executar apenas uma instrução SQL, enquanto o modo script suporta múltiplas instruções. Por exemplo, adicione um carimbo de data/hora.

Não

N/A

maxBatchRows

Número máximo de linhas a serem importadas por lote. Este parâmetro atua em conjunto com batchSize para controlar o volume de cada importação em lote. A importação é iniciada quando qualquer um dos limiares for atingido.

Não

500.000

batchSize

Tamanho máximo de dados a serem importados por lote. Este parâmetro atua em conjunto com maxBatchRows para controlar o volume de cada importação em lote. A importação é iniciada quando qualquer um dos limiares for atingido.

Não

94.371.840

maxRetries

Número de tentativas após falha na importação em lote.

Não

3

labelPrefix

Prefixo do rótulo para cada upload em lote. O rótulo final é composto por labelPrefix + UUID, formando um identificador globalmente único para evitar importações duplicadas.

Não

datax_selectdb_writer_

loadProps

Parâmetros de solicitação para COPY INTO, usados principalmente para configurar o formato dos dados de importação. Por padrão, os dados são importados no formato JSON. Se loadProps não estiver configurado ou for definido como "loadProps":{}, o formato JSON padrão será utilizado, conforme a configuração abaixo. (Atualmente, o SelectDB suporta apenas strip_outer_array=true.)

"loadProps": {
        "format": "json",
        "strip_outer_array":true
    }

Para importar dados no formato CSV, especifique o formato e configure os delimitadores de linha e coluna conforme abaixo. Caso os delimitadores não sejam especificados, todos os dados de entrada serão convertidos em strings por padrão, utilizando \t como delimitador de coluna e \n como delimitador de linha, formando um arquivo CSV para a operação de importação do SelectDB.

"loadProps": {
        "format":"csv",
        "column_separator": "\\x01",
        "line_delimiter": "\\x02"
    }

Não

N/A

clusterName

Nome do cluster SelectDB Cloud. Visualize-o no console do SelectDB.

Não

N/A

flushInterval

Intervalo de tempo (em ms) entre lotes de gravação de dados. Se os parâmetros maxBatchRows e batchSize estiverem definidos com valores altos, o sistema poderá acionar a importação baseada no intervalo de tempo antes que o volume de dados especificado seja atingido.

Não

30.000