DataWorks:Source de dados do SelectDB

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

O nome da source. Você pode adicionar uma source ao configurar uma tarefa no editor de código. O valor deve corresponder ao nome da source adicionada.

Sim

Nenhum

table

O nome da tabela para a qual você deseja sincronizar os dados.

Sim

Nenhum

column

As colunas na tabela de destino nas quais você deseja gravar dados, separadas por vírgulas (,). Exemplo: "column":["id","name","age"]. Para gravar dados em todas as colunas em ordem, use (). Exemplo: "column":[""].

Sim

Nenhum

preSql

Execute as instruções SQL antes da execução da tarefa de sincronização. A interface sem código suporta apenas uma instrução SQL, enquanto o editor de código suporta várias. Por exemplo, você pode limpar os dados existentes da tabela antes da execução da tarefa.

Não

Nenhum

postSql

Execute as instruções SQL após a execução da tarefa de sincronização. A interface sem código suporta apenas uma instrução SQL, enquanto o editor de código suporta várias. Por exemplo, você pode adicionar um carimbo de data/hora após a execução da tarefa.

Não

Nenhum

maxBatchRows

O número máximo de linhas a importar em cada lote. Este parâmetro e o batchSize controlam em conjunto a quantidade de dados importados em cada lote. Um lote é importado assim que qualquer um dos limiares é atingido.

Não

500000

batchSize

A quantidade máxima de dados a importar em cada lote. Este parâmetro e o maxBatchRows controlam em conjunto a quantidade de dados importados em cada lote. Um lote é importado assim que qualquer um dos limiares é atingido.

Não

94371840

maxRetries

O número de novas tentativas caso a importação de um lote falhe.

Não

3

labelPrefix

O prefixo do rótulo para os arquivos enviados em cada lote. O rótulo final é gerado como labelPrefix + UUID para formar um rótulo globalmente exclusivo e evitar importações de dados duplicados.

Não

datax_selectdb_writer_

loadProps

Os parâmetros de solicitação para COPY INTO, usados principalmente para especificar o formato dos dados a importar. JSON é o formato padrão. Se o loadProps não for configurado ou for definido como "loadProps":{}, o formato JSON padrão será usado, conforme mostrado no exemplo a seguir. (Atualmente, o SelectDB suporta apenas strip_outer_array=true.)

"loadProps": {
        "format": "json",
        "strip_outer_array":true
    }

Para importar dados no formato CSV, especifique o formato e os delimitadores de linha e coluna conforme mostrado no exemplo a seguir. Se você não especificar os delimitadores, os dados de entrada serão convertidos em strings e combinados em um arquivo CSV para importação no SelectDB, com \t como delimitador de coluna e \n como delimitador de linha.

"loadProps": {
        "format":"csv",
        "column_separator": "\\x01",
        "line_delimiter": "\\x02"
    }

Não

Nenhum

clusterName

O nome do cluster do SelectDB Cloud. Visualize-o no console do SelectDB.

Não

Nenhum

flushInterval

O intervalo entre os lotes de gravação, em milissegundos. Se o maxBatchRows e o batchSize forem definidos com valores altos, o sistema poderá importar um lote quando esse intervalo expirar, antes que qualquer um dos limiares de volume de dados seja atingido.

Não

30000