DataWorks:Doris

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da fonte de dados. Deve corresponder exatamente ao nome da fonte de dados adicionada. É possível adicionar fontes de dados pelo editor de código.

Sim

Sem valor padrão

table

Nome da tabela de origem dos dados. Cada tarefa de sincronização lê dados de apenas uma tabela.

Para tabelas particionadas (sharded), use o parâmetro table para especificar as partições de leitura. Exemplos:

• Configure um intervalo para ler dados de bancos e tabelas particionados. Por exemplo, 'table_[0-99]' indica leitura de 'table_0', 'table_1' e 'table_2', até 'table_99'.

• Se suas tabelas possuírem sufixos numéricos de mesmo comprimento, como 'table_000', 'table_001' e 'table_002', até 'table_999', configure o parâmetro como '"table": ["table_00[0-9]", "table_0[10-99]", "table_[100-999]"]'.

Sim

Sem valor padrão

column

Colunas a serem sincronizadas, descritas em um array JSON. Por padrão, todas as colunas são sincronizadas. Exemplo: ["*"].

• Poda de colunas: selecione um subconjunto de colunas para exportação.

• A ordem das colunas pode ser alterada, permitindo especificar colunas em uma sequência diferente daquela definida pelo schema da tabela de origem.

• Configuração de constantes: siga a sintaxe SQL do Doris. Exemplo: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2,3","true"].

  • id: nome de uma coluna.

  • table: nome de uma coluna que contém palavras-chave reservadas.

  • 1: constante inteira.

  • 'mingya.wmy': constante string, delimitada por aspas simples (').

  • null:

    • " " representa uma string vazia.

    • null representa um valor nulo.

    • 'null' representa a string "null".

  • to_char(a+1): expressão de função usada para calcular o comprimento de uma string.

  • 2,3: constante de ponto flutuante.

  • true: valor booleano.

• O parâmetro column deve especificar explicitamente todas as colunas de leitura. Não deixe este parâmetro vazio.

Sim

Sem valor padrão

splitPk

Para melhorar o desempenho de leitura, use o parâmetro splitPk para definir uma chave de fragmentação. O Data Integration usa essa chave para particionar os dados e executar tarefas concorrentes.

• Recomenda-se definir o parâmetro splitPk com o nome da coluna de chave primária da tabela. Assim, os dados são distribuídos uniformemente entre diferentes shards, evitando concentração em shards específicos.

• O parâmetro splitPk suporta fragmentação apenas para dados de tipos inteiros. Se definido com um campo de tipo não suportado, como string, ponto flutuante ou data, a configuração será ignorada e a leitura ocorrerá em thread única.

• Se o parâmetro splitPk não for fornecido ou estiver vazio, a leitura será feita em thread única.

Não

Sem valor padrão

where

Condição de filtro. Em muitos cenários de negócio, deseja-se sincronizar apenas os dados do dia atual. Para isso, defina a condição where como gmt_create > $bizdate.

• Use a cláusula WHERE para ler dados incrementais. Se o parâmetro where não for fornecido ou estiver vazio, o Doris Reader lerá todos os dados.

• Não defina o parâmetro where como limit 10. Esse valor não está em conformidade com as restrições do Doris para a cláusula SQL WHERE.

Não

Sem valor padrão

querySql (parâmetro avançado, disponível apenas no editor de código)

Em alguns cenários, o parâmetro where pode não ser suficiente para descrever as condições de filtro desejadas. Use este parâmetro para especificar uma consulta SQL personalizada para filtragem. Ao configurar este parâmetro, o Data Integration ignora os parâmetros table, column, where e splitPk, usando a consulta personalizada para recuperar dados. Por exemplo, para juntar várias tabelas antes da sincronização, use uma consulta como select a,b from table_a join table_b on table_a.id = table_b.id. O parâmetro querySql tem prioridade sobre os parâmetros table, column, where e splitPk. O parâmetro datasource ainda é necessário para que o sistema recupere detalhes de conexão, como nome de usuário e senha.

Não

Sem valor padrão

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da fonte de dados. Deve corresponder exatamente ao nome da fonte de dados adicionada. É possível adicionar fontes de dados pelo editor de código.

Sim

Sem valor padrão

table

Nome da tabela de destino para escrita dos dados.

Sim

Sem valor padrão

column

Colunas de destino para escrita de dados. Especifique os nomes das colunas em um array, por exemplo, "column":["id","name","age"]. Para gravar dados em todas as colunas sequencialmente, use um asterisco () no array, por exemplo, "column":[""].

Sim

Sem valor padrão

preSql

Instruções SQL a serem executadas antes do início da tarefa de sincronização de dados. Na interface visual sem código, é possível executar apenas uma instrução SQL. No editor de código, é possível executar múltiplas instruções. Por exemplo, use essas instruções para limpar dados existentes na tabela.

Não

Sem valor padrão

postSql

Instrução SQL a ser executada após a conclusão da tarefa de sincronização. Por exemplo, defina este parâmetro com a instrução SQL usada para adicionar um timestamp. Na interface visual sem código, é possível executar apenas uma instrução SQL; no editor de código, é possível executar múltiplas instruções.

Não

Sem valor padrão

maxBatchRows

Número máximo de linhas que podem ser gravadas na tabela de destino por vez. Este parâmetro, juntamente com o parâmetro batchSize, determina a quantidade de registros de dados gravados por vez na tabela de destino. Sempre que os dados em cache atingirem o valor de qualquer um desses parâmetros, o writer iniciará a gravação na tabela de destino.

Não

500.000

batchSize

Quantidade máxima de dados que podem ser gravados na tabela de destino por vez. Este parâmetro, juntamente com o parâmetro maxBatchRows, determina a quantidade de registros de dados gravados por vez na tabela de destino. Sempre que os dados em cache atingirem o valor de qualquer um desses parâmetros, o writer iniciará a gravação na tabela de destino.

Não

104.857.600

maxRetries

Número máximo de tentativas permitidas após falha na gravação em lote de múltiplos registros na tabela de destino.

Não

3

labelPrefix

Prefixo do rótulo para cada lote de arquivos carregados. O rótulo final combina labelPrefix + UUID para garantir que cada importação seja idempotente, prevenindo duplicação de dados.

Não

datax_doris_writer_

loadProps

Parâmetros de solicitação para o StreamLoad, usados principalmente para configurar o formato dos dados de importação. Por padrão, os dados são importados no formato CSV. Se o parâmetro loadProps não for configurado, o formato CSV padrão será utilizado, com \t como delimitador de coluna e \n como delimitador de linha. A configuração padrão é a seguinte:

"loadProps": {
        "format":"csv",
        "column_separator": "\t",
        "line_delimiter": "\n"
    }

Para gravar dados no formato JSON, use as seguintes configurações:

"loadProps": {
    "format": "json"
}

Não

Sem valor padrão