DataWorks:Doris

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

O nome da fonte de dados. Deve ser igual ao nome da fonte de dados adicionada. Você pode adicionar fontes de dados pelo editor de código.

Sim

Sem valor padrão

table

O nome da tabela da qual deseja ler dados. Cada tarefa de sincronização pode ser usada para sincronizar dados de apenas uma tabela.

Para uma tabela fragmentada, use o parâmetro table para especificar as partições das quais deseja ler dados. Exemplos:

• Configure um intervalo para ler dados de bancos de dados e tabelas fragmentados. Por exemplo, 'table_[0-99]' especifica que os dados são lidos de 'table_0', 'table_1' e 'table_2', até 'table_99'.

• Se as tabelas possuírem sufixos numéricos do mesmo comprimento, como 'table_000', 'table_001' e 'table_002', até 'table_999', configure o parâmetro como '"table": ["table_00[0-9]", "table_0[10-99]", "table_[100-999]"]'.

Sim

Sem valor padrão

column

As colunas que deseja sincronizar. As colunas são descritas em um array JSON. Por padrão, todas as colunas são sincronizadas. Por exemplo, use ["*"].

• Poda de colunas: selecione um subconjunto de colunas para exportar.

• A ordem das colunas pode ser alterada. Isso significa que você pode especificar colunas em uma ordem diferente da ordem definida pelo esquema da tabela de origem.

• Configuração de constantes: siga a sintaxe SQL do Doris. Exemplo: ["id","`table`","1","'mingya.wmy'","'null'","to_char(a+1)","2.3","true"].

  • id: um nome de coluna.

  • table: o nome de uma coluna que contém palavras-chave reservadas.

  • 1: uma constante inteira.

  • 'mingya.wmy': uma constante de string, delimitada por aspas simples (').

  • null:

    • " " indica uma string vazia.

    • null indica um valor nulo.

    • 'null' indica a string "null".

  • to_char(a+1): uma expressão de função usada para calcular o comprimento de uma string.

  • 2.3: uma constante de ponto flutuante.

  • true: um valor booleano.

• O parâmetro column deve especificar explicitamente todas as colunas das quais deseja ler dados. Esse parâmetro não pode ser deixado vazio.

Sim

Sem valor padrão

splitPk

Para melhorar o desempenho de leitura, use o parâmetro splitPk para especificar uma chave de fragmentação. O Data Integration usa essa chave para particionar os dados e executar tarefas concorrentes.

• Defina o parâmetro splitPk como o nome da coluna de chave primária da tabela. Os dados podem ser distribuídos uniformemente entre diferentes fragmentos com base na coluna de chave primária, em vez de se concentrarem apenas em fragmentos específicos.

• O parâmetro splitPk suporta fragmentação apenas para dados de tipos inteiros. Se definir o parâmetro splitPk como um campo de tipo de dado não suportado, como string, ponto flutuante ou data, a configuração desse parâmetro será ignorada e um único thread será usado para ler dados.

• Se o parâmetro splitPk não for fornecido ou for deixado vazio, um único thread será usado para ler dados.

Não

Sem valor padrão

where

A condição de filtro. Em muitos cenários de negócio, pode ser necessário sincronizar apenas os dados do dia atual. Para isso, defina a condição where como gmt_create > $bizdate.

• Use a cláusula WHERE para ler dados incrementais. Se o parâmetro where não for fornecido ou for deixado vazio, o Doris Reader lê todos os dados.

• Não defina o parâmetro where como limit 10. Esse valor não está em conformidade com as restrições do Doris para a cláusula SQL WHERE.

Não

Sem valor padrão

querySql (parâmetro avançado, disponível apenas no editor de código)

Em alguns cenários de negócio, o parâmetro where pode não ser suficiente para descrever as condições de filtro desejadas. Use esse parâmetro para especificar uma consulta SQL personalizada para filtragem. Se configurar esse parâmetro, o Data Integration ignora os parâmetros table, column, where e splitPk, e usa a consulta personalizada para recuperar dados. Por exemplo, para juntar várias tabelas antes da sincronização, use uma consulta como select a,b from table_a join table_b on table_a.id = table_b.id. O parâmetro querySql tem prioridade maior que os parâmetros table, column, where e splitPk. O parâmetro datasource ainda é necessário para que o sistema recupere detalhes de conexão, como nome de usuário e senha.

Não

Sem valor padrão

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

O nome da fonte de dados. Deve ser igual ao nome da fonte de dados adicionada. Você pode adicionar fontes de dados pelo editor de código.

Sim

Sem valor padrão

table

O nome da tabela na qual deseja gravar dados.

Sim

Sem valor padrão

column

As colunas de destino nas quais gravar dados. Especifique os nomes das colunas em um array, por exemplo, "column":["id","name","age"]. Para gravar dados em todas as colunas em ordem, use um asterisco (*) no array, por exemplo, "column":["*"].

Sim

Sem valor padrão

preSql

As instruções SQL a serem executadas antes do início da tarefa de sincronização de dados. Na interface sem código, execute apenas uma instrução SQL. No editor de código, execute várias instruções SQL. Por exemplo, use essas instruções para limpar dados existentes da tabela.

Não

Sem valor padrão

postSql

A instrução SQL a ser executada após a execução da tarefa de sincronização. Por exemplo, defina esse parâmetro como a instrução SQL usada para adicionar um carimbo de data/hora. Execute apenas uma instrução SQL na interface sem código e várias instruções SQL no editor de código.

Não

Sem valor padrão

maxBatchRows

O número máximo de linhas que podem ser gravadas na tabela de destino por vez. Este parâmetro e o parâmetro batchSize determinam juntos o número de registros de dados que podem ser gravados na tabela de destino por vez. Cada vez que os dados em cache atingem o valor de qualquer um dos parâmetros, o writer começa a gravar os dados na tabela de destino.

Não

500000

batchSize

A quantidade máxima de dados que podem ser gravados na tabela de destino por vez. Este parâmetro e o parâmetro maxBatchRows determinam juntos o número de registros de dados que podem ser gravados na tabela de destino por vez. Cada vez que os dados em cache atingem o valor de qualquer um dos parâmetros, o writer começa a gravar os dados na tabela de destino.

Não

104857600

maxRetries

O número máximo de tentativas permitidas após falha ao gravar vários registros de dados na tabela de destino por vez.

Não

3

labelPrefix

O prefixo de rótulo para cada lote de arquivos enviados. O rótulo final é uma combinação de labelPrefix + UUID para garantir que cada importação seja idempotente, evitando a duplicação de dados.

Não

datax_doris_writer_

loadProps

Os parâmetros de solicitação do StreamLoad, usados principalmente para configurar o formato de importação de dados. Por padrão, os dados são importados no formato CSV. Se o parâmetro loadProps não for configurado, o formato CSV padrão será usado, com \t como delimitador de coluna e \n como delimitador de linha. A configuração padrão é a seguinte:

"loadProps": {
    "format":"csv",
    "column_separator": "\t",
    "line_delimiter": "\n"
}

Para gravar dados no formato JSON, use as seguintes configurações:

"loadProps": {
    "format": "json"
}

Não

Sem valor padrão