DataWorks:Fonte de dados StarRocks

Parameter

Description

Required

Default

datasource

Nome da fonte de dados StarRocks.

Sim

Nenhum

selectedDatabase

Nome do banco de dados StarRocks.

Não

Nome do banco de dados configurado na fonte de dados StarRocks.

column

Colunas da tabela de origem a serem sincronizadas. Para adicionar uma dica SET_VAR durante a leitura de dados do StarRocks, insira a dica antes do primeiro nome de coluna no array. Por exemplo, para sincronizar a coluna id e adicionar a dica SET_VAR(enable_spill = true), defina o parâmetro column como [ "/+ SET_VAR(enable_spill = true)/ id"].

Sim

Nenhum

where

Condição de filtro. Em cenários típicos de sincronização de dados gerados no dia atual, defina a condição where como gmt_create>${bizdate}.

• A condição where viabiliza uma sincronização incremental eficiente.

• Sem a cláusula where, ou caso falte chave ou valor nesse parâmetro, o sistema trata a operação como uma sincronização completa de dados.

Não

Nenhum

table

Tabela de origem dos dados a serem sincronizados.

Sim

Nenhum

splitPk

Especificar o parâmetro splitPk permite a sincronização paralela de dados por meio de data sharding baseado na coluna indicada, melhorando o desempenho. Recomenda-se usar a chave primária da tabela para o parâmetro splitPk, pois chaves uniformemente distribuídas evitam pontos críticos de dados.

Não

Nenhum

Parameter

Description

Required

Default

datasource

Nome da fonte de dados StarRocks.

Sim

Nenhum

selectedDatabase

Nome do banco de dados StarRocks.

Não

Nome do banco de dados configurado na fonte de dados StarRocks.

loadProps

Parâmetros de requisição para o Stream Load do StarRocks. Ao importar dados CSV via Stream Load, é possível configurar parâmetros opcionais. Se não houver necessidade de configuração especial, use {}. Os parâmetros configuráveis incluem:

• column_separator: delimitador de colunas para importação CSV. Padrão: \t.

• row_delimiter: delimitador de linhas para importação CSV. Padrão: \n.

Caso seus dados contenham \t ou \n, especifique outros caracteres como delimitadores. Exemplo:

{"column_separator":"\\x01","row_delimiter":"\\x02"}

O Stream Load também oferece suporte à importação de dados JSON. Para isso, configure o seguinte parâmetro:

{
  "format": "json"
}

Os seguintes parâmetros estão disponíveis para o formato JSON:

• strip_outer_array: define se a estrutura de array mais externa deve ser removida. Valores válidos: true e false. Valor padrão: false.

  Em cenários reais, os dados JSON a serem importados podem estar envoltos por colchetes externos ([]) representando um array. Nesse caso, recomenda-se definir este parâmetro como true. O StarRocks então remove os colchetes externos ([]) e importa cada array interno como uma linha separada. Se definido como false, o StarRocks analisa todo o arquivo de dados JSON como um único array e o importa como uma única linha.

  [{"category":1,"author":2},{"category":3,"author":4}]
  

  • Com o parâmetro definido como true, o StarRocks analisa {"category":1,"author":2} e {"category":3,"author":4} como duas linhas distintas, importando-as para as respectivas linhas na tabela de destino.

  • Com o parâmetro definido como false, o StarRocks analisa todo o array JSON como uma única linha e o importa para a tabela de destino.

• ignore_json_size: define se o tamanho do corpo JSON em uma requisição HTTP deve ser verificado.

  Nota

  Por padrão, o tamanho do corpo JSON em uma requisição HTTP não pode exceder 100 MB. Se ultrapassar 100 MB, a seguinte mensagem de erro será retornada: The size of this batch exceed the max size [104857600] of json type data data [8617627793].Set ignore_json_size to skip check,although it may lead huge memory consuming. Para evitar esse erro, adicione ignore_json_size: true ao cabeçalho da requisição HTTP para ignorar a verificação de tamanho do corpo JSON.

• compression: especifica o algoritmo de compressão usado durante a transmissão de dados do Stream Load. Algoritmos compatíveis: GZIP, BZIP2, LZ4_FRAME e ZSTD.

• strict_mode: define se o modo estrito deve ser ativado.

  Valores válidos:

  • true: Ativa o modo estrito. O StarRocks filtra linhas inválidas, importa apenas as válidas e retorna detalhes sobre os dados inválidos.

  • false: Desativa o modo estrito. O StarRocks converte campos com falha de conversão para valores NULL e importa as linhas contendo esses valores NULL juntamente com as linhas de dados válidas.

  Valor padrão: false.

Sim

Nenhum

column

Colunas de destino para sincronização dos dados.

Sim

Nenhum

loadUrl

Endereço IP e porta HTTP do nó frontend (FE) do StarRocks. A porta padrão geralmente é 8030. Se houver múltiplos nós FE, especifique todos eles separados por vírgulas (,).

Sim

Nenhum

table

Tabela de destino para sincronização dos dados.

Sim

Nenhum

preSql

Instruções SQL a serem executadas antes do início da tarefa de sincronização. Por exemplo, execute TRUNCATE TABLE tablename para limpar dados existentes na tabela de destino.

Não

Nenhum

postSql

Instruções SQL a serem executadas após a conclusão da tarefa de sincronização.

Não

Nenhum

maxBatchRows

Número máximo de linhas a serem gravadas por lote.

Não

500000

maxBatchSize

Tamanho máximo de dados a serem gravados por lote, em bytes.

Não

5242880

strategyOnError

Política para tratamento de erros ocorridos durante gravações em lote.

Valores válidos:

• exit: Se ocorrer um erro de escrita, a tarefa falha e encerra.

• batchDirtyData: Se ocorrer um erro de escrita, a tarefa registra o lote de dados atual como dados sujos.

Valor padrão: exit.

Não

exit