DataWorks:Fonte de dados StarRocks

Parâmetro

Descrição

Obrigatório

Padrão

datasource

Nome da fonte de dados StarRocks.

Sim

Nenhum

selectedDatabase

Nome do banco de dados StarRocks.

Não

Nome do banco de dados configurado na fonte de dados StarRocks.

column

Colunas da tabela de origem a serem sincronizadas. Para adicionar uma dica SET_VAR ao ler dados do StarRocks, inclua-a antes do primeiro nome de coluna no array. Por exemplo, para sincronizar a coluna id com a dica SET_VAR(enable_spill = true), defina o parâmetro column como [ "/+ SET_VAR(enable_spill = true)/ id"].

Sim

Nenhum

where

Condição de filtro. Por exemplo, para sincronizar apenas dados gerados no dia atual, defina a condição where como gmt_create>${bizdate}.

• A condição where permite a sincronização incremental de dados.

• Se nenhuma cláusula where for fornecida ou se o parâmetro where estiver vazio, uma sincronização completa de dados será executada.

Não

Nenhum

table

Tabela de origem de onde os dados serão sincronizados.

Sim

Nenhum

splitPk

Coluna utilizada para fragmentação paralela de dados durante a sincronização. Especificar este parâmetro melhora o desempenho. Para melhores resultados, use a chave primária da tabela, pois uma chave bem distribuída ajuda a evitar pontos de congestionamento de dados.

Não

Nenhum

Parâmetro

Descrição

Obrigatório

Padrão

datasource

Nome da fonte de dados StarRocks.

Sim

Nenhum

selectedDatabase

Nome do banco de dados StarRocks.

Não

Nome do banco de dados configurado na fonte de dados StarRocks.

loadProps

Parâmetros de solicitação para o StarRocks Stream Load. Ao importar dados CSV, configure os seguintes parâmetros. Se nenhuma configuração especial for necessária, use {}:

• column_separator: delimitador de coluna para importação CSV. Padrão: \t.

• row_delimiter: delimitador de linha para importação CSV. Padrão: \n. Se seus dados contiverem \t ou \n, especifique outros caracteres como delimitadores.

• session_variable: cabeçalho HTTP do StarRocks Stream Load que define variáveis de sessão durante o carregamento de dados. Separe múltiplas variáveis com vírgulas (,). Use este parâmetro para controlar o comportamento da sessão do StarRocks durante o carregamento, como o grupo de computação e o tempo limite.

  {"column_separator":"\\x01","row_delimiter":"\\x02","session_variable":"warehouse=qwe,query_timeout=600"}

  Todos os pares chave-valor configurados em loadProps são passados para a interface do StarRocks Stream Load como cabeçalhos HTTP. Portanto, é possível configurar qualquer parâmetro de cabeçalho aceito pelo StarRocks Stream Load, como session_variable, max_filter_ratio e timeout, dentro de loadProps.

O Stream Load também aceita a importação de dados JSON. Para isso, configure o seguinte parâmetro:

{
  "format": "json"
}

Os seguintes parâmetros estão disponíveis para o formato JSON:

• strip_outer_array: especifica se a estrutura de array mais externa deve ser removida. Valores válidos: true e false. Valor padrão: false.

  Os dados JSON a serem importados podem estar envolvidos por colchetes externos ([]) que representam um array. Nesse caso, defina este parâmetro como true. O StarRocks então remove os colchetes externos ([]) e importa cada array interno como uma linha separada. Se definido como false, o StarRocks analisa todo o arquivo de dados JSON como um único array e o importa como uma única linha.

  [{"category":1,"author":2},{"category":3,"author":4}]
  

  • Se definido como true, o StarRocks analisa {"category":1,"author":2} e {"category":3,"author":4} como duas linhas distintas e as importa para a tabela StarRocks de destino.

  • Se definido como false, o StarRocks analisa todo o array JSON como uma única linha e o importa para a tabela StarRocks de destino.

• ignore_json_size: especifica se o tamanho do corpo JSON em uma solicitação HTTP deve ser verificado.

  Nota

  Por padrão, o tamanho do corpo JSON em uma solicitação HTTP não pode exceder 100 MB. Se o tamanho do corpo JSON ultrapassar 100 MB, a seguinte mensagem de erro será retornada: The size of this batch exceed the max size [104857600] of json type data data [8617627793].Set ignore_json_size to skip check,although it may lead huge memory consuming. Para evitar esse erro, adicione ignore_json_size: true ao cabeçalho da solicitação HTTP para pular a verificação de tamanho do corpo JSON.

• compression: especifica o algoritmo de compressão a ser usado durante a transmissão de dados do Stream Load. Algoritmos aceitos: GZIP, BZIP2, LZ4_FRAME e ZSTD.

• strict_mode: especifica se o modo estrito deve ser ativado.

  Valores válidos:

  • true: Ativa o modo estrito. O StarRocks filtra linhas inválidas, importa apenas as válidas e retorna detalhes sobre os dados inválidos.

  • false: Desativa o modo estrito. O StarRocks converte campos com falha de conversão em valores NULL e importa as linhas contendo esses valores NULL juntamente com as linhas de dados válidas.

  Valor padrão: false.

Sim

Nenhum

column

Colunas de destino para as quais os dados serão sincronizados.

Sim

Nenhum

loadUrl

Endereço IP e porta HTTP do nó frontend (FE) do StarRocks. A porta padrão é 8030. Para múltiplos nós FE, especifique todos eles separados por vírgulas (,).

Sim

Nenhum

table

Tabela de destino para a qual os dados serão sincronizados.

Sim

Nenhum

preSql

Instruções SQL a serem executadas antes do início da tarefa de sincronização. Por exemplo, execute TRUNCATE TABLE tablename para limpar dados existentes na tabela de destino.

Não

Nenhum

postSql

Instruções SQL a serem executadas após a conclusão da tarefa de sincronização.

Não

Nenhum

maxBatchRows

Número máximo de linhas a serem gravadas por lote.

Não

500000

maxBatchSize

Tamanho máximo de dados a serem gravados por lote, em bytes.

Não

5242880

strategyOnError

Política para tratamento de erros ocorridos durante gravações em lote.

Valores válidos:

• exit: Se ocorrer um erro de gravação, a tarefa falha e encerra.

• batchDirtyData: Se ocorrer um erro de gravação, a tarefa registra o lote de dados atual como dados incorretos.

Valor padrão: exit.

Não

exit