DataWorks:Fonte de dados do AnalyticDB for MySQL 3.0

Categoria de tipo

Tipo do AnalyticDB for MySQL 3.0

Inteiro

INT, INTEGER, TINYINT, SMALLINT e BIGINT

Ponto flutuante

FLOAT, DOUBLE e DECIMAL

String

VARCHAR

Data e hora

DATE, DATETIME, TIMESTAMP e TIME

Booleano

BOOLEAN

Tipo

Tipo de dados do AnalyticDB for MySQL 3.0

Inteiro

INT, INTEGER, TINYINT, SMALLINT e BIGINT

Ponto flutuante

FLOAT, DOUBLE e DECIMAL

String

VARCHAR

Data e hora

DATE, DATETIME, TIMESTAMP e TIME

Booleano

BOOLEAN

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da source de dados. No modo script, adicione uma source de dados. O valor deve corresponder exatamente ao nome da source de dados adicionada.

Sim

Nenhum

table

Tabela alvo da sincronização.

Sim

Nenhum

column

Colunas a serem sincronizadas da tabela configurada. Descreva os campos em um array JSON. Por padrão, todas as colunas são selecionadas, por exemplo, [ * ].

• Há suporte para seleção de colunas, permitindo exportar apenas as colunas desejadas.

• É possível reordenar colunas, de modo que a ordem de exportação pode diferir da ordem do schema da tabela.

• Valores constantes são aceitos. Siga a sintaxe do MySQL, por exemplo, [“id”, “table“, “1”, “‘bazhen.csy’”, “null”, “to_char(a + 1)”, “2,3” , “true”].

  • id é um nome de coluna comum.

  • table é um nome de coluna reservado.

  • 1 representa uma constante inteira.

  • bazhen.csy é uma constante string.

  • null indica um ponteiro nulo.

  • to_char(a + 1) é uma expressão de função para calcular o comprimento da string.

  • 2,3 corresponde a um número de ponto flutuante.

  • true é um valor booleano.

• column: especifique explicitamente um conjunto não vazio de colunas para sincronização.

Sim

Nenhum

splitPk

Durante a extração de dados pelo AnalyticDB for MySQL 3.0 Reader, especificar splitPk indica o uso do campo representado por splitPk para dividir os dados. A sincronização inicia tarefas concorrentes para aumentar a eficiência.

• Recomenda-se usar a chave primária da tabela como splitPk. Valores de chave primária geralmente têm distribuição uniforme, reduzindo a probabilidade de hotspots de dados nos shards resultantes.

• Atualmente, splitPk oferece suporte à divisão apenas de dados inteiros, não aceitando strings, números de ponto flutuante, datas ou outros tipos. Se você especifique um tipo incompatível, a configuração de splitPk será ignorada e a sincronização usará um único canal.

• Se splitPk não for definido, seja pela ausência do parâmetro splitPk ou por seu valor estar vazio, a leitura da tabela ocorrerá por um único canal.

Não

Nenhum

where

Condição de filtro. Em muitos cenários de negócios, sincronizam-se apenas os dados do dia atual. defina a condição where como gmt_create>$bizdate.

• O parâmetro where viabiliza a sincronização incremental de negócios. Caso a cláusula where não seja especificada, seja pela falta da chave where ou de seu valor, todos os dados serão sincronizados.

• Evite definir a condição where como LIMIT 10, pois isso não atende às restrições de uma cláusula WHERE do SQL no MySQL.

Não

Nenhum

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da source de dados. No modo script, adicione uma source de dados. O valor informado deve ser idêntico ao nome da source de dados criada.

Sim

Nenhum

table

Nome da tabela de destino da sincronização.

Sim

Nenhum

writeMode

Modo de gravação. escolha entre insert, replace ou update.

• insert: Os dados são gravados normalmente se não houver conflito de chave primária ou índice único. Em caso de conflito, a linha atual é ignorada sem atualização.

• replace: A gravação ocorre normalmente na ausência de conflitos de chave primária ou índice único. Se houver conflito, a linha conflitante é excluída antes da inserção da nova linha, substituindo todos os campos originais.

• update: Na falta de conflitos de chave primária ou índice único, os dados são gravados normalmente. Caso ocorra conflito, a nova linha substitui todos os campos da linha original.

  Nota

  Este modo tem suporte apenas no modo script.

Não

insert

column

Campos a serem gravados na tabela de destino, separados por vírgulas, como em "column": ["id", "name", "age"]. Para gravar todas as colunas em ordem, utilize , por exemplo: "column": [""].

Sim

Nenhum

preSql

Instruções SQL executadas antes da tarefa de sincronização. O modo assistente permite apenas uma instrução SQL; já o modo script aceita múltiplas instruções, como limpar dados antigos.

Não

Nenhum

postSql

Instruções SQL executadas após a conclusão da tarefa de sincronização. O modo assistente restringe a uma única instrução; o modo script possibilita várias instruções, como adicionar um timestamp.

Não

Nenhum

batchSize

Quantidade de registros enviados em cada lote. Esse ajuste reduz significativamente as interações de rede entre o sistema de sincronização e o MySQL, elevando o throughput geral. Valores excessivamente altos podem provocar erros de falta de memória (OOM) durante o processo.

Não

1.024