DataWorks:Fonte de dados SQL Server

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da fonte de dados. O modo script suporta a adição de fontes de dados. O valor aqui deve corresponder ao nome da fonte de dados adicionada.

Sim

Nenhum

table

Nome da tabela a ser sincronizada. Um único job pode sincronizar apenas uma tabela.

Sim

Nenhum

column

Conjunto de colunas a serem sincronizadas da tabela configurada, descrito como um array JSON. Por padrão, todas as colunas são usadas, por exemplo [ * ].

• Há suporte para seleção de colunas. Ou seja, é possível exportar apenas algumas colunas.

• A reordenação de colunas é suportada. Isto é, as colunas não precisam ser exportadas na ordem do schema da tabela.

• Constantes são aceitas. Elas devem seguir a sintaxe SQL do MySQL, por exemplo ["id", "table","1", "'mingya.wmy'", "'null'", "to_char(a+1)", "2,3" , "true"] .

  • id é um nome de coluna comum.

  • table é um nome de coluna que contém uma palavra reservada.

  • 1 é uma constante inteira.

  • 'mingya.wmy' é uma constante string (observe as aspas simples obrigatórias).

  • 'null' é uma string.

  • to_char(a + 1) é uma expressão de função.

  • 2,3 é um número de ponto flutuante.

  • true é um valor booleano.

• O parâmetro column deve especificar explicitamente as colunas a serem sincronizadas e não pode estar vazio.

Sim

Nenhum

splitFactor

Fator de divisão. Permite configure em quantos shards os dados sincronizados serão divididos. Se a concorrência for configurada, os dados serão divididos em concurrency × splitFactor shards. Por exemplo, se concurrency = 5 e splitFactor = 5, os dados serão divididos em 5 × 5 = 25 shards executados em 5 threads concorrentes.

Não

5

splitPk

Ao extrair dados, especifique splitPk no SQL Server Reader indica o uso da coluna representada por splitPk para dividir os dados. O sistema de sincronização de dados então inicia tarefas concorrentes para melhorar a eficiência da sincronização.

• Recomenda-se usar a chave primária da tabela como splitPk, pois chaves primárias geralmente são distribuídas uniformemente, tornando os shards resultantes menos propensos a hotspots.

• Atualmente, o splitPk suporta apenas colunas inteiras para divisão; strings, ponto flutuante, data e outros tipos não são suportados. Se você especifique um tipo não suportado, o SQL Server Reader retornará um erro.

Não

Nenhum

where

Condição de filtro. O SQL Server Reader constrói uma instrução SQL usando column, table e where especificados, e extrai dados usando essa instrução SQL. Por exemplo, durante testes, defina where como limit 10. Em cenários reais de negócios, normalmente sincronizam-se os dados do dia atual, definindo where como gmt_create > ${bizdate}.

• A condição where permite uma sincronização incremental eficaz dos dados de negócio.

• Se where estiver vazio, a tabela inteira será sincronizada.

Não

Nenhum

querySql

Formato: "querysql" : "query statement". Em alguns cenários de negócios, o parâmetro where sozinho não consegue expressar as condições de filtro, então utilize este parâmetro para definir uma instrução SELECT personalizada. Quando este parâmetro é configurado, o sistema de sincronização de dados ignora os parâmetros de tabelas e colunas e usa diretamente este valor para filtrar dados. Por exemplo, para sincronizar dados após juntar várias tabelas, use select a,b from table_a join table_b on table_a.id = table_b.id. Ao configure querySql, o SQL Server Reader ignora as configurações de column, table e where.

Não

Nenhum

fetchSize

Este parâmetro define o número de linhas que o plugin busca do servidor de banco de dados em cada lote. Ele determina o número de idas e vindas na rede entre o Data Integration e o servidor, podendo melhorar o desempenho da extração.

Não

1024

driverVersion

Versão do driver do SQL Server. O padrão é 4,0. É possível especifique a versão 12.10, que suporta autenticação Active Directory Service Principal.

Não

4,0

Parâmetro

Descrição

Obrigatório

Valor padrão

datasource

Nome da fonte de dados. O modo script suporta a adição de fontes de dados. O valor aqui deve corresponder ao nome da fonte de dados adicionada.

Sim

Nenhum

table

Nome da tabela a ser sincronizada.

Sim

Nenhum

column

Colunas da tabela de destino onde os dados serão gravados, separadas por vírgulas. Por exemplo, "column":["id","name","age"]. Para gravar em todas as colunas em ordem, use *, por exemplo "column":["*"].

Sim

Nenhum

preSql

Instruções SQL a serem executadas antes do início da tarefa de sincronização de dados. No modo assistente, apenas uma instrução SQL é permitida; no modo script, múltiplas instruções são suportadas, por exemplo, para limpar dados antigos.

Não

Nenhum

postSql

Instruções SQL a serem executadas após a conclusão da tarefa de sincronização de dados. No modo assistente, apenas uma instrução SQL é permitida; no modo script, múltiplas instruções são suportadas, por exemplo, para adicionar um timestamp.

Não

Nenhum

writeMode

Modo de importação. O modo insert é suportado. Quando ocorre um conflito de chave primária ou índice único, o Data Integration trata o registro como dado incorreto, mas retém os dados originais.

Não

insert

batchSize

Número de registros confirmados em um único lote. Este valor pode reduzir significativamente o número de idas e vindas na rede entre o sistema de sincronização de dados e o SQL Server, melhorando o throughput geral. Se o valor for muito alto, o processo de sincronização pode ficar sem memória (OOM).

Não

1.024

driverVersion

Versão do driver do SQL Server. O padrão é 4,0. É possível especifique a versão 12.10, que suporta autenticação Active Directory Service Principal.

Não

4,0