DataWorks:Fonte de dados MySQL

Parâmetro

Descrição

Data Source Name

O nome da fonte de dados deve ser exclusivo dentro do workspace. Recomendamos usar um nome que identifique claramente o negócio e o ambiente, por exemplo, rds_mysql_order_dev.

Configuration Mode

Selecione o modo de instância da Alibaba Cloud. Para mais informações sobre modos de configuração, consulte Cenário 1: Modo de Instância (Conta Cloud Atual) e Cenário 2: Modo de Instância (Outra Conta Cloud).

Alibaba Cloud Account

Selecione a conta cloud à qual a instância pertence. Se selecionar Another Alibaba Cloud Account, configure as permissões entre contas. Para mais informações, consulte Autorização Entre Contas (RDS, Hive ou Kafka).

Se selecionar outra conta cloud, forneça as seguintes informações:

• ID da conta principal: O ID da conta principal proprietária da instância.

• Nome da função RAM: A função RAM fornecida pela outra conta cloud. Essa função deve ter as permissões necessárias para acessar a instância de destino.

Region

A região da instância.

Instance

Selecione o nome da instância à qual se conectar.

Standby library settings

Se sua instância RDS possuir uma instância somente leitura (instância standby), configure as tarefas para ler dados dela. Isso evita que operações de leitura interfiram no desempenho da instância primária.

Instance Address

Após selecionar a instância correta, clique em Get Latest Address para visualizar informações como endereço público/privado, VPC e vSwitch.

Database

O nome do banco de dados ao qual a fonte de dados se conecta. Certifique-se de que o usuário especificado tenha as permissões necessárias para acessar este banco de dados.

Access identity

Selecione a origem da credencial que o DataWorks usa para acessar o MySQL. As seguintes opções são suportadas:

• Username and password: Insira o username e a password do banco de dados MySQL. O DataWorks armazena essas informações com criptografia simétrica. Se utilizar uma instância RDS, crie e gerencie-as na seção de account management da instância.

• Key Management Service: Utilize um segredo genérico hospedado no Alibaba Cloud Key Management Service (KMS). Primeiro, crie um segredo genérico no KMS. Para mais informações, consulte Gerenciar e usar segredos genéricos. Em seguida, na fonte de dados, selecione a Kms Region onde reside o segredo genérico do KMS e escolha o segredo genérico alvo na KMS List. O conteúdo de um segredo genérico do KMS suporta os dois formatos JSON a seguir:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Nota

  Após a alteração do conteúdo de um segredo genérico do KMS, o DataWorks mantém o segredo em cache por até 5 minutos. O novo segredo entra em vigor em, no máximo, 5 minutos.

Support OSS binlog reading

Se ativado, o DataWorks tenta buscar binlogs no OSS quando os binlogs do RDS estiverem inacessíveis. Isso evita interrupções nas tarefas de sincronização em tempo real. Para mais informações, consulte Configurar autorização para leitura de binlogs do OSS. Com base na sua configuração de autorização, defina a OSS binlog access identity.

Authentication Method

Selecione sem autenticação ou autenticação SSL. Se optar pela autenticação SSL, certifique-se de que ela também esteja ativada na instância. Prepare o arquivo de certificado e faça upload dele em Authentication File Management.

Version

Faça login no servidor MySQL e execute a consulta SELECT VERSION() para verificar o número da versão.

Parâmetro

Descrição

Data Source Name

O nome da fonte de dados deve ser exclusivo dentro do workspace. Recomendamos usar um nome que identifique claramente o negócio e o ambiente, por exemplo, rds_mysql_order_dev.

Configuration Mode

Selecione User-created Data Store with Public IP Addresses. Neste modo, uma URL JDBC é usada para conectar-se ao banco de dados.

Connection string preview

Após inserir o endereço de conexão e o nome do banco de dados, o DataWorks gera automaticamente uma prévia da URL JDBC.

Connection Address

Endereço do host: Insira o endereço de acesso real do servidor de banco de dados. Certifique-se de que o endereço seja acessível via rede pelo grupo de recursos do DataWorks. Cenários comuns incluem:

• Acesso dentro da mesma VPC: Insira o endereço IP interno (privado).

• Acesso pela Internet ou através de um gateway NAT: Insira o endereço IP público ou endereços IP NAT.

Se o banco de dados for uma instância Alibaba Cloud RDS, encontre o endereço na página Database Connection nos detalhes da instância.

Número da porta: A porta do banco de dados. O valor padrão é 3306.

Database Name

O nome do banco de dados ao qual a fonte de dados se conecta. Certifique-se de que o usuário especificado tenha as permissões necessárias para acessar este banco de dados.

Access identity

Selecione a origem da credencial que o DataWorks usa para acessar o MySQL. As seguintes opções são suportadas:

• Username and password: Insira o username e a password do banco de dados MySQL. O DataWorks armazena essas informações com criptografia simétrica. Se utilizar uma instância RDS, crie e gerencie-as na seção de account management da instância.

• Key Management Service: Utilize um segredo genérico hospedado no Alibaba Cloud Key Management Service (KMS). Primeiro, crie um segredo genérico no KMS. Para mais informações, consulte Gerenciar e usar segredos genéricos. Em seguida, na fonte de dados, selecione a Kms Region onde reside o segredo genérico do KMS e escolha o segredo genérico alvo na KMS List. O conteúdo de um segredo genérico do KMS suporta os dois formatos JSON a seguir:

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Nota

  Após a alteração do conteúdo de um segredo genérico do KMS, o DataWorks mantém o segredo em cache por até 5 minutos. O novo segredo entra em vigor em, no máximo, 5 minutos.

Version

Faça login no servidor MySQL e execute a consulta SELECT VERSION() para verificar o número da versão.

Authentication Method

Selecione sem autenticação ou autenticação SSL. Se optar pela autenticação SSL, certifique-se de que ela também esteja ativada na instância. Prepare o arquivo de certificado e faça upload dele em Authentication File Management.

Advanced Parameters

Parameter: Selecione um parâmetro suportado na lista suspensa, por exemplo, connectTimeout.

Value: Insira um valor apropriado para o parâmetro selecionado, por exemplo, 3000.

A URL JDBC será então atualizada automaticamente para: jdbc:mysql://192.168.90.28:3306/test?connectTimeout=3000.

Por exemplo, se encontrar erros relacionados a fuso horário ou precisar especificar um fuso horário, clique em Add Property, selecione serverTimezone como parâmetro e insira o fuso horário desejado, como Asia/Shanghai. Salve a configuração da fonte de dados e execute a tarefa novamente.

Parâmetro

Descrição

Obrigatório

Padrão

datasource

Nome da fonte de dados de leitura. Deve corresponder a uma fonte de dados configurada no editor de código.

Sim

Nenhum

table

Nome da tabela de origem a ser sincronizada. Uma tarefa do Data Integration só pode ler dados de uma tabela lógica por vez.

Sim

Nenhum

column

Array JSON que especifica as colunas a serem lidas da tabela de origem. Para selecionar todas as colunas, use ["*"].

• Seleção de colunas: Exporte um subconjunto de colunas.

• Reordenação de colunas: Exporte colunas em uma ordem diferente do esquema da tabela.

• Valores constantes: Configure valores constantes seguindo a sintaxe SQL do MySQL. Exemplo: ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3",true].

  • id é um nome de coluna comum.

  • table é um nome de coluna que é uma palavra-chave reservada.

  • 1 é uma constante inteira.

  • 'mingya.wmy' é uma constante string. Deve estar entre aspas simples.

  • Tratamento de valores null:

    • " " representa uma string contendo um único espaço.

    • null representa um valor NULL.

    • 'null' representa a string literal "null".

  • to_char(a+1) é uma função de conversão de string.

  • 2.3 é um número de ponto flutuante.

  • true é um valor booleano.

• Especifique explicitamente as colunas no parâmetro column. Ele não pode estar vazio.

Sim

Nenhum

splitPk

Quando o MySQL Reader extrai dados, especificar o parâmetro splitPk habilita a fragmentação de dados no campo especificado. O Data Integration então inicia tarefas concorrentes para melhorar a eficiência da sincronização.

• Para melhor desempenho, use a chave primária da tabela como splitPk.

• Atualmente, splitPk suporta divisão de dados apenas para tipos inteiros. Não há suporte para outros tipos, como string, ponto flutuante ou data. Se especificar um tipo de dados não suportado, o recurso splitPk será ignorado e um único canal será usado para sincronização.

• Se splitPk não for especificado ou seu valor estiver vazio, a tabela será sincronizada através de um único canal.

Não

Nenhum

splitFactor

Fator de fragmentação. Controla quantos shards são criados. Se a concorrência estiver ativada, os dados serão divididos em concurrency × splitFactor shards. Por exemplo, se a concorrência for 5 e splitFactor for 5, os dados serão divididos em 25 shards processados por 5 threads simultâneas.

Não

5

where

Condição de filtro. Em um cenário típico, para sincronizar apenas os dados do dia atual, defina a condição where como gmt_create > $bizdate.

• A cláusula where permite realizar sincronização incremental de forma eficaz. Se não especificar a instrução where, incluindo não fornecer chave ou valor para where, a sincronização será tratada como sincronização completa de dados.

• Não utilize cláusulas como LIMIT 10, pois elas não são válidas em uma cláusula WHERE do MySQL.

Não

Nenhum

querySql (Disponível apenas no editor de código; não suportado na interface visual.)

Em alguns casos, o parâmetro where é insuficiente para a filtragem necessária. Use este parâmetro para definir uma consulta SQL personalizada. Quando configurado, o sistema ignora os parâmetros tables, columns e splitPk e usa esta consulta diretamente. Por exemplo, para sincronizar dados de um join de múltiplas tabelas, use select a,b from table_a join table_b on table_a.id = table_b.id. O parâmetro querySql tem prioridade sobre table, column, where e splitPk. O datasource é usado para analisar informações como nome de usuário e senha.

Não

Nenhum

useSpecialSecret

Especifica se deve usar a senha individual de cada fonte de dados quando múltiplas fontes forem configuradas. Valores válidos:

• true

• false

Se múltiplas fontes de dados tiverem nomes de usuário e senhas diferentes, defina este parâmetro como true para usar as credenciais de cada respectiva fonte de dados.

Não

false

Parâmetro

Descrição

Obrigatório

Padrão

datasource

Nome da fonte de dados de destino. Deve corresponder a uma fonte de dados configurada no editor de código.

Sim

Nenhum

table

Nome da tabela de destino.

Sim

Nenhum

writeMode

Modo de escrita. As opções suportadas correspondem às instruções MySQL INSERT INTO, ON DUPLICATE KEY UPDATE e REPLACE INTO:

• insert: Se ocorrer conflito de chave primária ou índice único, a tarefa não grava as linhas conflitantes e as registra como dados incorretos.

  Se configurar a tarefa no modo script, defina writeMode como insert.

• on duplicate key update: Se não houver conflito de chave primária ou índice único, comporta-se igual a insert into. Se houver conflito, atualiza os valores dos campos especificados com os valores da nova linha e grava os dados no MySQL.

  Se configurar a tarefa no modo script, defina writeMode como update.

• replace into: Quando não há conflito de chave primária ou índice único, comporta-se igual a insert into. Se houver conflito, primeiro exclui a linha original e depois insere a nova linha. Isso significa que a nova linha substitui todos os campos da linha original.

  Se configurar a tarefa no modo script, defina writeMode como replace.

Não

insert

nullMode

Especifica a política para tratar valores NULL da origem. Valores válidos:

• writeNull: Se um campo de origem for NULL, um valor NULL será gravado no campo de destino.

• skipNull: Se um campo de origem for NULL, o campo de destino é omitido na operação de escrita, permitindo que o valor padrão do banco de dados seja aplicado. Se nenhum valor padrão estiver definido, o resultado geralmente será NULL. Especifique as colunas aplicáveis no parâmetro skipNullColumn.

Não

writeNull

skipNullColumn

Quando nullMode está definido como skipNull, as colunas especificadas por este parâmetro não são forçadas a NULL. Em vez disso, seus respectivos valores padrão são usados, se disponíveis.

Formato: ["c1","c2",...]. As colunas especificadas, como c1 e c2, devem ser um subconjunto das colunas definidas no parâmetro column.

Não

Todas as colunas configuradas para a tarefa.

column

Colunas de destino para escrita, especificadas como um array JSON de strings. Exemplo: "column":["id","name","age"]. Para gravar em todas as colunas na ordem do esquema, use um asterisco (). Exemplo: "column":[""].

Sim

Nenhum

preSql

Uma ou mais instruções SQL a serem executadas antes do início da tarefa de sincronização. A interface visual suporta apenas uma instrução, enquanto o editor de código suporta várias. Por exemplo, limpe dados existentes de uma tabela: TRUNCATE TABLE tablename.

Não

Nenhum

postSql

Uma ou mais instruções SQL a serem executadas após a conclusão da tarefa de sincronização. A interface visual suporta apenas uma instrução, enquanto o editor de código suporta várias. Por exemplo, adicione uma coluna de timestamp usando a seguinte instrução: ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Não

Nenhum

batchSize

Número de registros por lote de escrita. Valores maiores reduzem idas e vindas na rede e podem melhorar o throughput, mas definir um valor muito alto pode causar erro de falta de memória (OOM).

Não

256

updateColumn

Quando writeMode está definido como update, este parâmetro especifica quais colunas atualizar quando ocorrer conflito de chave primária ou índice único. Especifique as colunas em um array JSON. Exemplo: "updateColumn":["name","age"].

Não

Nenhum