AnalyticDB:Synchronize data using Zero-ETL

Conceitos principais

Fontes compatíveis

O Zero-ETL oferece suporte aos seguintes caminhos de sincronização de dados:

• PolarDB for MySQL para AnalyticDB for MySQL (este guia)

• ApsaraDB RDS for MySQL para AnalyticDB for MySQL. Para mais detalhes, consulte Use zero-ETL to synchronize data.

Benefícios

• Sem configuração de pipeline: Selecione os clusters de source e de destino para iniciar a sincronização automaticamente. Não é necessário código ETL nem ferramentas de terceiros.

• Custo zero: As tarefas Zero-ETL são gratuitas. A análise dos dados sincronizados no AnalyticDB for MySQL não gera cobranças adicionais.

• Agregação de múltiplas fontes: Sincronize dados de vários clusters PolarDB for MySQL em um único cluster AnalyticDB for MySQL para análises unificadas.

Regiões compatíveis

O Zero-ETL está disponível nas seguintes regiões: China (Beijing), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Zhangjiakou), China (Qingdao), China (Guangzhou), China (Hong Kong), Singapore, US (Silicon Valley) e US (Virginia).

Limites de tarefas

O número máximo de tarefas Zero-ETL por cluster AnalyticDB for MySQL depende do total de recursos reservados do cluster:

Exemplo: Um cluster com 48 ACUs resulta em 3 + 3 × [(48 − 24) ÷ 50] = 3 + 3 × 0 = 3 tarefas.

A contagem de ACUs varia conforme a edição do cluster:

Data Lakehouse Edition: ACUs = ACUs de recurso de computação reservado + ACUs de recurso de armazenamento reservado.

Data Warehouse Edition (modo elástico): ACUs = núcleos de recurso de computação + núcleos de recurso de I/O elástico.

Data Warehouse Edition (modo reservado): ACUs = núcleos de recurso de computação.

Se um cluster atingir o limite de tarefas, exclua as tarefas Zero-ETL não utilizadas no console do AnalyticDB for MySQL ou crie tarefas adicionais diretamente no console do Data Transmission service (DTS).

Pré-requisitos

Antes de começar, verifique se você possui:

• Um cluster AnalyticDB for MySQL e um cluster PolarDB for MySQL na mesma região. Para crie um cluster PolarDB for MySQL, consulte Purchase clusters

• Contas de banco de dados para ambos os clusters:

  • AnalyticDB for MySQL: Create a database account

  • PolarDB for MySQL: Create and manage a database account

• Log binário ativado para o cluster PolarDB for MySQL. Consulte Enable binary logging

Configure permissões

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:*",
                "acs:polardb:*:*:*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": [
                "acs:dts:*:*:*"
            ]
        }
    ]
}

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:dbcluster/am-2zeod8ax4b9a****",
                "acs:polardb:*:*:dbcluster/pc-bp13jqn4a26b0****"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": "acs:dts:*:*:*"
        }
    ]
}

Crie uma tarefa Zero-ETL

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo, selecione sua região. No painel de navegação à esquerda, clique em Clusters. Na página Clusters, clique na aba da edição correspondente ao seu cluster, localize-o e clique em seu ID.

2. Acesse a página de configuração do Zero-ETL:

   • Enterprise Edition, Basic Edition ou Data Lakehouse Edition: No painel de navegação à esquerda, escolha Data Ingestion > Database Data Synchronization.

   • Data Warehouse Edition: No painel de navegação à esquerda, escolha Data Transmission Service > Zero-ETL.

3. Clique em Create Zero-ETL Task. Na página Create Zero-ETL Task, configure os parâmetros do cluster de source e do cluster de destino:

   Se você selecionar SSL-encrypted , ative primeiro a criptografia SSL para o cluster PolarDB for MySQL. Consulte Configure SSL encryption .

   Parâmetro	Descrição
   Task name	Nome da tarefa Zero-ETL.
   Database type	Mecanismo do banco de dados de source. Selecione PolarDB for MySQL.
   Access method	Definido automaticamente como Alibaba Cloud Instance.
   Instance region	Região onde o cluster PolarDB for MySQL está localizado.
   PolarDB cluster ID	ID do cluster PolarDB for MySQL.
   Database account	Conta de banco de dados do cluster PolarDB for MySQL.
   Database password	Senha da conta do banco de dados.
   Encryption	Método de criptografia da conexão. Selecione Non-encrypted ou SSL-encrypted.

   Parâmetro	Descrição
   Database type	Definido automaticamente como AnalyticDB for MySQL 3.0.
   Access method	Definido automaticamente como Alibaba Cloud Instance.
   Instance region	Região onde o cluster AnalyticDB for MySQL está localizado.
   Instance ID	ID do cluster AnalyticDB for MySQL.
   Database account	Conta de banco de dados do cluster AnalyticDB for MySQL.
   Database password	Senha da conta do banco de dados.

4. Clique em Test Connectivity and Proceed. Defina as configurações de sincronização:

   Parâmetro	Descrição
   DDL and DML operations to be synchronized	Operações DML (INSERT, UPDATE, DELETE) e DDL (CREATE, ALTER, DROP, TRUNCATE) a serem sincronizadas. Todas as operações vêm selecionadas por padrão.
   Source objects and selected objects	Bancos de dados e tabelas a serem sincronizados.
   Advanced settings (optional)	Intervalos de nova tentativa para falhas de conexão e outros erros nos clusters de source e de destino.

5. Clique em Next: Configure Database and Table Fields. Configure os parâmetros de mapeamento de tabelas:

   Parâmetro	Descrição
   Database name	Nome do banco de dados selecionado.
   Table name	Nome da tabela selecionada.
   Primary key column	Coluna de chave primária da tabela.
   Distribution key	Coluna de chave de distribuição da tabela.
   Type	Tipo de tabela: tabela particionada ou tabela replicada.
   Definition status	Status de configuração da tabela. Altera de Undefined para Defined após a configuração dos campos da tabela.

6. Clique em Next: Save Task Settings and Precheck.

7. Após a conclusão bem-sucedida da pré-verificação, clique em Start.

   Se a pré-verificação falhar, revise os detalhes do erro e confirme se todos os pré-requisitos foram atendidos — log binário ativado no cluster PolarDB for MySQL, contas de banco de dados existentes em ambos os clusters e permissões adequadas para o usuário RAM.

A tarefa Zero-ETL aparecerá na página de configuração do Zero-ETL, onde é possível visualize o Name, Source/Destination e Status da tarefa.

Monitorar tarefas Zero-ETL e defina regras de alerta

Após iniciar uma tarefa Zero-ETL, configure o monitoramento e os alertas no CloudMonitor.

Visualize dados de monitoramento:

1. Faça login no console do CloudMonitor.

2. No painel de navegação à esquerda, escolha Cloud Service Monitoring > Cloud Service Monitoring.

3. Passe o mouse sobre o cartão AnalyticDB for MySQL e clique em AnalyticDB for mysql 3.0 - ZeroETL Latency.

4. Clique no ID do cluster para visualize os detalhes de monitoramento das suas tarefas Zero-ETL.

Crie uma regra de alerta:

1. No painel de navegação à esquerda, escolha Alerts > Alert Rules.

2. Clique em Create Alert Rule e configure os parâmetros do alerta. Defina Product como AnalyticDB for mysql 3.0 - ZeroETL Latency. Para mais detalhes, consulte Criar uma regra de alerta.

Crie uma política de assinatura:

1. No painel de navegação à esquerda, escolha Event Center > Event Subscription.

2. Clique em Create Subscription Policy e configure os parâmetros da assinatura. Para mais detalhes, consulte Gerenciar políticas de assinatura de eventos (recomendado).

   • Products: Selecione AnalyticDB for MySQL V3.0.

   • Event type: Selecione Abnormal ou Restore.

   • Event name: Selecione zero_etl_job_abnormal ou zero_etl_job_restore.

Próximos passos

Para sincronizar dados do ApsaraDB RDS for MySQL para o AnalyticDB for MySQL, consulte Use zero-ETL to synchronize data.