AnalyticDB:Use zero-ETL to synchronize data

Como funciona

Os processos tradicionais de extração, transformação e carga (ETL) exigem ferramentas separadas para cada fonte de dados, aumentam a sobrecarga operacional e introduzem latência que torna as análises quase em tempo real impraticáveis.

O zero-ETL elimina essas restrições. Selecione uma instância MongoDB de origem e um cluster AnalyticDB for MySQL de destino. O recurso cuida da extração, transformação e carga contínuas dos dados, permitindo que você concentre seus esforços na análise, e não na infraestrutura.

Caminhos de sincronização suportados

O AnalyticDB for MySQL oferece suporte à sincronização zero-ETL a partir de três origens:

• Do ApsaraDB RDS for MySQL para o AnalyticDB for MySQL. Consulte Usar zero-ETL para sincronizar dados.

• Do PolarDB for MySQL para o AnalyticDB for MySQL. Consulte Usar zero-ETL para sincronizar dados.

• Do ApsaraDB for MongoDB para o AnalyticDB for MySQL (este tópico).

Faturamento

As tarefas zero-ETL são gratuitas.

Limites

• Regiões suportadas: China (Pequim), China (Hangzhou), China (Xangai), China (Shenzhen), China (Zhangjiakou), China (Qingdao), China (Guangzhou), China (Hong Kong), Singapura, EUA (Vale do Silício) e EUA (Virgínia).

• Limites de tarefas por cluster: O número máximo de tarefas zero-ETL criáveis no console do AnalyticDB for MySQL depende do total de recursos reservados do cluster, medido em unidades de computação do AnalyticDB (ACUs). Caso atinja o limite, crie tarefas adicionais no console do Data Transmission Service (DTS) ou exclua tarefas não utilizadas no console do AnalyticDB for MySQL.

  • ACUs < 24: Máximo de 1 tarefa.

  • ACUs >= 24: Tarefas máximas = 3 + 3 × [(Total ACUs - 24) / 50], arredondando o valor entre colchetes para baixo. Exemplo: Um cluster com 48 ACUs resulta em [(48 - 24) / 50] = 0,48, arredondado para baixo para 0, totalizando um máximo de 3 tarefas.

  A forma como o total de ACUs é contabilizado varia conforme a edição do cluster: - Data Lakehouse Edition: ACUs de computação reservada + ACUs de armazenamento reservado. - Data Warehouse Edition: 1 ACU = 1 núcleo. - Modo elástico: núcleos de recursos de computação + núcleos de recursos de I/O elástico. - Modo reservado: apenas núcleos de recursos de computação.

• Arquitetura do MongoDB: Apenas a arquitetura de conjunto de réplicas é suportada.

Antes de começar

Certifique-se de ter:

• Um cluster AnalyticDB for MySQL e uma instância ApsaraDB for MongoDB na mesma região.

• Contas de banco de dados criadas tanto para o cluster quanto para a instância.

Configurar permissões

Conclua estas etapas antes de criar uma tarefa zero-ETL. Todos os passos utilizam o console do RAM.

1. Crie uma função vinculada ao serviço para o AnalyticDB for MySQL.

2. Conceda permissões a um usuário do RAM para gerenciar o AnalyticDB for MySQL.

3. Conceda permissões a um usuário do RAM para criar tarefas zero-ETL.

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:*",
                "acs:dds:*:*:*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": [
                "acs:dts:*:*:*"
            ]
        }
    ]
}

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:dbcluster/am-2zeod8ax4b9a****",
                "acs:dds:*:*:dbinstance/dds-t4n8aaa4dcdb****"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": "acs:dts:*:*:*"
        }
    ]
}

Criar uma tarefa zero-ETL

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, clique em Clusters e, em seguida, clique no ID do cluster.

2. Acesse a página de configuração zero-ETL correspondente à edição do seu cluster:

   • Enterprise Edition, Basic Edition ou Data Lakehouse Edition: Escolha .

   • Data Warehouse Edition: Escolha Data Transmission Service > Zero-ETL.

3. Clique em Create Zero-ETL Task. Na etapa Configure Source and Destination Databases, configure a instância de origem. Em seguida, configure o cluster de destino:

   Sobre o Migration Method : - O Oplog extrai logs em alta velocidade, resultando em baixa latência de sincronização incremental. O Oplog é habilitado por padrão em instâncias do ApsaraDB for MongoDB e bancos de dados MongoDB autogerenciados. Use Oplog, a menos que sua origem exija change streams. - O ChangeStream é obrigatório se a origem for uma instância do Amazon DocumentDB (cluster não elástico). Esta opção só está disponível quando os change streams estão habilitados na origem.

   Parâmetro	Descrição
   Task Name	Nome da tarefa zero-ETL.
   Database Type	Selecione MongoDB.
   Access Method	Definido automaticamente como Alibaba Cloud Instance.
   Instance Region	Região da instância ApsaraDB for MongoDB.
   Architecture	Apenas ReplicaSet é suportado.
   Migration Method	Selecione o método de sincronização incremental: Oplog (recomendado) ou ChangeStream. Consulte a nota abaixo.
   Instance ID	ID da instância ApsaraDB for MongoDB.
   Authentication Database	Banco de dados ao qual a conta pertence. O padrão é admin.
   Database Account	Conta de banco de dados da instância ApsaraDB for MongoDB.
   Database Password	Senha da conta do banco de dados.
   Encryption	Non-encrypted ou SSL-encrypted. Se você selecionar SSL-encrypted, primeiro ative a criptografia SSL na instância.

   Parâmetro	Descrição
   Database Type	Definido automaticamente como AnalyticDB for MySQL 3.0.
   Access Method	Definido automaticamente como Alibaba Cloud Instance.
   Instance Region	Região do cluster AnalyticDB for MySQL.
   Instance ID	ID do cluster AnalyticDB for MySQL.
   Database Account	Conta de banco de dados do cluster AnalyticDB for MySQL.
   Database Password	Senha da conta do banco de dados.

4. Clique em Test Connectivity and Proceed. Na etapa Configure Zero-ETL, configure o seguinte:

   Parâmetro	Descrição
   DDL and DML Operations to Be Synchronized	Operações DML a serem sincronizadas: INSERT, UPDATE e DELETE. Todas vêm selecionadas por padrão.
   Source Objects and Selected Objects	Objetos de origem a serem sincronizados.
   Advanced Settings (Optional)	Intervalos de nova tentativa para falhas de conexão e outros problemas entre a origem e o destino.

5. Clique em Next: Save Task Settings and Precheck.

6. Após a conclusão bem-sucedida da pré-verificação, clique em Start.

A tarefa aparece na página de zero-ETL configuration, onde é possível acompanhar seu Name, Source/Destination e Status.

Monitorar tarefas zero-ETL

Após iniciar uma tarefa, configure o monitoramento e alertas no CloudMonitor.