Este tópico descreve os recursos das tarefas de sincronização serverless no Data Integration e explica como configurá-las.
Limites
Regiões compatíveis: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), Reino Unido (Londres), EUA (Vale do Silício), EUA (Virgínia), Japão (Tóquio), Alemanha (Frankfurt), Malásia (Kuala Lumpur).
-
Tipos de sincronização compatíveis:
MySQL para Hologres: Sincronização em tempo real de um banco de dados inteiro
MySQL para MaxCompute: Sincronização em tempo real de um banco de dados inteiro
MySQL para StarRocks: Sincronização em tempo real de um banco de dados inteiro
Este recurso é compatível apenas com fontes de dados que pertencem à sua conta Alibaba Cloud e estão na região atual.
Observações
As tarefas de sincronização serverless não utilizam grupos de recursos, o que permite concentrar-se na própria tarefa.
Não é necessário configure a conectividade de rede para tarefas de sincronização serverless. No entanto, os blocos CIDR da VPC associados às fontes de dados de origem e destino não devem se sobrepor.
As tarefas de sincronização serverless operam no modelo pagamento conforme o uso. Ao iniciar uma tarefa, o sistema gera automaticamente um Order ID. Utilize esse Order ID para visualizar informações detalhadas de faturamento no sistema de pedidos da Alibaba Cloud. Para mais informações sobre faturamento, consulte Métricas de desempenho dos grupos de recursos serverless do DataWorks.
A cobrança de uma tarefa serverless no modelo pagamento conforme o uso ocorre apenas durante a execução. A cobrança cessa quando a tarefa para. Caso a tarefa não seja mais necessária, exclua-a. Esta operação é irreversível. A exclusão de uma tarefa também libera o pedido associado.
Para visualizar as taxas incorridas por uma tarefa serverless, utilize o respectivo Order ID de faturamento em Orders.
Procedimento
Etapa 1: Crie uma tarefa serverless
-
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
No painel de navegação à esquerda, clique em Serverless Synchronization Task.
Na área Serverless Synchronization Task, selecione uma Source e um Destination e clique em Create Serverless Synchronization Task.
Etapa 2: Configure informações básicas
Para utilizar uma fonte de dados existente, clique em Use Existing Data Source e selecione uma opção na lista. O sistema recupera automaticamente as informações da fonte de dados.
Não é necessário adicionar previamente as fontes de dados de Data Source e Destination no Data Integration. Configure diretamente as informações detalhadas da Data Source ou do Destination nesta página.
Após configure as informações de origem e destino, clique em Test. Para instâncias do Alibaba Cloud RDS e Hologres, o teste de conectividade é aprovado automaticamente se nenhuma lista de permissões de IP estiver configurada. Caso exista uma lista de permissões de IP configurada, adicione os endereços IP necessários à lista. Para obter a lista de endereços IP, consulte Conectividade de Rede e Configuração de Lista de Permissões.
Etapa 3: Configuração da tarefa
Siga as instruções na tela para definir as configurações de sincronização de acordo com o tipo específico da sua tarefa.
Etapa 4: Concluir a configuração
Após configure as informações anteriores, clique em Complete.
Ao clicar em Complete pela primeira vez, o sistema executa automaticamente uma Configuration Check. Observe que esta Configuration Check não impede a ação de Complete e serve apenas como verificação prévia.
Iniciar a tarefa
O início da tarefa aciona outra Configuration Check. Note que esta Configuration Check é obrigatória. Se a verificação falhar, não será possível iniciar a tarefa.
Os itens de uma verificação de configuração variam dependendo da tarefa de sincronização.
Ao iniciar uma tarefa pela primeira vez, o sistema verifica se o usuário possui as permissões necessárias. Essas permissões são as mesmas exigidas para adquirir grupos de recursos de uso geral serverless no modelo pagamento conforme o uso. Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem iniciar a tarefa.
Detalhes da tarefa
Clique em uma entrada na coluna Name/ID ou Execution Overview para acessar a página de detalhes da tarefa.
Informações básicas: incluem dados da fonte de dados da tarefa, Order ID e plano de sincronização.
Status de execução: exibe o status de execução de cada etapa na tarefa de sincronização. Também é possível visualizar o log de execução, detalhes de failover e utilização de recursos.
Informações detalhadas: abrangem detalhes sobre migração de esquema, inicialização completa de dados e sincronização em tempo real.
Modificação da tarefa
Na coluna Actions da tarefa desejada, clique em Edit para acessar a página de configuração da tarefa.
Adicione, exclua ou modifique as tabelas a serem sincronizadas e clique em Complete.
-
Na coluna Actions, clique em Apply Updates.
Ao clicar em Apply Updates, o sistema executa automaticamente uma verificação prévia. Se a verificação falhar, a ação Apply Updates será bloqueada.
A verificação para Apply Updates contém menos itens do que a verificação do início inicial. Como os recursos já foram inicializados, a fase de preparação de recursos é ignorada ao executar Apply Updates, diferentemente do que ocorre durante o initial start.
Apêndice
Detalhes do pedido da tarefa
Diferentemente de outros tipos de tarefas de sincronização, as tarefas de sincronização serverless não utilizam grupos de recursos. Elas são liquidadas com base em pedidos específicos da tarefa e operam no modelo pagamento conforme o uso.
A cobrança de uma tarefa serverless no modelo pagamento conforme o uso ocorre apenas durante a execução. A cobrança cessa quando a tarefa para. Caso a tarefa não seja mais necessária, exclua-a. Esta operação é irreversível. A exclusão de uma tarefa também libera o pedido associado.
Consulte um pedido das seguintes maneiras:
Clique em uma entrada na coluna Name/ID ou Execution Overview para acessar a página de detalhes da tarefa.
Na área Basic Information, obtenha o Order ID.
Acesse a página Orders da Alibaba Cloud e pesquise o pedido utilizando o Order ID.
Configuração avançada
Fonte de sincronização e regras
Por padrão, a tarefa sincroniza dados para um esquema e tabelas de destino com os mesmos nomes da origem. A tarefa cria automaticamente o esquema ou as tabelas no destino caso não existam. Utilize também as opções Customize Mapping Rules for Destination Schema Names e Customize Mapping Rules for Destination Table Names para definir os nomes finais do esquema ou das tabelas no destino. Isso permite substituir um prefixo nos nomes de origem por um prefixo diferente para os nomes de destino.
Tabela de destino
Defina as propriedades da tabela de destino. Por exemplo, especifique se os dados serão gravados em uma tabela existente ou nova, adicione um Field, indique se a gravação será em uma tabela particionada e defina o nome do Partition Field, o Storage Mode e a Value assignment.
Nesta etapa, após clicar no botão Apply and Refresh Mapping, o sistema mapeia as tabelas de origem e destino com base nas regras configuradas.
Regras de gravação
Se seus dados de origem envolverem operações DDL ou DML frequentes, configure uma política de processamento de mensagens DDL ou DML para garantir a integridade dos dados no destino. Para mais informações, consulte Regras de Processamento de Mensagens DDL e Políticas de Processamento de Mensagens DML.