Para garantir uma migração tranquila de um grupo de recursos legado do DataWorks para um grupo de recursos serverless, avalie primeiro o consumo de recursos das tarefas existentes. Essa análise permite selecionar um grupo de recursos serverless com capacidade adequada para executar todas as tarefas. Este tópico apresenta exemplos para estimar as CUs necessárias, explica os possíveis impactos da troca e orienta durante o processo de migração.
Novos grupos de recursos
O DataWorks oferece suporte a grupos de recursos dedicados para Data Integration, agendamento e DataService Studio. No entanto, é necessário adquirir e configurar esses grupos separadamente. Para simplificar o gerenciamento de recursos e unificar a experiência do usuário, o DataWorks introduziu os grupos de recursos serverless. Um único grupo de recursos serverless atende a Data Integration, agendamento e DataService Studio, simplificando as interações entre grupos de recursos e melhorando a consistência operacional.
Grupos de recursos serverless versus legados
Os grupos de recursos legados possuem variantes exclusivas e públicas, cada uma vinculada a um único recurso.
|
Recurso |
Grupo de recursos serverless |
Grupos de recursos legados |
|
Escopo |
Compatível com todos os recursos do DataWorks |
Exige aquisições separadas por recurso |
|
Faturamento |
Pagamento conforme o uso e assinatura |
Exclusivo: apenas assinatura. Público: apenas pagamento conforme o uso |
|
Dimensionamento |
Dimensione CUs sem afetar tarefas em execução |
O dimensionamento (upgrade/downgrade de especificações ou adição/remoção de nós) interrompe tarefas em execução |
|
Compra mínima |
2 CUs; dimensione em incrementos de 1 CU |
Um nó com 4 vCPUs e 8 GB de memória; dimensione em incrementos de nó completo |
|
Segurança de rede |
Vinculado à sua VPC com controle total de rede |
Endpoints públicos gerenciados pelo DataWorks e compartilhados entre locatários |
|
Status de desenvolvimento |
Em desenvolvimento ativo como tipo de recurso padrão |
Sendo descontinuado; nenhum novo recurso planejado |
Faturamento
Antes da troca, consulte Faturamento de grupos de recursos legados.
Após a troca, consulte Faturamento de grupos de recursos serverless.
Procedimento
Etapa 1: Localizar tarefas no grupo de recursos
Data Integration
Na página Data Integration:
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
No painel de navegação à esquerda, clique em Synchronization Task. Na área Task List, clique em Expand e filtre por Resource Group para localizar o grupo de recursos do Data Integration que deseja migrar.
Na página Data Studio:
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha na coluna Actions.
Ao lado de Project Directory, clique no ícone
para abrir a página de operações em lote para nós.Use o Filter para encontrar o grupo de recursos que deseja migrar e selecione os tipos de nó relacionados: Real-time Synchronization e Offline Synchronization.
Na página legada de Data Development:
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
No painel de navegação à esquerda, clique em DataStudio. Localize o fluxo de negócios de destino, clique com o botão direito nele e selecione Batch Operation.
Defina Node Type como Batch Sync e Real-time Synchronization. Para Resource Group for Data Integration, selecione o grupo de recursos do Data Integration que deseja migrar.
Tarefas de agendamento
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
No painel de navegação à esquerda, escolha e use o filtro Resource Group for Scheduling para localizar o grupo de recursos a ser migrado.
DataService Studio
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to DataService Studio.
No painel de navegação à esquerda, clique em Service Development e, em seguida, clique no ícone
para acessar a página Batch Operation. Filtre por Resource Group para encontrar o grupo de recursos do DataService Studio que deseja migrar.
Etapa 2: Estimar o tamanho necessário
Após migrar para um grupo de recursos serverless, haverá cobrança de taxas de computação para tarefas de computação de dados, como PyODPS2 e EMR Hive.
Antes da troca, avalie o consumo de recursos das tarefas existentes de sincronização, agendamento e DataService Studio. Isso ajuda a determinar o tamanho do grupo de recursos serverless a ser adquirido e garante que ele possa lidar com suas cargas de trabalho.
Data Integration
Sincronização em lote
|
Simultaneidade da tarefa de sincronização em lote |
Especificações recomendadas |
Especificações mínimas |
|
<4 |
0,5 CU |
0,5 CU |
|
>=4 |
|
Sincronização em tempo real
|
Tipo de tarefa de sincronização |
Especificações recomendadas |
Especificações mínimas |
|
|
Sincronização em tempo real do MySQL |
1 banco de dados |
2 CU |
Especificações mínimas para executar uma tarefa de sincronização em tempo real: 1 CU |
|
2 a 5 bancos de dados |
2 CU |
||
|
6 ou mais bancos de dados |
2 CU |
||
|
Sincronização em tempo real do Kafka |
1 CU |
||
|
Outras tarefas em tempo real de tabela única |
1 CU |
||
|
Sincronização em tempo real de banco de dados completo |
- |
Especificações mínimas para executar uma tarefa de sincronização de banco de dados completo: 2 CU |
|
Agendamento de tarefas
Um grupo de recursos serverless suporta no máximo 200 instâncias simultâneas. Não é necessário considerar as especificações de CU. A simultaneidade padrão é 50, e você pode definir a simultaneidade máxima de agendamento de tarefas como 200 na página de detalhes do grupo de recursos.
Data Service
|
QPS máximo |
Especificações mínimas |
Disponibilidade do serviço (SLA) |
|
500 |
4 CU |
99,95% |
|
1000 |
8 CU |
|
|
2000 |
16 CU |
Computação de dados
Cada tarefa de computação de dados possui uma alocação padrão de CU. Para obter detalhes, consulte Tipos de tarefas e consumo de CU.
Etapa 3: Adquirir um grupo de recursos serverless
Com base no tamanho estimado na etapa anterior, adquira um grupo de recursos serverless. Para obter instruções, consulte Usar um grupo de recursos serverless.
Etapa 4: Migrar para o grupo serverless
-
Migrar o grupo de recursos para Data Integration
NotaApós migrar para um grupo de recursos serverless, o DataWorks define automaticamente a contagem recomendada de CUs com base na configuração original da tarefa. Caso precise definir manualmente a contagem de CUs para o grupo de recursos, consulte as recomendações em Etapa 2: Estimar o tamanho necessário.
-
Migrar o grupo de recursos para tarefas de agendamento
NotaUma parte da cota do grupo de recursos é alocada para a configuração de CU para tarefas otimizadas para computação, dependendo se a computação da tarefa ocorre dentro de um grupo de recursos do DataWorks. Ao alterar o grupo de recursos de agendamento, o grupo utilizado para computação de tarefas também é atualizado.
-
Migrar o grupo de recursos para DataService Studio
NotaAntes de migrar, defina uma cota para o DataService Studio. Sem essa definição, não será possível selecionar o grupo de recursos serverless durante a migração. Para obter instruções sobre como definir uma cota, consulte Alocar uma cota de CU para uma tarefa.
Próximas etapas
Após migrar para o grupo de recursos serverless, cancele a assinatura do grupo de recursos legado caso não precise mais dele. Para obter instruções, consulte Referência geral: Cancelar assinatura de um produto por assinatura.