Antes de migrar de um grupo de recursos legado do DataWorks para um grupo de recursos serverless, avalie o consumo de recursos das tarefas existentes e selecione um grupo de recursos serverless com capacidade adequada. Este tópico aborda exemplos de estimativa de CU, possíveis impactos e instruções detalhadas para a migração.
Novos grupos de recursos
O DataWorks oferece suporte a grupos de recursos dedicados para Data Integration, agendamento e DataService Studio, mas cada um deve ser adquirido e configurado separadamente. Os Serverless resource groups unificam esses três recursos em um único grupo, simplificando o gerenciamento e melhorando a consistência operacional.
Grupos de recursos serverless versus legados
Os grupos de recursos legados possuem variantes exclusivas e públicas, cada uma vinculada a um único recurso.
|
Recurso |
Grupo de recursos serverless |
Grupos de recursos legados |
|
Escopo |
Compatível com todos os recursos do DataWorks |
Exige aquisições separadas por recurso |
|
Faturamento |
Pagamento conforme o uso e assinatura |
Exclusivo: apenas assinatura. Público: apenas pagamento conforme o uso |
|
Dimensionamento |
Dimensione CUs sem afetar tarefas em execução |
O dimensionamento (atualização/redução de especificações ou adição/remoção de nós) interrompe tarefas em execução |
|
Compra mínima |
2 CUs; dimensione em incrementos de 1 CU |
Um nó com 4 vCPUs e 8 GB de memória; dimensione em incrementos de nó completo |
|
Segurança de rede |
Vinculado à sua VPC com controle total de rede |
Endpoints públicos gerenciados pelo DataWorks e compartilhados entre locatários |
|
Status de desenvolvimento |
Em desenvolvimento ativo como tipo de recurso padrão |
Sendo descontinuado; nenhum novo recurso planejado |
Faturamento
Antes da migração, consulte Billing for legacy resource groups.
Após a migração, consulte Billing for serverless resource groups.
Procedimento
Etapa 1: Localizar tarefas no grupo de recursos
Data Integration
Na página Data Integration:
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.
No painel de navegação à esquerda, clique em Synchronization Task. Na área Task List, clique em Expand e filtre por Resource Group para localizar o grupo de recursos do Data Integration que você deseja migrar.
Na página Data Studio:
Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha na coluna Actions.
Ao lado de Project Directory, clique no ícone
para abrir a página de operações em lote para nós.Use o Filter para encontrar o grupo de recursos que deseja migrar e selecione os tipos de nó relacionados: Real-time Synchronization e Offline Synchronization.
Na página legada de Data Development:
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
No painel de navegação à esquerda, clique em DataStudio. Localize o fluxo de negócios de destino, clique com o botão direito nele e selecione Batch Operation.
Defina Node Type como Batch Sync e Real-time Synchronization. Para Resource Group for Data Integration, selecione o grupo de recursos do Data Integration que você deseja migrar.
Tarefas de agendamento
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
No painel de navegação à esquerda, escolha e use o filtro Resource Group for Scheduling para encontrar o grupo de recursos a ser migrado.
DataService Studio
-
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to DataService Studio.
No painel de navegação à esquerda, clique em Service Development e, em seguida, clique no ícone
para acessar a página Batch Operation. Filtre por Resource Group para localizar o grupo de recursos do DataService Studio que você deseja migrar.
Etapa 2: Estimar o tamanho necessário
Após migrar para um grupo de recursos serverless, serão cobradas taxas de computação para data compute tasks, como PyODPS2 e EMR Hive.
Antes de migrar, avalie o consumo de recursos das tarefas existentes de sincronização, agendamento e DataService Studio para determinar o tamanho adequado do grupo de recursos serverless.
Data Integration
Sincronização em lote
|
Simultaneidade da tarefa de sincronização em lote |
Especificações recomendadas |
Especificações mínimas |
|
<4 |
0,5 CU |
0,5 CU |
|
>=4 |
|
Sincronização em tempo real
|
Tipo de tarefa de sincronização |
Especificações recomendadas |
Especificações mínimas |
|
|
Sincronização em tempo real do MySQL |
1 banco de dados |
2 CU |
Especificações mínimas para executar uma tarefa de sincronização em tempo real: 1 CU |
|
2 a 5 bancos de dados |
2 CU |
||
|
6 ou mais bancos de dados |
2 CU |
||
|
Sincronização em tempo real do Kafka |
1 CU |
||
|
Outras tarefas em tempo real de tabela única |
1 CU |
||
|
Sincronização em tempo real de banco de dados completo |
- |
Especificações mínimas para executar uma tarefa de sincronização de banco de dados completo: 2 CU |
|
Agendamento de tarefas
Um grupo de recursos serverless suporta no máximo 200 instâncias simultâneas. Não é necessário planejar especificações de CU. A simultaneidade padrão é 50, e você pode aumentar a simultaneidade máxima de agendamento de tarefas para 200 na página de detalhes do grupo de recursos.
Data Service
|
QPS Máximo |
Especificações mínimas |
Disponibilidade do serviço (SLA) |
|
500 |
4 CU |
99,95% |
|
1000 |
8 CU |
|
|
2000 |
16 CU |
Computação de dados
Cada tarefa de computação de dados possui uma alocação padrão de CU. Para mais detalhes, consulte Task types and CU consumption.
Etapa 3: Adquirir um grupo de recursos serverless
Com base no tamanho estimado na etapa anterior, adquira um grupo de recursos serverless. Para obter instruções, consulte Use a serverless resource group.
Etapa 4: Migrar para o grupo serverless
-
Switch the resource group for Data Integration
NotaApós migrar para um grupo de recursos serverless, o DataWorks define automaticamente a contagem recomendada de CUs com base na configuração original da tarefa. Caso precise definir manualmente a contagem de CUs para o grupo de recursos, consulte as recomendações em Step 2: Estimate the required size.
-
Switch the resource group for scheduling tasks
NotaUma parte da cota do grupo de recursos é alocada para CU configuration for compute-optimized tasks, dependendo se a computação da tarefa ocorre dentro de um grupo de recursos do DataWorks. Ao alterar o grupo de recursos de agendamento, o grupo de recursos usado para computação da tarefa também é atualizado.
-
Switch the resource group for DataService Studio
NotaAntes de migrar, defina uma cota para o DataService Studio. Sem essa definição, não será possível selecionar o grupo de recursos serverless durante a migração. Para obter instruções sobre como definir uma cota, consulte Allocate a CU quota to a task.
Próximos passos
Após migrar para o grupo de recursos serverless, cancele a assinatura do grupo de recursos legado caso não precise mais dele. Para obter instruções, consulte General reference: Unsubscribe from a subscription product.