Compre um grupo de recursos exclusivo para agendamento - DataWorks: Central de Documentação do Alibaba Cloud

Compre um grupo de recursos exclusivo para agendamento adequado à sua carga de trabalho e, em seguida, configure a vinculação de VPC e as definições da lista de permissões antes de usá-lo.

Importante

Se você não ativou o DataWorks em nenhuma região antes de 10 de junho de 2024, só poderá comprar e usar grupos de recursos serverless após a ativação. Não é possível comprar ou usar grupos de recursos legados. Os usuários atuais do DataWorks que precisarem migrar para grupos de recursos serverless podem consultar Switch from legacy resource groups.

O DataWorks não recomenda mais grupos de recursos exclusivos para agendamento

O DataWorks não recomenda mais o uso de grupos de recursos exclusivos para agendamento. Recomendamos que você use serverless resource groups. Os grupos de recursos serverless consolidam as principais capacidades dos grupos de recursos legados (grupos de recursos exclusivos para agendamento, grupos de recursos exclusivos para Data Integration, grupos de recursos exclusivos para Data Service e grupos de recursos compartilhados) em um único grupo de recursos. Com ele, você pode sincronizar dados, agendar e execute tarefas, além de chamar e gerencie service de API.

Pré-requisitos

Revise as especificações, os limites de simultaneidade e os preços em Billing of exclusive resource groups for scheduling. Planeje as especificações do seu grupo de recursos e a duração da assinatura com base nos requisitos do seu negócio.
Revise Use cases for exclusive resource groups for scheduling.

Observações

(Opcional) É essencial compreender a conectividade de rede e as configurações de lista de permissões caso o grupo de recursos exclusivo para agendamento precise interagir com sources de dados ou outros ambientes de rede. Isso se aplica a cenários como acesse um banco de dados autogerenciado ou um endereço interno por meio de um script Shell, ou ao usar mecanismos como EMR ou CDH que exigem um grupo de recursos exclusivo para agendamento. Network connectivity and allowlist configurations.

Nota

Se o seu único objetivo for mitigar atrasos de tarefas causados por contenção de recursos em grupos de recursos de agendamento compartilhados, e você não precisar de conectividade com banco de dados, ignore as etapas de configuração de rede. Você pode comprar um grupo de recursos exclusivo em qualquer zona de disponibilidade sem configurar as definições de rede.
Por padrão, os grupos de recursos exclusivos podem acessar a internet, mas utilizam largura de banda compartilhada e sem garantia de desempenho. Se as suas tarefas dependem muito do acesso à internet, use Serverless resource group.

Limitações

Apenas uma conta Alibaba Cloud ou um usuário do RAM com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess pode comprar grupos de recursos.
Somente um administrador de workspace pode associar um grupo de recursos a um workspace ou modifique essa associação.
As permissões detalhadas estão listadas em Resource group permission control policies.
Você também pode criar políticas personalizadas para ajustar o acesso. Create a custom policy and grant permissions.
Um grupo de recursos exclusivo para agendamento do tipo 4c8g permite a vinculação de até 2 VPCs. Grupos de recursos exclusivos para agendamento de outras especificações permitem a vinculação de até 3 VPCs.
A VPC selecionada no momento da compra de um grupo de recursos exclusivo para agendamento é a VPC principal e não pode ser desvinculada. Você só pode desvincular as VPCs adicionais vinculadas após a compra. Para alterar a VPC principal, cancele a assinatura do grupo de recursos atual e compre-o novamente, selecionando a nova VPC durante a compra.
Os grupos de recursos exclusivos serão descontinuados no futuro. Se você nunca ativou o DataWorks em nenhuma região, só poderá comprar e usar grupos de recursos serverless após a ativação, não sendo possível comprar ou usar grupos de recursos legados. Serverless resource group release notes.
As tarefas executadas em um grupo de recursos exclusivo para agendamento podem criar até 100 arquivos durante a execução, e cada arquivo não pode exceder 150MB de tamanho.

Etapa 1: Comprar um grupo de recursos

Os grupos de recursos exclusivos para agendamento usam o faturamento por assinatura e devem ser comprados separadamente.

Nota

Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem comprar grupos de recursos.

Faça login no DataWorks console.

No painel de navegação à esquerda, clique em Resource Group para e acesse a página Resource Groups. Na aba Exclusive Resource Group, clique em Create Resource Group for Scheduling of Old Version. Na página de compra, configure os seguintes parâmetros principais de acordo com as necessidades do seu negócio.

Parâmetro	Descrição
Region	Selecione a região onde deseja usar este grupo de recursos exclusivo. Nota Grupos de recursos exclusivos não podem ser usados entre regiões. Por exemplo, um grupo de recursos em China (Shanghai) só pode ser usado por workspaces em China (Shanghai).
Exclusive Resource Group Type	Defina este parâmetro como Exclusive Resources for Scheduling.
Exclusive Resources for Scheduling	Selecione as especificações do grupo de recursos. Diferentes especificações possuem custos e limites de simultaneidade distintos. Billing of exclusive resource groups for scheduling.
Resources	O número de máquinas no grupo de recursos. Selecione pelo menos duas para alta disponibilidade em produção.
Billing Cycle	Faturamento por assinatura. Selecione Auto Renewal para evitar interrupções do service. Você pode gerenciar a renovação automática posteriormente na página Renewals da Alibaba Cloud. Renew an exclusive resource group.
Resource Name	Defina um nome exclusivo para o grupo de recursos dentro do tenant. Nomes duplicados causam um erro durante a confirmação. Nota Um tenant é uma conta Alibaba Cloud, que pode ter vários usuários do RAM.

Clique em Buy Now e siga as instruções na tela para concluir o pagamento e comprar o grupo de recursos exclusivo para agendamento.

Após a compra, o DataWorks inicializa o grupo de recursos exclusivo. Quando o status mudar para em execução, o grupo de recursos aparecerá no console.

Nota
A inicialização de um grupo de recursos exclusivo leva cerca de 20 minutos. Aguarde até que o status mude para Running.

Depois que o grupo de recursos estiver pronto, associe-o a um workspace antes de usá-lo nas configurações de tarefas.

Etapa 2: Associar a um workspace

Nota

Somente um administrador de workspace pode associar um grupo de recursos a um workspace ou modifique essa associação.

Um grupo de recursos exclusivo para agendamento deve ser associado a um workspace antes do uso. Um grupo de recursos pode ser associado a vários workspaces, mas apenas dentro da mesma região. Por exemplo, um grupo de recursos em China (Shanghai) só pode ser associado a workspaces em China (Shanghai).

Faça login no DataWorks console.
Na página Resource Groups, clique na aba Exclusive Resource Group e, em seguida, clique em Associate Workspace na linha do grupo de recursos de destino.
Na página Associate Workspace, clique em Bind na linha do workspace de destino para associar o grupo de recursos exclusivo ao workspace.

Etapa 3: Configure as definições de rede

Vincular uma VPC

É essencial compreender a conectividade de rede e as configurações de lista de permissões caso o grupo de recursos exclusivo para agendamento precise interagir com sources de dados ou outros ambientes de rede, como acesse um banco de dados autogerenciado ou um endereço interno por meio de um script Shell, ou ao usar mecanismos como EMR ou CDH que exigem um grupo de recursos exclusivo para agendamento. Nesses casos, você também deve configure a vinculação de VPC e as definições da lista de permissões conforme descrito abaixo.

Um grupo de recursos exclusivo é implantado em uma VPC gerenciada pelo DataWorks. Vincule sua própria VPC ao grupo de recursos para ative a conectividade com suas sources de dados.

Importante

Um grupo de recursos exclusivo para agendamento do tipo 4c8g permite a vinculação de até 2 VPCs. Outras especificações permitem até 3 VPCs.

Faça login no DataWorks console.
Na página Resource Groups, clique na aba Exclusive Resource Group e, em seguida, clique em Network Settings na linha do grupo de recursos de destino para e acesse a página de vinculação.

Antes de vincular, use a sua conta Alibaba Cloud (apenas a conta Alibaba Cloud possui as permissões necessárias) para concluir a autorização do RAM para que o DataWorks acesse seus recursos de cloud. Na página Cloud Resource Access Authorization, selecione a função AliyunDataWorksAccessingENIRole e clique em Confirm Authorization Policy.

Vincule uma VPC.

Na página VPC Binding, clique em Add Binding no canto superior esquerdo. Na caixa de diálogo Add VPC Binding, configure os parâmetros com base no seu ambiente de rede.

Nota

Para casos de uso que envolvam instâncias da Alibaba Cloud ou instâncias ECS autogerenciadas, a solução e a configuração de conectividade de rede dependem de o workspace do DataWorks e a source de dados pertencerem à mesma conta principal.

Parâmetro	Mesma conta e região	Contas ou regiões diferentes
VPC	Se a sua source de dados e o grupo de recursos exclusivo estiverem na mesma conta Alibaba Cloud, recomendamos que você selecione a VPC onde a source de dados reside. Se não estiverem na mesma conta Alibaba Cloud, siga as instruções para o cenário em que estão em regiões diferentes.	Se a sua source de dados e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas principais diferentes, selecione uma VPC na conta atual que esteja conectada à rede da source de dados. Por exemplo, se a source de dados não estiver em uma VPC da Alibaba Cloud, clique em Create VPC para criar uma VPC para o grupo de recursos exclusivo. Após a criação da VPC, selecione a nova VPC ou uma VPC que já esteja conectada à rede do banco de dados de destino. Nota Se o workspace do DataWorks e a source de dados estiverem em regiões diferentes ou sob contas principais diferentes, você também deve usar um service como VPN Gateway ou Express Connect para conectar a VPC vinculada ao grupo de recursos exclusivo à VPC onde a source de dados está localizada. Você também deve adicionar manualmente uma rota que aponte para o endereço IP do banco de dados de destino para garantir a conectividade entre as redes. Para mais informações, consulte Network connectivity solutions.
Zone	Selecione a zona onde o banco de dados está localizado.	Selecione uma zona que já esteja conectada à rede do banco de dados de destino.
vSwitch	Se você selecione a VPC onde a source de dados reside, recomendamos que selecione o vSwitch associado à source de dados. Nota Após vincular qualquer vSwitch na VPC da source de dados, uma rota é adicionada automaticamente a todo o bloco CIDR da VPC para garantir a conectividade de rede do grupo de recursos exclusivo para Data Integration dentro dessa VPC.	Selecione um vSwitch que já esteja conectado à rede do banco de dados de destino. Se nenhum vSwitch estiver disponível, clique em Create VSwitch para criar um para o grupo de recursos exclusivo. Após a criação do vSwitch, selecione-o aqui.

Clique em Determine para concluir a vinculação da VPC.

Nota

Se a source de dados e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas principais diferentes, você deve vincular uma VPC e, em seguida, adicionar uma regra de rota que aponte para o endereço IP do banco de dados de destino.

Opcional: Configure um mapeamento de nome de host para IP.

Se a sua source de dados for acessada por nome de host em vez de endereço IP, configure um mapeamento de nome de host para IP. Caso contrário, os testes de conectividade falharão ao adicionar a source de dados.

Clique em Hostname-to-IP Mapping. Na página, clique em Add no canto superior esquerdo. Na caixa de diálogo Create Hostname-to-IP Mapping, configure os seguintes parâmetros.

Parâmetro	Descrição
IP Address	Insira o endereço IP real da source de dados.
Hostname	Insira o domínio de host que a source de dados usa para acesso externo. Se houver vários domínios de host, insira cada um em uma nova linha.

Para adicionar vários mapeamentos, clique em Add novamente.
Nota
- O endereço IP e os domínios de host em um novo mapeamento não devem duplicar nenhum endereço IP ou domínio de host presente nos mapeamentos existentes.
- Um único mapeamento suporta uma relação de um para muitos entre um endereço IP e domínios de host. Um endereço IP pode ser mapeado para vários domínios de host, mas um domínio de host pode ser mapeado para apenas um endereço IP.

Adicionar uma lista de permissões

Se o grupo de recursos e a source de dados estiverem na mesma zona de disponibilidade, compartilharem a mesma VPC e o mesmo vSwitch, e ainda assim não conseguirem se conectar, a source de dados pode ter restrições de lista de permissões. Adicione as seguintes entradas à lista de permissões da source de dados.

Rede interna: Adicione o bloco CIDR do vSwitch usado ao vincular o grupo de recursos a uma VPC à lista de permissões da source de dados.

Após vincular a VPC, acesse a página Resource Groups > Exclusive Resource Group. Clique em Network Settings para o grupo de recursos de destino e, em seguida, clique na aba VPC Binding para visualize o vSwitch CIDR Block. Encontre o endereço do bloco CIDR na coluna vSwitch CIDR Block.
Internet: Adicione o EIP Address do grupo de recursos à lista de permissões da source de dados. Encontre o EIP Address na página Basic Information do grupo de recursos.

Etapa 4: Testar a conectividade de rede

Após concluir a configuração de rede, teste a conectividade entre o grupo de recursos e a source de dados.

1. Faça login no DataWorks console. Na região de destino, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.
2. Na página de gerenciamento de workspace, clique em Data Sources no painel de navegação à esquerda para abrir a página de sources de dados.
Clique em Edit na coluna Operation da source de dados de destino.
Na página de edição da source de dados, clique em Test Connectivity ao lado do grupo de recursos de agendamento de destino. Se o status de conectividade for Connectable, a conexão foi bem-sucedida.

Na seção Connection Settings, clique na aba Data Scheduling para visualize a lista de grupos de recursos e o status de conectividade tanto para os ambientes de desenvolvimento quanto de produção. Clique em Finish Editing e salve.
Nota
- A interface de configuração varia de acordo com o tipo de source de dados.
- Se a source de dados possuir ambientes de desenvolvimento e produção separados, teste a conectividade em cada ambiente individualmente.
- Diferentes ambientes de rede podem exigir configurações específicas. Network connectivity solutions.

Mais operações

Visualize o uso e o monitoramento do grupo de recursos

Verifique o uso do grupo de recursos e o status da fila no console do DataWorks, ou use o monitoramento inteligente do Operation Center para acompanhar o consumo de recursos e as instâncias na fila. Se uma tarefa demorar muito para ser executada, verifique se os recursos foram totalmente consumidos. View resource group usage. Resource group monitoring.

Usar o O&M Assistant para execute comandos em um grupo de recursos

Use O&M Assistant para execute comandos em um grupo de recursos exclusivo durante o desenvolvimento, como instalar pacotes PyODPS de terceiros.

Alterar a zona de disponibilidade de um grupo de recursos

Para alterar a zona de disponibilidade de um grupo de recursos, execute as seguintes etapas:

Faça login no DataWorks console.
No painel de navegação à esquerda, clique em Resource Group. Na página Resource Groups, clique na aba Exclusive Resource Group e encontre o grupo de recursos cuja Purpose seja Data Scheduling.
Na coluna Operation do grupo de recursos de destino, clique no ícone e selecione Change Zone para abrir a caixa de diálogo Change Zone for Resource Group.
Na caixa de diálogo Change Zone for Resource Group, selecione a Current Zone e as Machines do grupo de recursos a ser alterado e, em seguida, selecione a New Zone de destino e o Number of Machines to Use.
Clique em OK para concluir a alteração da zona de disponibilidade do grupo de recursos.

A alteração da zona de disponibilidade pode causar mudanças na rede:

Bloco CIDR do grupo de recursos: Cada zona de disponibilidade possui um bloco CIDR independente. Se a zona de disponibilidade mudar, o bloco CIDR mudará de acordo.
IP da NIC principal do grupo de recursos: O IP da NIC principal sempre muda. Um novo IP é atribuído dentro do bloco CIDR da zona de disponibilidade de destino.
Interface de rede elástica vinculada ao grupo de recursos: Se o bloco CIDR do vSwitch estiver na lista de permissões, nenhuma atualização é necessária. No entanto, se a lista de permissões contiver diretamente o IP da ENI, atualize a lista de permissões após a mudança de zona.

Apêndice: Alternar o grupo de recursos de agendamento

Você pode alternar o grupo de recursos usado pelas tarefas das seguintes maneiras.

Ambiente	Operações de alternância suportadas	Entrada da interface
Alternar o grupo de recursos do ambiente de produção	Alternância em lote	No painel de navegação à esquerda do Operation Center, clique em Auto Triggered Task O&M > Auto Triggered Task. Selecione as tarefas para as quais deseja alterar o grupo de recursos e, em seguida, clique em Change Resource Group for Scheduling na barra de ferramentas inferior para alterar o grupo de recursos em lote. Importante Nós virtuais, workflows e tarefas do Machine Learning Platform for AI (PAI) não suportam alterações de grupo de recursos. Não selecione esses tipos de tarefas.
Alternar o grupo de recursos do ambiente de desenvolvimento	Alternância de tarefa única Alternância em lote	Acesse a página Datastudio e configure da seguinte forma: Alternância de tarefa única Acesse a página de edição do nó de destino. Você pode alterar o grupo de recursos em Scheduling Settings > Resource Group. Alternância em lote Clique no ícone , selecione as tarefas para as quais deseja alterar o grupo de recursos e, em seguida, clique em More > Change Resource Group for Scheduling na barra de ferramentas inferior para alterar o grupo de recursos em lote.
Alternar o grupo de recursos de depuração do Data Studio	Alternância de tarefa única	Acesse a página de edição de código de um único nó no Datastudio e clique no botão na barra de ferramentas para alternar o grupo de recursos de agendamento usado para depuração de código.