Os grupos de recursos exclusivos para Data Integration no DataWorks fornecem recursos de computação dedicados para tarefas de sincronização de dados, melhorando a eficiência e a estabilidade da execução. Após adquirir um grupo de recursos exclusivo, configure o vínculo de rede e as definições de lista de permissões antes de utilizá-lo.
Caso você não tenha ativado o DataWorks em nenhuma região antes de 10 de junho de 2024, só será possível adquirir e usar grupos de recursos serverless após a ativação. Não é mais possível adquirir ou usar grupos de recursos legados. Usuários existentes do DataWorks que precisem migrar para grupos de recursos serverless podem consultar Switch from legacy resource groups.
O DataWorks não recomenda mais grupos de recursos exclusivos para Data Integration
O DataWorks não recomenda mais o uso de grupos de recursos exclusivos para Data Integration. Recomendamos que você use serverless resource groups. Um grupo de recursos serverless abrange as capacidades principais dos grupos de recursos legados (grupos de recursos exclusivos para agendamento, grupos de recursos exclusivos para Data Integration, grupos de recursos exclusivos para Data Service e grupos de recursos compartilhados). Um único grupo de recursos serverless pode gerenciar a sincronização de dados, o agendamento e a execução de tarefas, além da chamada e gestão de operações de API.
Pré-requisitos
Antes de começar, compreenda as especificações, os limites de concorrência e os métodos de faturamento dos grupos de recursos exclusivos para Data Integration. Planeje as especificações de recursos e a duração da assinatura com base nas necessidades do seu negócio. Para mais informações, consulte Billing for an exclusive resource group for Data Integration.
Observações
Grupos de recursos exclusivos para Data Integration suportam sincronização de dados em ambientes de rede complexos, incluindo configurações multicloud como Finance Cloud e Gov Cloud, cenários com múltiplas contas e data centers on-premises. O grupo de recursos precisa ter acesso às redes onde residem suas fontes de dados de origem e destino. Sem conectividade de rede estabelecida, as tarefas de sincronização falharão. Para mais informações sobre soluções de conectividade de rede e configurações de lista de permissões, consulte Billing for an exclusive resource group for Data Integration.
Se o objetivo for apenas reduzir a latência de tarefas causada por contenção de recursos em um grupo de recursos público, sem necessidade de conexão a uma instância de banco de dados, ignore as etapas de configuração de rede. Adquira um grupo de recursos exclusivo para Data Integration em qualquer zona e utilize-o sem configurar parâmetros de rede.
Por padrão, um grupo de recursos exclusivo para Data Integration acessa a internet pública via largura de banda compartilhada, o que não garante qualidade de conexão. Caso suas tarefas exijam uma conexão estável com a internet, utilize um Serverless resource group.
Limitações
Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem adquirir grupos de recursos.
Somente um administrador de workspace pode vincular um grupo de recursos a um workspace ou modificar esse vínculo.
Para detalhes sobre as permissões na página de grupos de recursos, consulte Permission management for resource groups.
Para saber como criar uma política personalizada e conceder permissões, consulte Create a custom policy (Optional).
Um grupo de recursos exclusivo para Data Integration com 4 núcleos e 8 GB pode ser vinculado a no máximo duas VPCs. Grupos com outras especificações aceitam até três VPCs.
Etapa 1: Adquirir um grupo de recursos
Grupos de recursos exclusivos são um service baseado em assinatura que deve ser adquirido separadamente. Siga estas etapas para realizar a compra.
Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem adquirir grupos de recursos.
Faça login no console do DataWorks.
-
No painel de navegação à esquerda, clique em Resource Group. Na página Resource Groups, selecione a aba Exclusive Resource Group e clique em Create Resource Group for Data Integration of Old Version. Na página de compra, configure os seguintes parâmetros principais conforme suas necessidades de negócio.
Parâmetro
Descrição
Region and zone
Selecione a região onde deseja utilizar este grupo de recursos exclusivo.
NotaUm grupo de recursos exclusivo para Data Integration não pode ser usado entre regiões diferentes. Por exemplo, um grupo de recursos exclusivo na região China (Shanghai) só pode ser vinculado a workspaces na região China (Shanghai).
Exclusive Resource Group Type
Selecione Exclusive Resources for Data Integration.
Resource Name
Defina um nome para o grupo de recursos. O nome deve ser único dentro do tenant.
NotaUm tenant corresponde a uma conta primária. Uma conta primária pode ter vários usuários RAM.
Resource notes
Insira uma breve descrição para o grupo de recursos.
Billing cycle
Grupos de recursos exclusivos funcionam por assinatura. Para garantir a continuidade do service, recomendamos selecionar Auto Renewal. Após a criação do grupo de recursos, também é possível acessar a página Renewals no console do Alibaba Cloud para ativar ou desativar a renovação automática. Para mais informações, consulte Billing termination.
Configure os demais parâmetros de acordo com seu planejamento de negócios.
-
Clique em Buy Now e siga as instruções na tela para concluir o pagamento.
Após a compra, o DataWorks inicializa o grupo de recursos exclusivo. Quando o status mudar para Running, o grupo de recursos aparecerá no console.
NotaA inicialização de um grupo de recursos exclusivo leva cerca de 20 minutos. Aguarde até que o status mude para Running.
Depois que o grupo de recursos aparecer no console, vincule-o a um workspace para poder selecioná-lo nas configurações de tarefas.
Etapa 2: Vincular um workspace
É obrigatório vincular um grupo de recursos exclusivo para Data Integration a um workspace antes de poder selecioná-lo. Um único grupo de recursos pode ser vinculado a vários workspaces, mas não pode ser usado entre regiões. Por exemplo, um grupo de recursos na região China (Shanghai) só pode ser vinculado a workspaces na mesma região. Execute as etapas a seguir:
Somente um administrador de workspace pode vincular um grupo de recursos a um workspace ou modificar esse vínculo.
Faça login no console do DataWorks.
Na página Resource Groups, acesse a aba Exclusive Resource Group e clique em Associate Workspace na linha do grupo de recursos desejado.
Na página Associate Workspace, localize o workspace alvo e clique em Bind na respectiva linha para vincular o grupo de recursos a esse workspace.
Etapa 3: Configuração de rede
Vincular uma VPC
Recursos exclusivos são implantados em uma VPC gerenciada pelo DataWorks, isolada de outras redes. Para estabelecer conectividade entre o grupo de recursos e sua source de dados, vincule uma VPC que tenha alcance à rede da source de dados. Siga os passos abaixo:
Um grupo de recursos exclusivo para Data Integration com 4 núcleos e 8 GB pode ser vinculado a no máximo duas VPCs. Grupos com outras especificações aceitam até três VPCs.
Faça login no console do DataWorks.
-
Na página Resource Groups, acesse a aba Exclusive Resource Group e clique em Network Settings para o grupo de recursos desejado.
Antes de vincular uma VPC, utilize uma conta primária para conceder autorização RAM, permitindo que o DataWorks acesse seus recursos cloud. Apenas contas primárias podem executar essa operação. A autorização pode ser concedida na página Autorização de Acesso a Recursos Cloud ou na caixa de diálogo exibida no primeiro acesso de uma conta primária ao console. Se surgir uma caixa de diálogo No Permission, significa que a função padrão do sistema para o DataWorks ainda não foi autorizada. Utilize sua conta primária para fazer login no console RAM e conceder a autorização. Após concluir, clique em Refresh e depois em Close. Caso a página de autorização de acesso a recursos cloud seja exibida, selecione a função AliyunDataWorksAccessingENIRole e clique em Agree to Authorization para permitir que o DataWorks acesse seus recursos de elastic network interface (ENI).
-
Vincule uma VPC.
-
Na página VPC Binding, clique em Add Binding no canto superior esquerdo. Na caixa de diálogo Add VPC Binding, configure os parâmetros conforme seu ambiente de rede.
NotaEm casos de uso envolvendo instâncias do Alibaba Cloud ou instâncias ECS autogerenciadas, a solução e a configuração de conectividade dependem se o workspace do DataWorks e a source de dados pertencem à mesma conta primária.
Parâmetro
Mesma conta e região
Contas ou regiões diferentes
VPC
Se a source de dados e o grupo de recursos exclusivo estiverem na mesma conta do Alibaba Cloud, recomenda-se selecionar a VPC onde a source de dados reside.
Caso não estejam na mesma conta do Alibaba Cloud, siga as instruções para o cenário de regiões diferentes.
Quando a source de dados e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas primárias distintas, selecione uma VPC na conta atual que esteja conectada à rede da source de dados. Por exemplo, se a source de dados não estiver em uma VPC do Alibaba Cloud, clique em Create VPC para criar uma VPC para o grupo de recursos exclusivo. Após a criação, selecione a nova VPC ou uma VPC já conectada à rede do banco de dados alvo.
NotaSe o workspace do DataWorks e a source de dados estiverem em regiões diferentes ou sob contas primárias distintas, utilize também um service como VPN Gateway ou Express Connect para conectar a VPC vinculada ao grupo de recursos exclusivo à VPC onde a source de dados está localizada. Adicione manualmente uma rota apontando para o endereço IP do banco de dados alvo para garantir a conectividade entre as redes. Para mais informações, consulte Network connectivity solutions.
Zone
Selecione a zona onde o banco de dados está localizado.
Escolha uma zona que já esteja conectada à rede do banco de dados alvo.
vSwitch
Ao selecionar a VPC onde a source de dados reside, recomenda-se escolher o vSwitch associado a essa source de dados.
NotaAo vincular qualquer vSwitch na VPC da source de dados, uma rota é adicionada automaticamente a todo o bloco CIDR da VPC, garantindo a conectividade de rede para o grupo de recursos exclusivo para Data Integration dentro dessa VPC.
Selecione um vSwitch que já esteja conectado à rede do banco de dados alvo. Se nenhum vSwitch estiver disponível, clique em Create VSwitch para criar um para o grupo de recursos exclusivo. Após a criação, selecione-o aqui.
Clique em Determine para concluir o vínculo da VPC.
NotaQuando a source de dados e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas primárias distintas, vincule uma VPC e adicione uma regra de rota apontando para o endereço IP do banco de dados alvo.
-
-
Opcional: Configure um mapeamento de hostname para IP.
Se o acesso à source de dados for feito por hostname em vez de endereço IP, configure um mapeamento de hostname para IP. Caso contrário, os testes de conectividade falharão ao adicionar a source de dados.
-
Clique em Hostname-to-IP Mapping. Na página, clique em Add no canto superior esquerdo. Na caixa de diálogo Create Hostname-to-IP Mapping, configure os seguintes parâmetros.
Parâmetro
Descrição
IP Address
Insira o endereço IP real da source de dados.
Hostname
Insira o domínio de host que a source de dados utiliza para acesso externo. Se houver múltiplos domínios de host, insira cada um em uma nova linha.
-
Para adicionar vários mapeamentos, clique em Add novamente.
NotaO endereço IP e os domínios de host em um novo mapeamento não podem duplicar nenhum endereço IP ou domínio de host existente nos mapeamentos atuais.
Um único mapeamento suporta uma relação de um para muitos entre um endereço IP e domínios de host. Um endereço IP pode ser mapeado para vários domínios de host, mas um domínio de host só pode ser mapeado para um único endereço IP.
-
Adicionar à lista de permissões
Se o grupo de recursos exclusivo e a source de dados estiverem na mesma zona, mas a conectividade de rede falhar após a configuração da VPC e do vSwitch, a lista de permissões da source de dados pode estar bloqueando a conexão. Adicione o seguinte bloco CIDR ou endereço IP à lista de permissões da source de dados.
-
Para conexões via rede interna: Adicione o bloco CIDR do vSwitch vinculado ao grupo de recursos exclusivo à lista de permissões da source de dados.
Após vincular o grupo de recursos a uma VPC, acesse a aba Resource Groups da página Exclusive Resource Group e clique em Network Settings para o grupo de recursos desejado. Na aba VPC Binding, visualize o vSwitch CIDR Block.
Para conexões via internet pública: Adicione o EIP Address do grupo de recursos exclusivo à lista de permissões da source de dados. Ao transferir dados pela internet pública, localize o EIP address na página Basic Information do grupo de recursos exclusivo e configure a source de dados para permitir o acesso a partir dele.
Etapa 4: Testar a conectividade de rede
Após concluir a configuração de rede, teste a conectividade entre o grupo de recursos e a source de dados.
-
Faça login no console do DataWorks. Na região alvo, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.
Na página Workspace Management, clique em Data Sources no painel de navegação à esquerda para abrir a página de fontes de dados.
Clique em Edit na coluna Operation da source de dados desejada.
-
Na aba Data Integration, clique em Test Connectivity ao lado do nome do grupo de recursos. O status Connectable indica que a conexão foi bem-sucedida.
NotaSe a conexão falhar, clique em Self-service troubleshooting para utilizar a ferramenta de diagnóstico e identificar o problema de conectividade de rede. Para mais informações sobre conectividade entre fontes de dados e grupos de recursos exclusivos em diferentes ambientes de rede, consulte Network connectivity solutions.
Clique em Complete.
Mais operações
Uso e monitoramento de grupos de recursos
É possível visualizar o uso e o status de fila dos grupos de recursos no console do DataWorks. Também é viável utilizar o recurso de monitoramento inteligente no Operation Center para acompanhar a taxa de utilização dos grupos de recursos e o número de instâncias aguardando recursos. Para detalhes sobre como visualizar a taxa de utilização, consulte View the Usage Rate of an Exclusive Resource Group. Para informações sobre monitoramento de grupos de recursos, consulte Create a Custom Rule.
Alterar a zona do grupo de recursos
Para alterar a zona de um grupo de recursos, siga estas etapas:
Faça login no console do DataWorks.
No painel de navegação à esquerda, clique em Resource Group. Na página Resource Groups, acesse a aba Exclusive Resource Group e localize o grupo de recursos cujo Purpose esteja definido como Data Integration.
Clique no ícone
na coluna Operation do grupo de recursos e selecione Change Zone para abrir a caixa de diálogo Change Zone for Resource Group.Na caixa de diálogo Change Zone for Resource Group, selecione a Current Zone e as Machines a serem substituídas. Em seguida, escolha a New Zone e o Number of Machines to Use.
Clique em OK para concluir a alteração de zona.
A alteração da zona para recursos em um grupo de recursos pode afetar as configurações de rede das seguintes formas:
Bloco CIDR do grupo de recursos: A substituição de zona pode alterar os blocos CIDR do grupo de recursos. Cada zona utiliza um bloco CIDR independente; portanto, se a operação de substituição mudar o conjunto de zonas usadas pelo grupo, os blocos CIDR associados também serão alterados.
Endereço IP da ENI primária do grupo de recursos: O endereço IP da ENI primária da instância ECS substituída sempre muda. Um novo endereço IP é alocado a partir do bloco CIDR da zona alvo.
Elastic network interface vinculada ao grupo de recursos: Se a lista de permissões estiver configurada com o bloco CIDR do vSwitch, ela não será afetada. No entanto, se a lista de permissões estiver configurada com o endereço IP da elastic network interface vinculada ao grupo de recursos, atualize a configuração da lista de permissões para garantir o acesso contínuo.
Apêndice: Alternância de grupos de recursos do Data Integration
Após criar e configurar um grupo de recursos exclusivo para Data Integration, utilize os métodos a seguir para alternar o grupo de recursos das tarefas.
|
Ambiente |
Operação |
Ponto de entrada |
|
Alternância do grupo de recursos para o ambiente de produção |
Alternância em lote |
Acesse a página . Selecione as tarefas que deseja modificar. Na barra de ferramentas inferior, clique em . Na caixa de diálogo exibida, leia o aviso "Please ensure that the data sources are accessible from the selected resource group. Otherwise, the Data Integration tasks may fail.". Na lista suspensa Select Resource Group, selecione o grupo de recursos alvo e clique em OK. |
|
Alternância do grupo de recursos para o ambiente de desenvolvimento |
|
Acesse a página DataStudio.
Nota
Se não encontrar a opção para modificar o grupo de recursos para Data Integration, filtre primeiro pelo tipo de nó de sincronização offline. |
. Selecione as tarefas cujo grupo de recursos deseja modificar. Na barra de menu inferior, clique em Modify Data Synchronization Task para realizar a modificação em lote.