No DataWorks, use um grupo de recursos exclusivo para Data Integration para alocar recursos de computação dedicados a tarefas de sincronização de dados, o que melhora a eficiência e a estabilidade das tarefas. Após adquirir um grupo de recursos exclusivo, configure as associações de rede e as definições da lista de permissões antes de usá-lo. Este tópico descreve como adquirir e usar um grupo de recursos exclusivo para Data Integration.
Se você não ativou o DataWorks em nenhuma região antes de 10 de junho de 2024, só poderá adquirir e usar grupos de recursos serverless após a ativação. Não é possível adquirir ou usar grupos de recursos legados. Usuários existentes do DataWorks que precisam migrar para grupos de recursos serverless podem consultar Migrar de grupos de recursos legados.
O DataWorks não recomenda mais grupos de recursos exclusivos para Data Integration
O DataWorks não recomenda mais o uso de grupos de recursos exclusivos para Data Integration. Recomendamos que você use grupos de recursos serverless. Um grupo de recursos serverless abrange as capacidades principais dos grupos de recursos legados (grupos de recursos exclusivos para agendamento, grupos de recursos exclusivos para Data Integration, grupos de recursos exclusivos para Data Service e grupos de recursos compartilhados). Um único grupo de recursos serverless pode gerenciar a sincronização de dados, o agendamento e a execução de tarefas, além da chamada e do gerenciamento de operações de API.
Pré-requisitos
Antes de começar, entenda as especificações, os limites de concorrência e os métodos de faturamento dos grupos de recursos exclusivos para Data Integration. Planeje as especificações de recursos e a duração da assinatura com base nas necessidades do seu negócio. Para mais informações, consulte Faturamento de um grupo de recursos exclusivo para Data Integration.
Observações
Grupos de recursos exclusivos para Data Integration suportam sincronização de dados em ambientes de rede complexos. Esses ambientes incluem configurações multicloud, como Finance Cloud e Gov Cloud, cenários que envolvem múltiplas contas Alibaba Cloud e data centers on-premises. Para executar tarefas de sincronização de dados, garanta que o grupo de recursos consiga acessar as redes onde residem seus data source de origem e destino sem bloqueio por lista de permissões ou outros controles de acesso. Se a conectividade de rede não estiver estabelecida, as tarefas de sincronização falharão. Para mais informações sobre soluções de conectividade de rede e configurações de lista de permissões entre um grupo de recursos exclusivo e data source, consulte Faturamento de um grupo de recursos exclusivo para Data Integration.
Caso não precise se conectar a uma instância de banco de dados e seu único objetivo seja reduzir a latência de tarefas causada pela contenção de recursos em um grupo de recursos público, ignore as etapas de configuração de rede descritas neste tópico. Adquira um grupo de recursos exclusivo para Data Integration em qualquer zona e use-o sem configurar definições de rede.
Por padrão, um grupo de recursos exclusivo para Data Integration acessa a internet pública por meio de uma largura de banda compartilhada. Essa configuração não garante a qualidade da conexão de rede pública. Se suas tarefas exigirem uma conexão estável com a internet, use um Grupo de recursos serverless.
Limitações
Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem adquirir grupos de recursos.
Somente um administrador de workspace pode associar um grupo de recursos a um workspace ou modificar essa associação.
Para mais informações sobre as permissões na página de grupos de recursos, consulte Gerenciamento de permissões para grupos de recursos.
Para saber como criar uma política personalizada e conceder permissões, consulte Criar uma política personalizada (Opcional).
Um grupo de recursos exclusivo para Data Integration com 4 núcleos e 8 GB pode ser associado a no máximo duas VPCs. Grupos com outras especificações permitem a associação de até três VPCs.
Etapa 1: Adquirir um grupo de recursos
O DataWorks oferece grupos de recursos exclusivos como um serviço baseado em assinatura que deve ser adquirido separadamente. Siga estas etapas para adquirir um grupo de recursos exclusivo.
Apenas usuários com as permissões AliyunBSSOrderAccess e AliyunDataWorksFullAccess podem adquirir grupos de recursos.
Faça login no console do DataWorks.
-
No painel de navegação à esquerda, clique em Resource Group. Na página Resource Groups, clique na aba Exclusive Resource Group e, em seguida, clique em Create Resource Group for Data Integration of Old Version. Na página de compra, configure os seguintes parâmetros principais conforme as necessidades do seu negócio.
Parâmetro
Descrição
Region and zone
Selecione a região onde deseja usar este grupo de recursos exclusivo.
NotaUm grupo de recursos exclusivo para Data Integration não pode ser usado entre regiões. Por exemplo, um grupo de recursos exclusivo na região China (Shanghai) só pode ser associado a workspaces na mesma região China (Shanghai).
Exclusive Resource Group Type
Selecione Exclusive Resources for Data Integration.
Resource Name
Defina um nome para o grupo de recursos. O nome deve ser único dentro do tenant para evitar conflitos de nomenclatura.
NotaUm tenant corresponde a uma conta primária. Uma conta primária pode ter vários usuários RAM.
Resource notes
Insira uma breve descrição para o grupo de recursos.
Billing cycle
Grupos de recursos exclusivos funcionam por assinatura. Para garantir a continuidade do serviço, recomendamos selecionar Auto Renewal. Após a criação do grupo de recursos, também é possível acessar a página Renewals no console do Alibaba Cloud para ativar ou desativar a renovação automática. Para mais informações, consulte Encerramento do faturamento.
Configure os demais parâmetros de acordo com seu planejamento de negócios.
-
Clique em Buy Now e siga as instruções na tela para concluir o pagamento.
Após a compra, o DataWorks inicia a inicialização do grupo de recursos exclusivo. Quando o status do grupo mudar para Running, ele aparecerá no console.
NotaA inicialização de um grupo de recursos exclusivo leva cerca de 20 minutos. Aguarde até que o status mude para Running.
Depois que o grupo de recursos exclusivo for adicionado ao console, associe-o a um workspace antes de selecioná-lo nas configurações de tarefas.
Etapa 2: Associar um workspace
Associe um grupo de recursos exclusivo para Data Integration a um workspace antes de selecionar esse grupo no respectivo workspace. Um único grupo de recursos exclusivo pode ser associado a múltiplos workspaces, mas não pode ser usado entre regiões. Por exemplo, um grupo de recursos exclusivo para Data Integration na região China (Shanghai) só pode ser vinculado a workspaces na região China (Shanghai). Execute as etapas a seguir para associar um workspace:
Somente um administrador de workspace pode associar um grupo de recursos a um workspace ou modificar essa associação.
Faça login no console do DataWorks.
Na página Resource Groups, acesse a aba Exclusive Resource Group e clique em Associate Workspace na linha do grupo de recursos desejado.
Na página Associate Workspace, localize o workspace alvo e clique em Bind na respectiva linha para associar o grupo de recursos a esse workspace.
Etapa 3: Configuração de rede
Associar uma VPC
Recursos exclusivos são implantados em uma VPC gerenciada pelo DataWorks e isolados de outras redes. Para usá-los, associe uma VPC que tenha conectividade com seu data source. Essa associação estabelece a conectividade de rede entre o grupo de recursos e o data source. Siga as etapas abaixo para associar uma VPC:
Um grupo de recursos exclusivo para Data Integration com 4 núcleos e 8 GB pode ser associado a no máximo duas VPCs. Grupos com outras especificações permitem a associação de até três VPCs.
Faça login no console do DataWorks.
-
Na página Resource Groups, acesse a aba Exclusive Resource Group e clique em Network Settings para o grupo de recursos desejado.
Antes de associar uma VPC, use uma conta primária para conceder autorização RAM, permitindo que o DataWorks acesse seus recursos em nuvem. Apenas contas primárias podem realizar essa operação. Conceda a autorização na página Autorização de Acesso a Recursos em Nuvem ou na caixa de diálogo exibida na primeira vez que uma conta primária acessa o console. Se surgir uma caixa de diálogo No Permission, isso indica que você ainda não autorizou a função padrão do sistema para o DataWorks. Use sua conta primária para fazer login no console RAM e conceder a autorização. Após concluir, clique em Refresh e depois em Close. Caso a página de autorização de acesso a recursos em nuvem apareça, selecione a função AliyunDataWorksAccessingENIRole e clique em Agree to Authorization para permitir que o DataWorks acesse seus recursos de elastic network interface (ENI).
-
Associe uma VPC.
-
Na página VPC Binding, clique em Add Binding no canto superior esquerdo. Na caixa de diálogo Add VPC Binding, configure os parâmetros conforme seu ambiente de rede.
NotaEm casos de uso envolvendo instâncias Alibaba Cloud ou instâncias ECS autogerenciadas, a solução e a configuração de conectividade dependem se o workspace do DataWorks e o data source pertencem à mesma conta primária.
Parâmetro
Mesma conta e região
Contas ou regiões diferentes
VPC
Se o data source e o grupo de recursos exclusivo estiverem na mesma conta Alibaba Cloud, recomendamos selecionar a VPC onde o data source reside.
Caso não estejam na mesma conta Alibaba Cloud, siga as instruções para o cenário de regiões diferentes.
Se o data source e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas primárias distintas, selecione uma VPC na conta atual que esteja conectada à rede do data source. Por exemplo, se o data source não estiver em uma VPC do Alibaba Cloud, clique em Create VPC para criar uma VPC para o grupo de recursos exclusivo. Após a criação, selecione a nova VPC ou uma VPC já conectada à rede do banco de dados alvo.
NotaSe o workspace do DataWorks e o data source estiverem em regiões diferentes ou sob contas primárias distintas, use também um serviço como VPN Gateway ou Express Connect para conectar a VPC associada ao grupo de recursos exclusivo à VPC onde o data source está localizado. Adicione manualmente uma rota apontando para o endereço IP do banco de dados alvo para garantir a conectividade entre as redes. Para mais informações, consulte Soluções de conectividade de rede.
Zone
Selecione a zona onde o banco de dados está localizado.
Escolha uma zona que já esteja conectada à rede do banco de dados alvo.
vSwitch
Ao selecionar a VPC onde o data source reside, recomendamos escolher o vSwitch associado a esse data source.
NotaApós associar qualquer vSwitch na VPC do data source, uma rota é automaticamente adicionada a todo o bloco CIDR da VPC para garantir a conectividade de rede do grupo de recursos exclusivo para Data Integration dentro dessa VPC.
Selecione um vSwitch que já esteja conectado à rede do banco de dados alvo. Se nenhum vSwitch estiver disponível, clique em Create VSwitch para criar um para o grupo de recursos exclusivo. Após a criação, selecione-o aqui.
Clique em Determine para concluir a associação da VPC.
NotaQuando o data source e o grupo de recursos exclusivo estiverem em regiões diferentes ou sob contas primárias distintas, associe uma VPC e adicione uma regra de rota apontando para o endereço IP do banco de dados alvo.
-
-
Opcional: Configure um mapeamento de hostname para IP.
Se o acesso ao data source for feito via hostname em vez de endereço IP, configure um mapeamento de hostname para IP. Caso contrário, testes de conectividade usando o hostname falharão ao adicionar o data source.
-
Clique em Hostname-to-IP Mapping. Na página, clique em Add no canto superior esquerdo. Na caixa de diálogo Create Hostname-to-IP Mapping, configure os seguintes parâmetros.
Parâmetro
Descrição
IP Address
Insira o endereço IP real do data source.
Hostname
Insira o domínio de host que o data source usa para acesso externo. Se houver múltiplos domínios, insira cada um em uma nova linha.
-
Para adicionar vários mapeamentos, clique em Add novamente.
NotaO endereço IP e os domínios de host em um novo mapeamento não podem duplicar nenhum endereço IP ou domínio existente nos mapeamentos atuais.
Um único mapeamento suporta uma relação de um-para-muitos entre um endereço IP e domínios de host. Um endereço IP pode ser mapeado para vários domínios, mas um domínio só pode ser mapeado para um único endereço IP.
-
Adicionar à lista de permissões
Se o grupo de recursos exclusivo e o data source estiverem na mesma zona, mas a conectividade de rede falhar após configurar a VPC e o vSwitch, a lista de permissões do data source pode estar bloqueando a conexão. Adicione o seguinte bloco CIDR ou endereço IP à lista de permissões do data source.
-
Para conexões via rede interna: Adicione o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo à lista de permissões do data source.
Após associar o grupo de recursos a uma VPC, acesse a aba Resource Groups da página Exclusive Resource Group e clique em Network Settings para o grupo de recursos desejado. Na aba VPC Binding, visualize o vSwitch CIDR Block.
Para conexões via internet pública: Adicione o EIP Address do grupo de recursos exclusivo à lista de permissões do data source. Ao transferir dados pela internet pública, localize o EIP address na página Basic Information do grupo de recursos exclusivo e configure o data source para permitir o acesso a partir dele.
Etapa 4: Testar a conectividade de rede
Após concluir a configuração de rede, teste a conectividade entre o grupo de recursos e o data source.
-
Faça login no console do DataWorks. Na região alvo, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.
Na página Workspace Management, clique em Data Sources no painel de navegação à esquerda para abrir a página de data source.
Clique em Edit na coluna Operation do data source desejado.
-
Na aba Data Integration, clique em Test Connectivity ao lado do nome do grupo de recursos. O status Connectable indica uma conexão bem-sucedida.
NotaSe a conexão falhar, clique em Self-service troubleshooting para usar a ferramenta de diagnóstico e identificar o problema de conectividade de rede. Para mais informações sobre conectividade entre data source e grupos de recursos exclusivos em diferentes ambientes de rede, consulte Soluções de conectividade de rede.
Clique em Complete.
Mais operações
Uso e monitoramento de grupos de recursos
Visualize o uso e o status de fila dos grupos de recursos no console do DataWorks. Use também o recurso de monitoramento inteligente no Operation Center para acompanhar a taxa de utilização dos grupos de recursos e o número de instâncias aguardando recursos. Para detalhes sobre como visualizar a taxa de uso, consulte Visualizar a Taxa de Uso de um Grupo de Recursos Exclusivo. Para informações sobre monitoramento de grupos de recursos, consulte Criar uma Regra Personalizada.
Alterar a zona do grupo de recursos
Para alterar a zona de um grupo de recursos, siga estas etapas:
Faça login no console do DataWorks.
No painel de navegação à esquerda, clique em Resource Group. Na página Resource Groups, acesse a aba Exclusive Resource Group e localize o grupo de recursos cujo Purpose esteja definido como Data Integration.
Clique no ícone
na coluna Operation do grupo de recursos e selecione Change Zone para abrir a caixa de diálogo Change Zone for Resource Group.Na caixa de diálogo Change Zone for Resource Group, selecione a Current Zone e as Machines a serem substituídas. Em seguida, selecione a New Zone e o Number of Machines to Use.
Clique em OK para concluir a alteração de zona.
A alteração da zona para recursos em um grupo de recursos pode afetar as configurações de rede das seguintes formas:
Bloco CIDR do grupo de recursos: A substituição de zona pode alterar os blocos CIDR do grupo. Cada zona usa um bloco CIDR independente; portanto, se a operação modificar o conjunto de zonas usadas pelo grupo, os blocos CIDR associados também mudarão.
Endereço IP da ENI primária do grupo de recursos: O endereço IP da ENI primária da instância ECS substituída sempre muda. Um novo endereço IP é alocado a partir do bloco CIDR da zona alvo.
Elastic network interface associada ao grupo de recursos: Se a lista de permissões estiver configurada com o bloco CIDR do vSwitch, ela não será afetada. No entanto, se a lista estiver configurada com o endereço IP da elastic network interface associada ao grupo, atualize a configuração da lista de permissões para garantir o acesso contínuo.
Apêndice: Alternância de grupos de recursos de Data Integration
Após criar e configurar um grupo de recursos exclusivo para Data Integration, use os métodos abaixo para alternar o grupo de recursos usado pelas tarefas.
|
Ambiente |
Operação |
Ponto de entrada |
|
Alternar o grupo de recursos para o ambiente de produção |
Alternância em lote |
Acesse a página . Selecione as tarefas que deseja modificar. Na barra de ferramentas inferior, clique em . Na caixa de diálogo exibida, leia o aviso "Please ensure that the data sources are accessible from the selected resource group. Otherwise, the Data Integration tasks may fail." Na lista suspensa Select Resource Group, selecione o grupo de recursos alvo e clique em OK. |
|
Alternar o grupo de recursos para o ambiente de desenvolvimento |
|
Acesse a página DataStudio.
Nota
Se não encontrar a opção para modificar o grupo de recursos para Data Integration, filtre primeiro pelo tipo de nó de sincronização offline. |
. Selecione as tarefas cujo grupo de recursos deseja modificar. Na barra de menu inferior, clique em Modify Data Synchronization Task para realizar a modificação em lote.