Para que o DataWorks execute sincronização de dados, agendamento ou outras tarefas, a virtual private cloud (VPC) associada ao seu grupo de recursos precisa alcançar a source de dados. Este tópico descreve as soluções de conectividade de rede disponíveis para diferentes ambientes.
Contexto
A maioria dos recursos do DataWorks — como criação de fontes de dados, sincronização, análise de dados, coleta de metadados e DataService — opera sobre fontes de dados ou recursos de computação conectados. Se a source de dados desejada não estiver na VPC associada ao grupo de recursos do DataWorks (por exemplo, se estiver em outra VPC ou em um IDC on-premises), selecione uma solução de conectividade adequada para ligar a VPC attached to the resource group à rede onde a source de dados reside.
Por exemplo, em um fluxo de sincronização de dados, a VPC associada ao grupo de recursos deve estar conectada tanto à rede da origem quanto à do destino.
Pré-requisitos
Adquira um grupo de recursos com as required specifications. Para mais detalhes, consulte Use a serverless resource group.
Para obter mais informações sobre grupos de recursos, consulte Overview of resource groups.
As soluções deste tópico aplicam-se a grupos de recursos serverless e aos seguintes grupos legados: grupos de recursos exclusivos para Data Integration, grupos de recursos exclusivos para agendamento e grupos de recursos exclusivos para Data Service.
Observações
Grupos de recursos serverless acessam fontes de dados em ambientes de rede complexos via rede privada mediante associação a uma VPC. No entanto, grupos de recursos serverless não acessam a rede pública por padrão. Para alcançar uma source de dados pela Internet, configure um Internet NAT Gateway e EIPs na VPC associada ao grupo de recursos. Para mais detalhes, consulte Connect to a data source over the Internet.
Conexões via rede pública não oferecem garantias de velocidade ou estabilidade. Para sincronização de dados, utilize rede privada ou Cloud Enterprise Network (CEN).
A conectividade de rede entre o grupo de recursos e a source de dados é obrigatória antes da execução das tarefas.
Grupos de recursos não suportam ambientes de rede clássica. Migre suas fontes de dados e services de uma rede clássica para uma VPC antes de prosseguir.
Escolha uma solução
A escolha depende da localização da sua source de dados em relação ao grupo de recursos do workspace do DataWorks. Utilize as informações abaixo para identificar a solução correta conforme o seu cenário:
Solução 1: Conectar a uma source de dados da Alibaba Cloud (mesma conta, mesma região)
Casos de uso
Esta solução é recomendada quando a source de dados e o workspace do DataWorks atendem a todas as condições abaixo:
A source de dados é um product da Alibaba Cloud.
Tanto a source de dados quanto o workspace do DataWorks pertencem à mesma conta da Alibaba Cloud.
A source de dados e o workspace do DataWorks estão na mesma região.
Descrição da solução
No cenário de mesma conta e mesma região, recomenda-se o uso de conexão via VPC (rede privada). Implante o grupo de recursos do seu workspace do DataWorks e a source de dados na mesma VPC para habilitar a conectividade de rede.
Diagrama de conectividade de rede
No cenário de mesma conta e mesma região, configure a conectividade de rede entre um grupo de recursos serverless do DataWorks e um banco de dados ApsaraDB RDS da seguinte forma:
Na página Database Connection da instância RDS, confirme a VPC à qual a instância pertence. Por exemplo, VPC 1 com o bloco CIDR 192.168.0.0/16.
Na página Resource Groups do console do DataWorks, associe o grupo de recursos serverless à mesma VPC da instância RDS.
Na seção VPC Binding dos detalhes do grupo de recursos, obtenha o bloco CIDR do vSwitch. Por exemplo, 192.168.0.0/24.
Adicione o bloco CIDR do vSwitch ao grupo DataWorks na página Whitelist and Security Group da instância RDS. Por exemplo, 192.168.6.0/24.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source in the same account and region.
Solução 2: Conectar a uma source de dados da Alibaba Cloud (mesma conta, regiões diferentes)
Casos de uso
Esta opção é indicada caso a source de dados e o workspace do DataWorks cumpram todos os requisitos a seguir:
A source de dados é um product da Alibaba Cloud.
A source de dados e o workspace do DataWorks pertencem à mesma conta da Alibaba Cloud.
A source de dados e o workspace do DataWorks estão em regiões diferentes.
Descrição da solução
Para o cenário de mesma conta e regiões diferentes, recomenda-se a conexão via VPC (rede privada). Utilize uma ferramenta de conectividade de rede (Cloud Enterprise Network ou VPC Peering Connection) para interligar a VPC do grupo de recursos do seu workspace do DataWorks à VPC onde a source de dados reside.
Diagrama de conectividade de rede
No cenário de mesma conta e regiões diferentes, onde o DataWorks está na região China (Shanghai) e o banco de dados na região China (Hangzhou), configure a conectividade de rede conforme abaixo:
Visualize as informações de VPC da instância de banco de dados para obter o bloco CIDR da VPC, como
192.168.0.0/16, e o endpoint interno.Na página Resource Groups do console do DataWorks, localize o grupo de recursos serverless desejado.
Utilize uma ferramenta de conectividade de rede, como a Cloud Enterprise Network, para conectar a VPC do lado do DataWorks à VPC do lado do banco de dados.
Na seção VPC Binding dos detalhes do grupo de recursos, visualize o bloco CIDR do vSwitch associado, como
172.16.0.0/24.Adicione o bloco CIDR do vSwitch
172.16.0.0/24ao grupo DataWorks na lista de permissões do banco de dados.Na parte inferior da página de detalhes do grupo de recursos, clique em Custom Route e adicione uma rota para o bloco CIDR da VPC do lado do banco de dados.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source in the same account but a different region.
Solução 3: Conectar a uma source de dados da Alibaba Cloud (contas diferentes)
Casos de uso
Adote esta solução se a source de dados e o workspace do DataWorks atenderem às seguintes condições:
A source de dados é um product da Alibaba Cloud.
A source de dados e o workspace do DataWorks pertencem a contas diferentes da Alibaba Cloud.
Descrição da solução
No cenário de contas diferentes, recomenda-se a conexão via VPC (rede privada). Use uma ferramenta de conectividade de rede (Cloud Enterprise Network ou VPC Peering Connection) para ligar a source de dados da Conta A ao grupo de recursos do workspace do DataWorks na Conta B.
Diagrama de conectividade de rede
No cenário de contas diferentes, onde a Conta A possui o banco de dados ApsaraDB RDS e a Conta B possui o DataWorks, configure a conectividade de rede entre contas da seguinte maneira:
Na página Database Connection da instância RDS da Conta A, obtenha a VPC da instância e seu bloco CIDR. Neste exemplo, o bloco CIDR é
192.168.0.0/16.Na página Resource Groups do console do DataWorks da Conta B, visualize os detalhes do grupo de recursos serverless e confirme o bloco CIDR do vSwitch associado na seção Data Scheduling & Data Integration. Neste exemplo, o bloco CIDR é
172.16.66.0/24.Use uma ferramenta de conectividade de rede, como a Cloud Enterprise Network, para conectar a VPC da Conta B à VPC da Conta A, permitindo a comunicação entre ambas.
Em Whitelist Settings da instância RDS, adicione um grupo DataWorks e inclua o bloco CIDR do vSwitch
172.16.66.0/24do grupo de recursos do DataWorks na lista de permissões.Na página de detalhes do grupo de recursos no console do DataWorks, clique em Custom Route e configure uma rota para a VPC onde a instância RDS reside.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source under a different account.
Solução 4: Conectar a uma source de dados implantada no ECS
Caso de uso
Esta abordagem é ideal quando a source de dados atende à seguinte condição:
A source de dados está implantada em uma instância ECS da Alibaba Cloud.
Descrição da solução
Se a instância ECS que hospeda a source de dados e o DataWorks estiverem na mesma conta e na mesma região, recomenda-se a conexão via VPC (rede privada). Implante o grupo de recursos do seu workspace do DataWorks e a instância ECS na mesma VPC para estabelecer a conectividade.
Caso a instância ECS e o DataWorks estejam em contas diferentes ou na mesma conta, mas em regiões distintas, utilize conexão via VPC (rede privada). Empregue uma ferramenta de conectividade (Cloud Enterprise Network ou VPC Peering Connection) para unir a VPC do grupo de recursos do DataWorks à VPC da instância ECS.
Diagrama de conectividade de rede
Mesma conta, mesma região
Se a source de dados estiver implantada em uma instância ECS pertencente à mesma conta da Alibaba Cloud e na mesma região do DataWorks, configure a conectividade de rede assim:
No console do ECS, visualize as informações de VPC e vSwitch da instância ECS desejada, como MySQL_on_ECS.
Na página Resource Groups do console do DataWorks, localize o grupo de recursos serverless correspondente ao seu workspace.
Na seção VPC Binding dos detalhes do grupo de recursos, visualize o bloco CIDR do vSwitch associado a Data Scheduling & Data Integration, como
172.16.0.0/24.Adicione o bloco CIDR do vSwitch a uma regra de entrada do grupo de segurança do ECS. Defina o tipo de protocolo como Custom TCP, o intervalo de portas como MySQL(3306), o objeto de autorização como o bloco CIDR do vSwitch do grupo de recursos (ex:
172.16.0.0/24) e a ação como Allow.
Mesma conta, regiões diferentes
Quando a source de dados estiver em uma instância ECS da mesma conta da Alibaba Cloud, porém em região diferente do DataWorks, siga estes passos para configurar a conectividade:
No console do ECS, verifique as informações de VPC e vSwitch da instância ECS alvo. Neste exemplo, a instância é MySQL_on_ECS, localizada em Hangzhou Zone H, com IP privado primário
192.168.6.172.Na página de detalhes do grupo de recursos no console do DataWorks, visualize o registro de associação de Data Scheduling & Data Integration.
Utilize a Cloud Enterprise Network ou uma conexão peering de VPC para conectar a VPC do DataWorks (VPC2 na região China (Shanghai)) à VPC da instância ECS (VPC1 na região China (Hangzhou)).
Confirme se o bloco CIDR do vSwitch do grupo de recursos do DataWorks é
172.16.0.0/24.Adicione uma regra de entrada ao grupo de segurança do ECS para permitir o acesso. Configure o tipo de protocolo como Custom TCP, a origem como o bloco CIDR do grupo de recursos do DataWorks
172.16.0.0/24e o intervalo de portas como MySQL(3306).Anote o bloco CIDR do vSwitch da instância ECS. Esse dado é necessário para configurar a rota.
Na página de detalhes do grupo de recursos do console do DataWorks, clique em Custom Route e adicione uma rota apontando para o bloco CIDR do vSwitch da instância ECS.
Contas diferentes
Se a source de dados estiver implantada em uma instância ECS da Conta A da Alibaba Cloud e o DataWorks pertencer à Conta B, proceda com a seguinte configuração:
No console do ECS da Conta A, obtenha as informações de VPC e vSwitch da instância MySQL_on_ECS. Neste exemplo, a instância está em Hangzhou Zone H e seu IP privado primário é
192.168.6.172.No console do DataWorks da Conta B, visualize os detalhes do grupo de recursos serverless e confirme que o bloco CIDR do vSwitch associado a Data Scheduling & Data Integration é
172.16.66.0/24.Estabeleça uma conexão de VPC entre contas, ligando a VPC2 (lado do DataWorks) à VPC1 (lado do ECS).
Inclua uma regra de entrada no grupo de segurança do ECS para liberar o acesso. Defina o protocolo como Custom TCP, o objeto de autorização como
172.16.66.0/24(bloco CIDR do vSwitch do grupo de recursos do DataWorks) e o intervalo de portas como MySQL(3306).Na página de detalhes do grupo de recursos no console do DataWorks, clique em Custom Route e adicione uma rota direcionada ao bloco CIDR do vSwitch da instância ECS.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source deployed on ECS.
Solução 5: Conectar a uma source de dados em IDC on-premises
Caso de uso
Utilize esta solução quando a source de dados cumprir o requisito abaixo:
A source de dados está implantada em um IDC on-premises.
Descrição da solução
Para fontes de dados em IDC on-premises, a recomendação é usar conexão via VPC (rede privada). Aplique uma ferramenta de conectividade de rede (Express Connect) para integrar a rede on-premises da source de dados à VPC do grupo de recursos do seu workspace do DataWorks.
Diagrama de conectividade de rede
Para conectar-se a uma source de dados implantada em IDC on-premises (MySQL neste exemplo), execute os passos a seguir:
Confirme o bloco CIDR do IDC, como
172.16.10.0/24.No console do DataWorks, obtenha as informações do grupo de recursos exclusivo para Data Integration.
Utilize um circuito Express Connect para ligar a VPC ao IDC.
Visualize o bloco CIDR do vSwitch associado ao grupo de recursos, como
192.168.0.0/24.Configure regras de lista de permissões e firewall no banco de dados MySQL do IDC para permitir acesso a partir do bloco CIDR do vSwitch do grupo de recursos. Exemplo de lista de permissões:
CREATE USER 'dataworks_user'@'192.168.0.0/24' IDENTIFIED BY 'StrongPassword123';eGRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'192.168.0.0/24' WITH GRANT OPTION;. Exemplo de firewall:sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.0.0/24" port="3306" protocol="tcp" accept'.Na página de detalhes do grupo de recursos, clique em Custom Route e adicione uma rota para o bloco CIDR do IDC.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source in an on-premises IDC.
Solução 6: Conectar a uma source de dados via Internet
Caso de uso
Esta alternativa é válida se a source de dados possuir a característica abaixo:
A source de dados dispõe de um endpoint público.
Descrição da solução
Grupos de recursos serverless não acessam a rede pública por padrão. É necessário configurar um Internet NAT Gateway e EIPs na VPC associada ao grupo de recursos antes de acessar fontes de dados pela Internet.
-
Grupos de recursos legados possuem acesso à rede pública por padrão e permitem conexão direta.
NotaGrupos de recursos legados estão sendo descontinuados. Recomendamos a utilização de grupos de recursos serverless.
Diagrama de conectividade de rede
O diagrama aplica-se apenas a grupos de recursos serverless. Grupos de recursos legados já possuem EIPs associados por padrão e podem se conectar diretamente.
Configurar conectividade de rede
Para a descrição detalhada da solução e etapas de configuração, consulte Connect to a data source over the Internet.
Referências
Para saber mais sobre grupos de recursos, consulte Overview of resource groups.
Para criar e utilizar um grupo de recursos, veja Use a serverless resource group.
Para associar uma VPC a um grupo de recursos, acesse Associate a VPC.
Para configurar um NAT Gateway de Internet na VPC e vSwitch associados a um grupo de recursos, consulte Create and manage an Internet NAT Gateway.
Para dúvidas frequentes sobre conectividade de rede, veja FAQ about network connectivity.