DataWorks:Solução 6: Conectividade de rede para uma fonte de dados pública

Esta solução é recomendada se sua fonte de dados atender à seguinte condição:

• A fonte de dados possui um endpoint público.

Etapa 1: Obter informações básicas

Etapa 2: Estabelecer conectividade de rede

• Grupo de recursos serverless: Um grupo de recursos serverless não tem acesso à internet por padrão. Configure um Internet NAT Gateway e vincule um EIP à VPC associada ao grupo de recursos antes que ele possa acessar fontes de dados pela internet.

• Grupo de recursos exclusivo legado: Possui acesso à internet por padrão e permite conexão direta.

Etapa 3: (Opcional) Adicionar endereços IP à lista de permissões

Caso a fonte de dados possua controles de lista de permissões, adicione o endereço IP público do grupo de recursos à lista de permissões da fonte de dados.

O exemplo a seguir utiliza a configuração de lista de permissões de IP do MySQL, onde um usuário específico só pode acessar o banco de dados a partir do endereço IP público do grupo de recursos.

1. Faça logon no banco de dados como administrador.

2. Crie uma conta para o DataWorks acessar a fonte de dados e configure as permissões necessárias.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the public IP address bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

3. Execute o comando FLUSH PRIVILEGES; para atualizar as permissões e saia do banco de dados (exit).

1. Informações básicas

2. Estabelecer conectividade de rede

Este procedimento aplica-se apenas a grupos de recursos serverless. Ele utiliza um NAT Gateway de Internet para ative o acesso à internet na VPC associada. Grupos de recursos legados já possuem um EIP vinculado por padrão e não exigem esta configuração.

1. Acesse a página Lista de Grupos de Recursos do DataWorks, localize o grupo de recursos desejado e clique em Network Settings na coluna Operation.

2. No módulo de funcionalidade correspondente, localize a VPC associada e clique em no ícone ao lado da VPC para ir à página Basic Information da VPC.

   Por exemplo, para conectar uma instância MySQL com endpoint público ao DataWorks para sincronização de dados, localize a VPC correspondente em Task Scheduling & Data Integration e clique em no ícone ao lado da VPC.

3. Mude para a aba Resource management. Na seção Internet Access Service, clique em Create sob Internet NAT Gateway para ative o acesso à internet na VPC associada ao grupo de recursos.

   Configure os seguintes parâmetros principais:

   Parâmetro	Valor
   VPC	Use a mesma VPC e o mesmo vSwitch associados ao grupo de recursos.
   Associated vSwitch
   Access mode	Selecione Full VPC mode (SNAT).
   EIP Instance	Selecione Purchase New EIP.
   Associated Role	Ao criar um NAT gateway pela primeira vez, é necessário crie uma função vinculada ao service. Clique em Create Associated Role.

4. Clique em Buy Now, conclua o pagamento e crie a instância do NAT gateway.

   Após a conclusão da compra, uma mensagem de sucesso é exibida juntamente com os resultados de três operações de recursos: Create EIP (criado), Create NAT Gateway (criado) e Bind EIP (vinculado).

5. Após a compra da instância do NAT gateway, clique em no botão para retornar ao console e crie uma entrada SNAT.

   Nota

   Somente após a configuração de uma entrada SNAT os grupos de recursos que utilizam esta VPC poderão acessar a internet.

   As entradas SNAT suportam quatro níveis de granularidade: VPC, vSwitch, ECS/ENI e bloco CIDR personalizado. A granularidade de vSwitch abrange apenas os vSwitches selecionados. Se o grupo de recursos do DataWorks estiver implantado em um vSwitch não selecionado, ele não poderá acessar a internet através desta entrada SNAT. Recomendamos a granularidade de VPC, onde o bloco CIDR de origem é 0.0.0.0/0. Isso cobre todos os blocos CIDR na VPC e garante que os grupos de recursos em todos os vSwitches possam acessar a internet através do NAT gateway.

   1. Clique em Management na coluna Operation da instância recém-adquirida para ir à página de gerenciamento da instância do NAT gateway alvo e mude para a aba SNAT Management.

   2. Na seção SNAT Entry List, clique em Create SNAT Entry para crie uma entrada NAT. As principais configurações são:

      Parâmetro	Valor
      Granularidade da entrada SNAT	Selecione a granularidade de VPC para garantir que todos os grupos de recursos na VPC possam acessar a internet através do EIP configurado.
      Selecionar endereço EIP	Selecione o EIP vinculado à instância atual do NAT gateway.

      Após configurar os parâmetros da entrada SNAT, clique em OK para crie a entrada SNAT.

   Na seção SNAT Entry List, quando o Status da nova entrada SNAT mudar para Enabled, a VPC associada ao grupo de recursos terá acesso à internet.

   Se você configurou anteriormente uma entrada SNAT com granularidade de vSwitch, poderá exclua-a após crie uma entrada SNAT com granularidade de VPC. A entrada com granularidade de VPC usa um bloco CIDR de origem 0.0.0.0/0, que já cobre todos os blocos CIDR dos vSwitches na VPC. Exclua a antiga entrada com granularidade de vSwitch não afeta a entrada SNAT com granularidade de VPC.

3. Adicionar endereços IP à lista de permissões

1. Obtenha o endereço IP público do grupo de recursos.

   Grupo de recursos serverless

   1. Acesse o console da VPC. No painel de navegação à esquerda, clique em NAT Gateway > Internet NAT Gateway para ir à página de lista do Internet NAT Gateway.

   2. Localize o Internet NAT Gateway criado e visualize a coluna EIP para obter o endereço EIP.

   Grupo de recursos legado

   1. Acesse a página Lista de Grupos de Recursos do DataWorks, localize o grupo de recursos desejado e clique em Details na coluna Operation para ir à página de detalhes do grupo de recursos.

   2. Obtenha o endereço EIP.

2. Faça logon no banco de dados como administrador.

3. Crie uma conta para o DataWorks acessar a fonte de dados e configure as permissões necessárias.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the vSwitch CIDR block bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

4. Execute o comando FLUSH PRIVILEGES; para atualizar as permissões e saia do banco de dados (exit).

4. Testar conectividade

1. Faça logon no console do DataWorks. Na região de destino, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

2. No painel de navegação à esquerda, clique em Data Sources para ir à página Data Sources e, em seguida, clique em Add Connection.

3. Selecione o tipo de fonte de dados MySQL e configure as informações de conexão da fonte de dados.

   • Defina Configuration Mode como User-created Data Store with Public IP Addresses.

   • Defina Host Address como o endereço IP público do servidor onde o MySQL reside (neste exemplo, 47.117.XX.XX).

   • Defina Port Number como 3306.

   • Defina Database Name como o nome de um banco de dados existente.

   • Defina Username e Password como o usuário e a senha dataworks_user criados na etapa Add IP addresses to the allowlist.

4. Na seção Connection Configuration, clique em Test Connectivity ao lado do grupo de recursos associado ao workspace e verifique se o resultado é Connectable.

   Nota

   Se o resultado do teste mostrar Failed, use a Network Connectivity Diagnostic Tool para solucionar o problema. Se a conectividade ainda falhar, envie um ticket para obter assistência.

O que fazer se um grupo de recursos serverless apresentar tempo limite ao conectar-se a uma fonte de dados FTP pública?

Um grupo de recursos serverless não possui acesso à internet por padrão. Se ocorrer um tempo limite de conexão ao acessar uma fonte de dados FTP pública, siga estas etapas para solucionar o problema:

1. Verifique se um NAT gateway e uma entrada SNAT estão configurados para a VPC onde o grupo de recursos serverless reside. Caso contrário, conclua a vinculação do NAT gateway e a criação da entrada SNAT conforme descrito em "Etapa 2: Estabelecer conectividade de rede" neste tópico.

2. Confirme se o NAT gateway está vinculado à VPC e ao vSwitch realmente utilizados pelo grupo de recursos serverless. Garanta que a vinculação seja consistente com as configurações de rede do grupo de recursos.

3. Na tabela de rotas da VPC, adicione uma entrada de rota para o bloco CIDR correspondente ao endereço IP do servidor FTP. Por exemplo, se o endereço do servidor FTP for 121.4.x.x, adicione uma entrada de rota com o bloco CIDR de destino 121.4.0.0/16 e defina o próximo salto como a instância do NAT gateway.

4. Verifique a lista de permissões no lado do servidor FTP e adicione o IP de saída do grupo de recursos serverless (o EIP vinculado ao NAT gateway) à lista de permissões do servidor FTP.

O que fazer se o console do DataWorks de uma região internacional estiver inacessível a partir de uma rede na China continental?

Ao acessar o console do DataWorks de uma região internacional (como US (Silicon Valley)) a partir da China continental, a página pode falhar ao carregar ou carregar lentamente devido à latência ou restrições de rede transfronteiriça. Etapas recomendadas:

1. Tente usar outro computador ou ambiente de rede (como um ponto de acesso móvel) para descartar problemas de rede local.

2. Se o problema for causado pelas condições de rede transfronteiriça, entre em contato com sua equipe de administração de rede para ajustar as políticas de acesso ao console do DataWorks na região internacional.

3. Para acesso estável e de longo prazo a um console internacional, utilize o Alibaba Cloud Global Accelerator (GA) para aceleração de rede transfronteiriça com baixa latência e alta disponibilidade.

Posso usar um IP de proxy para disfarçar um grupo de recursos como um IP internacional?

Não. O Alibaba Cloud aloca e mantém o endereço IP de saída para cada grupo de recursos. Não é possível modifique ou personalizar esse endereço usando um IP de proxy ou outros métodos. Mesmo que você configure definições de proxy em seu código Python ou em outros programas, as tarefas do DataWorks ainda usarão o endereço IP alocado ao grupo de recursos durante a execução. Para acessar fontes de dados com restrição geográfica, utilize o VPN Gateway ou o Express Connect para estabelecer conexões transfronteiriças.