DataWorks:Solução 6: Conectividade de rede para fontes de dados de rede pública

Recomendamos esta solução se sua fonte de dados atender à seguinte condição:

• A fonte de dados possui um endpoint público.

Etapa 1: Obter informações básicas

Etapa 2: Estabelecer conectividade de rede

• Grupo de recursos serverless: Um grupo de recursos serverless não possui acesso à internet por padrão. Configure um Internet NAT Gateway e vincule um EIP à VPC associada ao grupo de recursos para permitir o acesso a fontes de dados pela internet.

• Grupo de recursos exclusivo legado: Um grupo de recursos exclusivo legado possui acesso à internet por padrão e permite conexão direta.

Se encontrar problemas durante a configuração de rede, abra um ticket para entrar em contato com o suporte técnico da Alibaba Cloud.

Etapa 3: (Opcional) Adicionar endereços IP à lista de permissões

Se a fonte de dados possuir controles de lista de permissões, adicione o endereço IP público associado ao grupo de recursos à lista de permissões da fonte de dados para permitir o acesso a partir do grupo de recursos.

Este tópico usa a configuração de lista de permissões de IP do MySQL como exemplo, na qual um usuário específico tem permissão para acessar o banco de dados apenas a partir do endereço IP público associado ao grupo de recursos.

Observe os seguintes pontos ao configurar a lista de permissões:

• Quando um grupo de recursos serverless acessa uma fonte de dados pela internet, o IP de saída é o EIP vinculado ao NAT gateway, e não o IP do bloco CIDR do vSwitch onde o grupo de recursos reside. Adicione este endereço EIP à lista de permissões do grupo de segurança ou firewall da fonte de dados, em vez de configurar apenas o IP do bloco CIDR do vSwitch.

• Caso a lista de permissões se torne inválida devido a uma alteração no IP de source, verifique se a resolução DNS ou a política de roteamento está mapeada corretamente para o EIP do NAT gateway. Causas comuns incluem: tabela de rotas da VPC mal configurada, entrada SNAT do NAT gateway que não entrou em vigor ou múltiplas instâncias de NAT gateway causando incerteza no IP de saída.

• O IP de saída de um grupo de recursos exclusivo legado é o EIP vinculado ao próprio grupo de recursos. Obtenha este endereço na página de detalhes do grupo de recursos e adicione-o à lista de permissões da fonte de dados.

1. Faça login no banco de dados como administrador.

2. Crie uma conta para o DataWorks acessar a fonte de dados e configure as permissões necessárias.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the public IP address bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

3. Execute o comando FLUSH PRIVILEGES; para atualizar as permissões e saia do banco de dados (exit).

1. Informações básicas

2. Estabelecer conectividade de rede

Este procedimento aplica-se apenas a grupos de recursos serverless. Ele utiliza um Internet NAT Gateway para ative o acesso à internet na VPC associada ao grupo de recursos. Grupos de recursos legados já possuem um EIP vinculado por padrão e não exigem esta configuração.

1. Acesse a página Lista de Grupos de Recursos do DataWorks, localize o grupo de recursos desejado e clique em Network Settings na coluna Operation.

2. No módulo de funcionalidade correspondente, localize a VPC associada e clique em no ícone ao lado da VPC para ir à página de Basic Information da VPC.

   Por exemplo, para conectar uma instância MySQL com endpoint público ao DataWorks para sincronização de dados, localize a VPC correspondente em Task Scheduling & Data Integration e clique em no ícone ao lado da VPC.

3. Mude para a aba Resource management. Na seção Internet Access Service, clique em Create em Internet NAT Gateway para ative o acesso à internet na VPC associada ao grupo de recursos.

   Configure os seguintes parâmetros principais:

   Parâmetro	Valor
   VPC	Use a mesma VPC e vSwitch associados ao grupo de recursos.
   Associated vSwitch
   Access mode	Selecione Full VPC mode (SNAT).
   EIP Instance	Selecione Purchase New EIP.
   Associated Role	Ao criar um NAT gateway pela primeira vez, é necessário criar uma função vinculada ao serviço. Clique em Create Associated Role.

4. Clique em Buy Now, conclua o pagamento e crie a instância do NAT gateway.

   Após a conclusão da compra, a página exibe uma mensagem de sucesso na aquisição da instância do NAT gateway, juntamente com os resultados de três operações de recursos: Create EIP (criado), Create NAT Gateway (criado) e Bind EIP (vinculado).

5. Após comprar a instância do NAT gateway, clique em no botão para retornar ao console e crie uma entrada SNAT para a instância do NAT gateway.

   Nota

   Somente após a configuração de uma entrada SNAT os grupos de recursos que utilizam esta VPC poderão acessar a internet.

   As entradas SNAT suportam quatro níveis de granularidade: VPC, vSwitch, ECS/ENI e bloco CIDR personalizado. A granularidade de vSwitch cobre apenas os vSwitches selecionados. Se o grupo de recursos do DataWorks estiver implantado em um vSwitch não selecionado, ele não poderá acessar a internet por meio desta entrada SNAT. Recomendamos usar a granularidade de VPC para configurar entradas SNAT. Com essa granularidade, o bloco CIDR de origem é 0.0.0.0/0, cobrindo todos os blocos CIDR na VPC e garantindo que grupos de recursos em todos os vSwitches possam acessar a internet por meio do NAT gateway.

   1. Clique em Management na coluna Operation da instância recém-adquirida para ir à página de gerenciamento da instância do NAT gateway desejada e mude para a aba SNAT Management.

   2. Na seção SNAT Entry List, clique em Create SNAT Entry para criar uma entrada NAT. As principais configurações são:

      Parâmetro	Valor
      Granularidade da entrada SNAT	Selecione a granularidade de VPC para garantir que todos os grupos de recursos na VPC do NAT gateway possam acessar a internet por meio do EIP configurado.
      Selecionar endereço EIP	Configure o endereço EIP vinculado à instância atual do NAT gateway.

      Após configurar os parâmetros da entrada SNAT, clique em OK para criar a entrada SNAT.

   Na seção SNAT Entry List, quando o Status da entrada SNAT recém-criada mudar para Enabled, a VPC associada ao grupo de recursos terá acesso à internet.

   Se você configurou anteriormente uma entrada SNAT com granularidade de vSwitch, poderá exclua-a após criar uma entrada SNAT com granularidade de VPC. A entrada SNAT com granularidade de VPC possui um bloco CIDR de origem 0.0.0.0/0, que já cobre todos os blocos CIDR dos vSwitches na VPC. A entrada antiga com granularidade de vSwitch não precisa mais ser mantida, e sua exclusão não afeta a entrada SNAT com granularidade de VPC.

3. Adicionar endereços IP à lista de permissões

1. Obtenha o endereço IP público associado ao grupo de recursos.

   Grupo de recursos serverless

   1. Acesse o console da VPC. No painel de navegação à esquerda, clique em NAT Gateway > Internet NAT Gateway para ir à página de lista do Internet NAT Gateway.

   2. Localize o Internet NAT Gateway criado e visualize a coluna EIP para obter o endereço EIP.

   Grupo de recursos legado

   1. Acesse a página Lista de Grupos de Recursos do DataWorks, localize o grupo de recursos desejado e clique em Details na coluna Operation para ir à página de detalhes do grupo de recursos.

   2. Obtenha o endereço EIP.

2. Faça login no banco de dados como administrador.

3. Crie uma conta para o DataWorks acessar a fonte de dados e configure as permissões necessárias.

   -- "dataworks_user" is the username, which you can customize.
   -- "StrongPassword123!" is the user password, which you can customize.
   CREATE USER 'dataworks_user'@'<Public IP address bound to the resource group>' IDENTIFIED BY 'StrongPassword123!';
   -- Grant the user access to the specified database (e.g., mydatabase) from the vSwitch CIDR block bound to the resource group.
   GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'<Public IP address bound to the resource group>' WITH GRANT OPTION;

4. Execute o comando FLUSH PRIVILEGES; para atualizar as permissões e saia do banco de dados (exit).

4. Testar conectividade

1. Faça login no console do DataWorks. Na região desejada, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

2. No painel de navegação à esquerda, clique em Data Sources para ir à página Data Sources e clique em Add Connection.

3. Selecione o tipo de fonte de dados MySQL e configure as informações de conexão da fonte de dados.

   • Defina Configuration Mode como User-created Data Store with Public IP Addresses.

   • Defina Host Address como o endereço IP público do servidor onde o MySQL reside (neste exemplo, 47.117.XX.XX).

   • Defina Port Number como 3306.

   • Defina Database Name como o nome de um banco de dados existente.

   • Defina Username e Password como o usuário e senha dataworks_user criados na etapa Adicionar endereços IP à lista de permissões.

4. Na seção Connection Configuration, clique em Test Connectivity ao lado do grupo de recursos associado ao workspace e verifique se o resultado é Connectable.

   Nota

   Se o resultado do teste mostrar Failed, use a Network Connectivity Diagnostic Tool para solucionar o problema. Se a conectividade ainda falhar, abra um ticket para obter assistência.

O que fazer se um grupo de recursos serverless atingir o tempo limite ao se conectar a uma fonte de dados FTP pública?

Um grupo de recursos serverless não possui acesso à internet por padrão. Se ocorrer um tempo limite de conexão ao acessar uma fonte de dados FTP pública, siga estas etapas para solucionar o problema:

1. Verifique se um NAT gateway e uma entrada SNAT foram configurados para a VPC onde o grupo de recursos serverless reside. Caso contrário, conclua a vinculação do NAT gateway e a criação da entrada SNAT conforme descrito na "Etapa 2: Estabelecer conectividade de rede" deste tópico.

2. Verifique se o NAT gateway está vinculado à VPC e ao vSwitch realmente utilizados pelo grupo de recursos serverless. Garanta que a relação de vinculação seja consistente com as configurações de rede do grupo de recursos.

3. Na tabela de rotas da VPC, adicione uma entrada de rota para o bloco CIDR correspondente ao endereço IP do servidor FTP. Por exemplo, se o endereço do servidor FTP for 121.4.x.x, adicione uma entrada de rota com o bloco CIDR de destino 121.4.0.0/16 e defina o próximo salto como a instância do NAT gateway.

4. Verifique as restrições de lista de permissões no servidor FTP e adicione o IP de saída do grupo de recursos serverless (o EIP vinculado ao NAT gateway) à lista de permissões de acesso do servidor FTP.

Por que o recurso de busca de tabelas falha ao carregar a lista, mas os scripts executam normalmente ao me conectar ao PostgreSQL pela internet?

Ao conectar-se a uma fonte de dados PostgreSQL pela internet, o recurso de busca de tabelas no console requer múltiplas interações para recuperar metadados, o que exige alta estabilidade de rede. Quando o ambiente de rede pública é instável ou possui limitações de transmissão, as interações de recuperação de metadados podem atingir o tempo limite ou falhar, impedindo que a busca de tabelas carregue a lista. Em contraste, o modo de script envia e executa tarefas de sincronização diretamente, sem depender de múltiplas interações de recuperação de metadados, não sendo afetado pela instabilidade da rede pública.

Recomendamos as seguintes soluções:

• Use preferencialmente uma conexão de rede privada: Acesse a fonte de dados PostgreSQL por meio de uma conexão VPC para evitar problemas causados pela instabilidade da rede pública. Para mais informações sobre soluções de rede, consulte Visão geral das soluções de conectividade de rede.

• Use o sdk para criar tarefas: Se não for possível mudar para uma conexão de rede privada no momento, crie tarefas de sincronização de dados usando a OpenAPI ou o sdk do DataWorks para evitar as limitações do recurso de busca de tabelas no console.

O que fazer se o console do DataWorks de uma região internacional estiver inacessível a partir de uma rede na China continental?

Ao acessar o console do DataWorks de uma região internacional (como US (Silicon Valley)) a partir da China continental, a página pode falhar ao carregar ou carregar lentamente devido à latência ou restrições de rede transfronteiriça. Recomendamos seguir estas etapas:

1. Tente alternar para outro computador ou ambiente de rede (como um hotspot móvel) para descartar problemas de rede local.

2. Se for confirmado que o problema é causado pelas condições de rede transfronteiriça, entre em contato com a equipe de administração de rede da sua empresa para ajustar as políticas de rede e permitir o acesso ao console do DataWorks na região internacional.

3. Se precisar de acesso estável e de longo prazo ao console de uma região internacional, recomendamos o uso do Alibaba Cloud Global Accelerator (GA) para otimizar o acesso transfronteiriço. O Global Accelerator fornece aceleração de rede transfronteiriça de baixa latência e alta disponibilidade.

Posso usar um IP de proxy para disfarçar um grupo de recursos como um IP internacional?

Não. A Alibaba Cloud mantém e aloca uniformemente o endereço IP de saída de cada grupo de recursos. Não é possível modifique ou personalizar esse endereço usando um IP de proxy ou outros métodos. Mesmo que você defina configurações de proxy no código Python ou em outros programas, as tarefas do DataWorks ainda usarão o endereço IP alocado ao grupo de recursos durante a execução. Para acessar fontes de dados com restrições geográficas, utilize produtos de rede como VPN Gateway ou Express Connect para estabelecer conexões transfronteiriças.