DataWorks:Solution 4: Network connectivity for data sources deployed on ECS

Esta solução é recomendada se sua fonte de dados atender à seguinte condição:

• A fonte de dados está implantada em uma instância do Alibaba Cloud ECS.

Mesma conta e região

Se a instância do ECS que hospeda a fonte de dados e o DataWorks estiverem na mesma conta e na mesma região, recomendamos o uso de uma conexão VPC (rede privada). Implante o grupo de recursos do seu workspace do DataWorks e a instância do ECS na mesma VPC para habilitar a conectividade de rede.

Contas ou regiões diferentes

Caso a instância do ECS que hospeda a fonte de dados e o DataWorks estejam em contas diferentes ou na mesma conta, mas em regiões distintas, também recomendamos uma conexão VPC (rede privada). Use uma ferramenta de conectividade de rede (Cloud Enterprise Network ou VPC Peering Connection) para conectar a VPC do grupo de recursos do seu workspace do DataWorks à VPC onde a instância do ECS reside.

Etapa 1: Obter informações básicas

Etapa 2: Estabelecer conectividade de rede

Etapa 3: Adicionar uma rota no grupo de recursos do DataWorks

Para cenários entre regiões na mesma conta ou entre contas diferentes, adicione uma rota no grupo de recursos do DataWorks apontando para o bloco CIDR do vSwitch da instância do ECS.

1. Acesse a página Resource Group List do DataWorks. Localize o grupo de recursos desejado e clique em Network Settings na coluna Operation.

2. No módulo correspondente, localize a VPC vinculada e clique em Custom Route na coluna Operation.

3. Clique em Add Route. Defina o método de conexão como CIDR Block e configure Destination CIDR Block com o bloco CIDR do vSwitch da instância do ECS.

Etapa 4: (Opcional) Habilitar acesso remoto ao banco de dados

Alguns bancos de dados exigem a habilitação de acesso remoto em seus arquivos de configuração para permitir que usuários especificados acessem o banco via redes externas usando um endereço IP e porta. O método de configuração varia conforme o banco de dados. Consulte a documentação oficial do seu banco de dados.

Exemplo: Habilitar acesso remoto para MySQL.

Etapa 5: Configurar regras de grupo de segurança do ECS

O Alibaba Cloud ECS utiliza grupos de segurança para implementar funcionalidades de firewall. Abra a porta do banco de dados no grupo de segurança do ECS para a VPC do grupo de recursos do DataWorks, permitindo que o grupo de recursos acesse o serviço implantado na instância do ECS.

1. Acesse o console do ECS e mude para a região da sua instância do ECS no topo da página.

2. No painel de navegação à esquerda, clique em Instances & Images > Instance. Localize a instância do ECS onde o banco de dados MySQL está implantado e clique no nome da instância para acessar a página Instance Details.

3. No topo da página, mude para a aba Security Group. Clique no nome do grupo de segurança para acessar a página Security Group Details.

4. Na seção Access Rules, clique em Add Rule e configure os seguintes parâmetros principais. Utilize os valores padrão para os demais parâmetros.

   • source: Insira o bloco CIDR do vSwitch vinculado ao grupo de recursos do DataWorks.

   • Port: Selecione a porta do banco de dados implantado na instância do ECS. Por exemplo, abra a porta 3306 para MySQL.

1. Informações básicas

2. Estabelecer conectividade de rede

Este exemplo utiliza uma conexão de peering VPC para configurar a conectividade de rede entre a instância do ECS e o DataWorks.

1. Faça login com a Conta A. Acesse o console de VPC Peering Connection. Mude a região para China (Hangzhou) no topo da página e clique em Create Peering Connection para configurar os parâmetros.

   A tabela a seguir descreve os principais parâmetros para este exemplo. Utilize os valores padrão para os demais parâmetros.

   Parâmetro	Descrição e exemplo
   Peering Connection Name	Especifique um nome personalizado. Neste exemplo, insira Account_A to Account_B.
   Requester VPC	A VPC da instância do ECS sob a Conta A. Neste exemplo, selecione Account_A_hangzhou_VPC.
   Accepter Account Type	Neste exemplo, selecione Cross-account.
   Accepter Account UID	Insira o UID da conta do Alibaba Cloud referente à Conta B.
   Accepter Region Type	Neste exemplo, selecione Cross-region.
   Accepter Region	A região do workspace e do grupo de recursos do DataWorks sob a Conta B. Selecione China (Shanghai).
   Accepter VPC	Insira manualmente o ID da VPC (Account_B_shanghai_VPC) que contém o grupo de recursos do DataWorks sob a Conta B.

2. Clique em Determine para concluir a configuração da conexão de peering. O sistema redireciona automaticamente para a página de detalhes da conexão de peering, onde o Status é Accepting.

3. Faça login com a Conta B. Acesse o console de VPC Peering Connection. Mude a região para China (Shanghai) no topo da página. Você verá um registro de conexão de peering correspondente ao criado sob a Conta A. Clique em Receiver na coluna Operation. Após a aceitação, o Status muda para Activated.

4. Clique em Configure Route Entry sob Accepter VPC. Na caixa de diálogo Configure Route Entry, especifique um Name personalizado para a entrada de rota e defina Destination CIDR Block com o bloco CIDR da VPC do solicitante (ECS). Neste exemplo, insira 192.168.0.0/16.

5. Faça login com a Conta A. Acesse o console de VPC Peering Connection. Mude a região para China (Hangzhou) no topo da página e localize a conexão de peering criada.

6. Clique em Configure Route Entry sob Requester VPC. Na caixa de diálogo Configure Route Entry, especifique um Name personalizado para a entrada de rota e defina Destination CIDR Block com o bloco CIDR da VPC do aceitador (grupo de recursos do DataWorks). Neste exemplo, insira 172.16.0.0/12.

3. Adicionar uma rota no grupo de recursos do DataWorks

1. Faça login com a Conta B. Acesse a página Resource Group List do DataWorks. Localize o grupo de recursos desejado e clique em Network Settings na coluna Operation.

2. No módulo correspondente, localize a VPC vinculada e clique em Custom Route na coluna Operation.

3. Clique em Add Route. Defina o método de conexão como CIDR Block e configure Destination CIDR Block com o bloco CIDR do vSwitch da instância do ECS (neste exemplo, 192.168.6.0/24).

4. Habilitar acesso remoto ao banco de dados MySQL

Conecte-se à instância do ECS onde o banco de dados MySQL está implantado e habilite o acesso remoto ao banco.

Os comandos a seguir aplicam-se apenas a bancos de dados MySQL 8.0 implantados em Linux. Adapte os comandos conforme necessário para outros sistemas operacionais e versões do MySQL.

1. Localize o arquivo de configuração my.cnf. Por padrão, o arquivo está localizado em /etc/my.cnf.

   find / -name my.cnf

2. Execute o comando vim /etc/my.cnf para editar o arquivo de configuração. Substitua o caminho my.cnf com base no resultado real da etapa anterior.

3. Ao final do arquivo de configuração, pressione i e adicione a seguinte configuração sob a seção [mysqld]:

   bind-address=0.0.0.0

4. Pressione Esc, digite :wq! e pressione Enter para salvar e sair.

5. Execute o comando systemctl restart mysqld para reiniciar o serviço.

6. Crie um usuário que será utilizado ao configurar a fonte de dados no DataWorks para conectar remotamente ao banco de dados MySQL.

   1. Execute o comando mysql -u root -p para fazer login no banco de dados como administrador.

   2. Crie um usuário e defina uma senha.

      -- "dataworks_user" is the username, which you can customize.
      -- "%" means access is allowed from any IP. You can also specify an IP for fine-grained control.
      -- "StrongPassword123!" is the user password, which you can customize.
      CREATE USER 'dataworks_user'@'%' IDENTIFIED BY 'StrongPassword123!';

   3. Conceda permissões de banco de dados ao usuário.

      -- Execute any one of the following commands.
      
      -- Grant all privileges to the user (use with caution).
      GRANT ALL PRIVILEGES ON *.* TO 'dataworks_user'@'%' WITH GRANT OPTION;
      
      -- Grant privileges on a specific database (e.g., mydatabase) to the user.
      GRANT ALL PRIVILEGES ON mydatabase.* TO 'dataworks_user'@'%' WITH GRANT OPTION;

   4. Execute o comando FLUSH PRIVILEGES; para atualizar os privilégios e saia do banco de dados (exit).

   5. Verifique a conexão remota.

      mysql -u dataworks_user -h <Primary private IP address of the ECS instance> -p

5. Configurar regras de grupo de segurança do ECS

1. Faça login com a Conta A. Acesse o console do ECS e mude para China (Hangzhou) no topo da página.

2. No painel de navegação à esquerda, clique em Instances & Images > Instance. Localize a instância do ECS onde o banco de dados MySQL está implantado e clique no nome da instância para acessar a página Instance Details.

3. No topo da página, mude para a aba Security Group. Clique no nome do grupo de segurança para acessar a página Security Group Details.

4. Na seção Access Rules, clique em Add Rule e configure os seguintes parâmetros principais. Utilize os valores padrão para os demais parâmetros.

   • source: Insira o bloco CIDR do vSwitch do grupo de recursos do DataWorks (neste exemplo, 172.16.66.0/24).

   • Port: Selecione a porta do banco de dados implantado na instância do ECS (neste exemplo, 3306).

6. Testar conectividade

1. Faça login com a Conta B.

2. Faça login no console do DataWorks. Na região desejada, clique em Data Integration > Data Integration no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Integration.

3. No painel de navegação à esquerda, clique em Data Sources para acessar a página Data Sources. Clique em Add Connection.

4. Selecione o tipo de fonte de dados MySQL e configure os parâmetros de conexão.

   • Defina Configuration Mode como User-created Data Store with Public IP Addresses.

   • Defina Host Address com o endereço IP privado da instância do ECS (neste exemplo, 192.168.6.172).

   • Defina Port Number como 3306.

   • Defina Database Name com o nome de um banco de dados existente.

   • Defina Username e Password com as credenciais do usuário dataworks_user criado na etapa Habilitar acesso remoto para MySQL.

5. Na seção Connection Configuration, clique no botão de teste de conectividade ao lado do grupo de recursos vinculado ao workspace para verificar se o resultado é Connectable.

   Na seção Connection Configuration da fonte de dados, selecione um grupo de recursos e clique em Test Connectivity. Verifique se o status de conectividade é Connectable.

   Nota

   Se o resultado do teste mostrar Failed, utilize a Network Connectivity Diagnostic Tool para solucionar o problema. Se a conectividade ainda falhar, abra um ticket para obter assistência.