DataWorks:Operações de grupos de recursos e conectividade de rede

O que preciso saber sobre o DataWorks e seus recursos de rede antes de executar uma tarefa de sincronização em lote?

Caso enfrente problemas durante a sincronização de tarefas, consulte primeiro Troubleshoot data synchronization issues para solução de problemas por conta própria.

Se ocorrerem falhas ao testar a conectividade da fonte de dados, consulte Troubleshoot data source connectivity issues para escolher a solução de troubleshooting adequada.

Ao utilizar um grupo de recursos exclusivo para o Data Integration, siga esta sequência: adquira o grupo de recursos, associe-o à VPC onde o banco de dados está conectado, avalie a necessidade de adicionar rotas, configure as listas de permissões do banco de dados e vincule o grupo de recursos exclusivo ao workspace. Para mais detalhes, consulte Configure an exclusive resource group for Data Integration.

Como garantir a conectividade de rede entre o DataWorks e um banco de dados auto-gerenciado em uma instância ECS?

Como assegurar a conectividade de rede quando o banco de dados e o workspace do DataWorks estão em regiões diferentes?

Antes de começar, consulte Troubleshoot data source connectivity issues para selecionar a solução de conectividade de rede apropriada. Os aspectos essenciais dessa solução incluem:

Como garantir a conectividade de rede quando o banco de dados e o workspace do DataWorks pertencem a contas Alibaba Cloud diferentes?

O que fazer se o teste de conectividade falhar para um banco de dados em uma VPC?

• Caso tenha adicionado a fonte de dados usando um endpoint de VPC:

  1. Verifique se o grupo de recursos exclusivo do Data Integration foi associado à VPC onde o banco de dados está localizado.

  2. Confirme se o bloco CIDR do vSwitch vinculado ao grupo de recursos exclusivo do Data Integration foi incluído na lista de permissões do banco de dados. Consulte Add allowlist entries para mais detalhes.

• Se a fonte de dados foi adicionada via endpoint público e o teste de conectividade com o grupo de recursos exclusivo do Data Integration falhar, verifique se o EIP desse grupo foi adicionado à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.

  Nota

  A sincronização de dados pela Internet gera taxas de tráfego de Internet. Consulte Pricing para mais detalhes.

O que fazer se a conectividade da fonte de dados for intermitente?

Verifique se você está utilizando um grupo de recursos compartilhado. A rede desses grupos apresenta instabilidade. Recomendamos o uso de um grupo de recursos exclusivo para o Data Integration a fim de garantir estabilidade na conexão.

Como garantir a conectividade de rede entre um grupo de recursos serverless e o Hologres ao sincronizar dados com o Data Integration?

Associe o grupo de recursos serverless à VPC onde a instância do Hologres está localizada. Siga os passos abaixo:

1. Faça login no console do DataWorks e localize o grupo de recursos serverless desejado na lista de grupos de recursos.

2. Clique em Network Settings. Na seção Data Scheduling and Data Integration, clique em Add VPC Association.

3. Selecione a VPC, a zona e o vSwitch onde a instância do Hologres reside e clique em OK.

4. Após concluir a associação, crie uma fonte de dados Hologres na seção de gerenciamento de fontes de dados do Data Integration e clique em Test Connectivity para confirmar o sucesso da conexão.

Se o bloco CIDR da VPC já associada ao grupo de recursos entrar em conflito com o bloco CIDR da VPC do Hologres, desassocie primeiro a VPC conflitante e depois adicione a VPC do Hologres. A associação de uma VPC cria interfaces de rede elásticas (ENIs) que consomem cota. Não exclua essas ENIs.

Para obter detalhes sobre como alternar redes do Hologres, consulte Switch Hologres network configurations.

Como solucionar erros de conexão ou falhas de conectividade quando o DataWorks se conecta ao Kafka devido a incompatibilidade de advertised.listeners?

Se o DataWorks não conseguir se conectar a um cluster Kafka ou relatar erros de conexão, realize o troubleshooting com base nos cenários a seguir:

1. No grupo de segurança da ECS, permita o acesso proveniente do bloco CIDR do vSwitch vinculado ao grupo de recursos do DataWorks utilizado pela tarefa (por exemplo, 172.17.112.0/20).

2. Certifique-se de que o endereço do cluster Kafka corresponde ao valor do parâmetro advertised.listeners no arquivo server.properties de cada broker e que todos os brokers do cluster estejam operando normalmente.

3. Ao conectar-se ao Kafka via endereço IP interno, garanta que a VPC vinculada ao grupo de recursos do DataWorks tenha acesso a esse IP interno.

4. Para conexões ao Kafka via endereço IP público, configure um NAT Gateway e um Elastic IP Address (EIP) na VPC vinculada ao grupo de recursos do DataWorks.

5. Em caso de falha na resolução de nomes de domínio, configure a resolução DNS interna utilizando o PrivateZone.

O que fazer se comprei um grupo de recursos exclusivo, mas não consigo encontrá-lo ao testar a conectividade da fonte de dados ou executar uma tarefa?

Verifique se o grupo de recursos exclusivo está associado ao workspace do DataWorks. Para mais informações, consulte Associate a resource group with a workspace.

Como verificar nos logs o tipo de grupo de recursos em que uma tarefa está sendo executada?

• Tarefas executadas no grupo de recursos padrão apresentam a seguinte informação nos logs: running in Pipeline[basecommon_ group_xxxxxxxxx].

• Tarefas em execução num grupo de recursos personalizado para Data Integration exibem nos logs: running in Pipeline[basecommon_xxxxxxxxx].

• Quando a tarefa roda em um grupo de recursos exclusivo para Data Integration, os logs mostram: running in Pipeline[basecommon_S_res_group_xxx].

Como alterar o grupo de recursos usado por uma tarefa no sistema de agendamento?

Como solucionar problemas de um grupo de recursos personalizado que fica aguardando gateway?

Acesse o console do DataWorks. No painel de navegação à esquerda, clique em Resource Group List e vá para a aba Custom Resource Groups. Clique em Server Management ao lado do grupo de recursos de agendamento usado pela tarefa e verifique se o servidor está parado ou ocupado por outras tarefas.

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

Como encontrar o endereço IP público de um grupo de recursos para configurar uma lista de permissões de IP?

Ao utilizar um grupo de recursos exclusivo do Data Integration para sincronizar dados pela Internet, adicione o EIP desse grupo à lista de permissões do banco de dados. Obtenha o EIP da seguinte forma:

Na página Resource Groups do console do DataWorks, clique na aba Exclusive Resource Groups. Clique em Details ao lado do grupo de recursos do Data Integration e copie o EIP da seção de informações básicas para a lista de permissões do banco de dados.

Por que recebo um erro de "recursos insuficientes" mesmo com recursos disponíveis no grupo?

Analise os detalhes do grupo de recursos. Geralmente, os recursos restantes são insuficientes para novas tarefas. Pode haver, por exemplo, tarefas enfileiradas no momento.

Quantas VPCs podem ser associadas a um grupo de recursos serverless e o que fazer ao atingir a cota?

Cada grupo de recursos serverless suporta no máximo duas associações de VPC.

Acesse o console do DataWorks. Na página Resource Groups, localize o grupo de recursos serverless desejado e clique em Details. Na seção de informações básicas da página de detalhes, o campo VPCs That Can Be Associated mostra o uso atual da cota no formato X associated, Y remaining.

Quando a cota de duas VPCs estiver totalmente consumida (2 associadas, 0 restantes), não será possível adicionar novas associações. Resolva essa questão utilizando um dos métodos abaixo:

• Avalie a possibilidade de reutilizar uma VPC já associada. Implante a fonte de dados que necessita de conectividade em uma VPC já associada ou conecte a VPC da fonte de dados à VPC existente por meio da Cloud Enterprise Network (CEN).

• Utilize a Cloud Enterprise Network (CEN) para conectividade entre VPCs. Adicione a VPC já associada e a VPC de destino à mesma instância CEN para estabelecer a comunicação de rede. Assim, você acessa fontes de dados na VPC de destino sem consumir cota adicional de associação de VPC.

As associações de VPC nas configurações de rede de um grupo de recursos dividem-se em duas seções: Data Service e Data Scheduling. A cota de duas VPCs é um total no nível do grupo de recursos, compartilhado entre essas duas seções.

O que fazer se um grupo de recursos do DataWorks e uma instância ApsaraDB RDS for MySQL estiverem na mesma VPC com lista de permissões configurada, mas a conexão ainda falhar?

Esse problema geralmente ocorre porque a tarefa não foi executada no grupo de recursos associado à VPC do banco de dados. Ao configurar ou executar a tarefa, selecione explicitamente o grupo de recursos vinculado à VPC onde a instância ApsaraDB RDS for MySQL reside e que já possua as entradas necessárias na lista de permissões do banco de dados.

Se precisar apenas desenvolver e depurar a tarefa no Data Integration, basta garantir que o teste de conectividade da fonte de dados seja aprovado. Nesse cenário, não é necessário considerar a conectividade do módulo Data Service.

O que fazer se fontes de dados forem carregadas em lote com sucesso, mas os registros não aparecerem na lista ou a página parar de responder?

Caso faça o upload em lote de fontes de dados e os itens não surjam na lista, ou a página pare de responder, siga estes passos de troubleshooting:

1. Confirme se clicou em Start Creation após o upload e atualize a página.

2. Verifique se a tabela enviada contém registros com nomes duplicados em relação a fontes de dados existentes. Itens duplicados são ignorados durante a criação, o que também pode resultar na ausência de feedback na página. Remova as duplicatas e envie a tabela novamente.

3. Verifique o modo e o campo de ambiente do workspace. Se o workspace estiver no Basic Mode, ele suporta apenas o Production Environment. Caso o campo de ambiente na tabela enviada esteja definido como dev, altere para Prod e reenvie a tabela. A distinção entre Development Environment e Production Environment aplica-se somente ao Standard Mode.

4. Tente realizar o upload no modo anônimo ou privado do navegador para descartar interferências de dados em cache.

O que fazer se não consigo encontrar a instância desejada ao criar uma fonte de dados a partir de uma instância ApsaraDB RDS?

Se a instância pretendida não aparecer na lista ao criar uma fonte de dados baseada em ApsaraDB RDS, confirme primeiramente se o tipo da instância RDS é MySQL ou PostgreSQL. Em seguida, ajuste o tipo da fonte de dados para corresponder ao tipo real da instância RDS e atualize a página para recarregar a lista completa de instâncias.

O que fazer se o DataWorks falhar ao conectar-se a um banco de dados externo, como MongoDB Atlas, pela Internet e reportar um erro UnknownHostException?

Diante de uma falha de conectividade ou erro UnknownHostException ao usar o DataWorks para acessar um banco de dados externo via Internet, proceda com o troubleshooting conforme abaixo:

1. Confirme se há um NAT Gateway configurado para a VPC do grupo de recursos serverless e se um Elastic IP Address (EIP) está vinculado a esse NAT Gateway. Verifique se esse EIP é acessível pela Internet, por exemplo, executando um teste de ping contra ele.

2. No lado do banco de dados externo (como MongoDB Atlas), verifique se o EIP do NAT Gateway foi incluído na lista de permissões de acesso ou se o banco está configurado para aceitar conexões de qualquer endereço IP.

3. Se a conexão persistir falhando após essas verificações, provavelmente o banco de dados alvo encontra-se em outro ambiente de cloud, como MongoDB Atlas ou Microsoft Azure. Conexões via Internet entre ambientes de cloud distintos podem sofrer restrições de rede transfronteiriças ou instabilidade. Nesse caso, utilize IPsec VPN, Express Connect ou uma linha dedicada para estabelecer uma conexão de rede interna entre sua VPC Alibaba Cloud e o ambiente de cloud de destino. Configure então a fonte de dados usando um endereço de rede interna para melhorar a conectividade e a estabilidade.