-
Problemas de conectividade de rede para sincronização de dados
-
Problemas de configuração de grupos de recursos
O que preciso saber sobre o DataWorks e seus recursos de rede antes de execute uma tarefa de sincronização em lote?
Antes de sincronizar dados com o Data Integration, certifique-se de conhecer as seguintes informações:
A VPC, o vSwitch e a região do banco de dados de onde você deseja sincronizar os dados, além da região do workspace do DataWorks.
A existência de condições especiais, como o banco de dados e o workspace do DataWorks estarem em contas diferentes da Alibaba Cloud ou em regiões distintas.
Se encontrar problemas durante a sincronização da tarefa, consulte primeiro Troubleshoot data synchronization issues para solucionar o problema por conta própria.
Se encontrar problemas ao testar a conectividade da fonte de dados, consulte primeiro Troubleshoot data source connectivity issues para escolher a solução de problemas adequada.
Ao usar um grupo de recursos exclusivo para o Data Integration, siga estas etapas: compre o grupo de recursos, associe-o à VPC onde o banco de dados está conectado, avalie a necessidade de adicionar rotas, configure as listas de permissões do banco de dados e associe o grupo de recursos exclusivo ao workspace. Para mais informações, consulte Configure an exclusive resource group for Data Integration.
Como garantir a conectividade de rede entre o DataWorks e um banco de dados auto-gerenciado em uma instância ECS?
Para usar um grupo de recursos exclusivo do Data Integration e sincronizar dados de um banco de dados auto-gerenciado em uma instância ECS pela rede interna, configure as definições de rede do grupo de recursos exclusivo do Data Integration. Para mais informações, consulte Configure an exclusive resource group for Data Integration. Os pontos principais da solução de conectividade são:
Associe o grupo de recursos exclusivo do Data Integration à VPC onde a instância ECS está localizada. Uma rota para o bloco CIDR da VPC é adicionada automaticamente. Recomendamos não exclua essa rota manualmente, pois isso pode causar falhas de acesso a outros bancos de dados e erros nas tarefas.
Adicione o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo do Data Integration à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.
Como garantir a conectividade de rede quando meu banco de dados e o workspace do DataWorks estão em regiões diferentes?
Antes de começar, consulte Troubleshoot data source connectivity issues e selecione a solução de conectividade de rede adequada. Os pontos principais da solução de conectividade são:
Se usar a Internet para sincronizar dados de um banco de dados em outra região, adicione o EIP do grupo de recursos exclusivo à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.
A sincronização de dados pela Internet gera taxas de tráfego de Internet. Para mais informações, consulte Pricing.
Como garantir a conectividade de rede quando meu banco de dados e o workspace do DataWorks estão em contas diferentes da Alibaba Cloud?
Antes de começar, consulte Troubleshoot data source connectivity issues para escolher a solução de problemas adequada.
-
Se usar a Internet para sincronizar dados de um banco de dados em outra conta, adicione o EIP do grupo de recursos exclusivo à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.
NotaA sincronização de dados pela Internet gera taxas de tráfego de Internet. Para mais informações, consulte Pricing.
-
Para sincronizar dados de um banco de dados em outra conta pela rede interna, execute as seguintes etapas:
Conecte as redes das duas contas da Alibaba Cloud usando um service de rede, como VPN Gateway ou Express Connect.
Associe o grupo de recursos exclusivo do Data Integration à VPC que já está conectada à rede da outra conta da Alibaba Cloud.
Após associar a VPC, adicione uma rota personalizada, selecione "On-premises IDC" e insira o endereço IP do banco de dados de destino.
Adicione o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo à lista de permissões do banco de dados. O bloco CIDR do vSwitch é aquele associado ao grupo de recursos. Para mais informações, consulte Add allowlist entries.
O que fazer se o teste de conectividade falhar para um banco de dados em uma VPC?
-
Se adicionou a fonte de dados usando um endpoint de VPC:
Certifique-se de ter associado o grupo de recursos exclusivo do Data Integration à VPC onde o banco de dados está localizado.
Certifique-se de que o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo do Data Integration tenha sido adicionado à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.
-
Se adicionou a fonte de dados usando um endpoint público e o teste de conectividade falhar com o grupo de recursos exclusivo do Data Integration, verifique se o EIP do grupo de recursos exclusivo do Data Integration foi adicionado à lista de permissões do banco de dados. Para mais informações, consulte Add allowlist entries.
NotaA sincronização de dados pela Internet gera taxas de tráfego de Internet. Para mais informações, consulte Pricing.
O que fazer se a conectividade da fonte de dados for intermitente?
Verifique se está usando um grupo de recursos compartilhado. A rede dos grupos de recursos compartilhados é instável. Recomendamos o uso de um grupo de recursos exclusivo para o Data Integration a fim de garantir a estabilidade da conexão.
Como garantir a conectividade de rede entre um grupo de recursos serverless e o Hologres ao sincronizar dados com o Data Integration?
Associe o grupo de recursos serverless à VPC onde a instância do Hologres está localizada. Execute as seguintes etapas:
Acesse o console do DataWorks e localize o grupo de recursos serverless de destino na lista de grupos de recursos.
Clique em Network Settings. Na seção Data Scheduling and Data Integration, clique em Add VPC Association.
Selecione a VPC, a zona e o vSwitch onde a instância do Hologres está localizada e clique em OK.
Após concluir a associação, crie uma fonte de dados do Hologres na seção de gerenciamento de fontes de dados do Data Integration e clique em Test Connectivity para verificar se a conexão foi bem-sucedida.
Se o bloco CIDR da VPC já associada ao grupo de recursos entrar em conflito com o bloco CIDR da VPC do Hologres, desassocie primeiro a VPC em conflito e, em seguida, adicione a VPC do Hologres. Associar uma VPC cria interfaces de rede elásticas (ENIs) na VPC que consomem cota. Não exclua essas ENIs.
Para obter detalhes sobre como alternar as redes do Hologres, consulte Switch Hologres network configurations.
Como solucionar erros de conexão ou falhas de conectividade quando o DataWorks se conecta ao Kafka devido a uma incompatibilidade de advertised.listeners?
Se o DataWorks não conseguir se conectar a um cluster Kafka ou relatar erros de conexão, solucione o problema com base nos seguintes cenários:
No grupo de segurança do ECS, permita o acesso a partir do bloco CIDR do vSwitch vinculado ao grupo de recursos do DataWorks usado para a tarefa (por exemplo, 172.17.112.0/20).
Certifique-se de que o endereço do cluster Kafka corresponda ao valor do parâmetro
advertised.listenersno arquivoserver.propertiesde cada broker e de que todos os brokers no cluster estejam em estado de execução normal.Se conectar ao Kafka usando um endereço IP interno, certifique-se de que a VPC vinculada ao grupo de recursos do DataWorks possa acessar esse endereço IP interno.
Se conectar ao Kafka usando um endereço IP público, configure um NAT Gateway e um Elastic IP Address (EIP) para a VPC vinculada ao grupo de recursos do DataWorks.
Se a resolução de nomes de domínio falhar, configure a resolução de DNS interno usando o PrivateZone.
O que fazer se eu comprei um grupo de recursos exclusivo, mas não consigo encontrá-lo ao testar a conectividade da fonte de dados ou execute uma tarefa?
Certifique-se de que o grupo de recursos exclusivo esteja associado ao workspace do DataWorks. Para mais informações, consulte Associate a resource group with a workspace.
Verifique os logs para determinar o tipo de grupo de recursos em que uma tarefa está sendo executada?
Se uma tarefa estiver sendo executada no grupo de recursos padrão, as seguintes informações aparecerão nos logs:
running in Pipeline[basecommon_ group_xxxxxxxxx].Se uma tarefa estiver sendo executada em um grupo de recursos personalizado para o Data Integration, as seguintes informações aparecerão nos logs:
running in Pipeline[basecommon_xxxxxxxxx].Se uma tarefa estiver sendo executada em um grupo de recursos exclusivo para o Data Integration, as seguintes informações aparecerão nos logs:
running in Pipeline[basecommon_S_res_group_xxx].
Como alternar o grupo de recursos usado por uma tarefa no sistema de agendamento?
Alterne o grupo de recursos de agendamento e o grupo de recursos do Data Integration para a execução da tarefa no Operation Center: na página Operation Center > Scheduled Task O&M > Scheduled Tasks, selecione as tarefas para as quais deseja alternar o grupo de recursos e clique em Change Scheduling Resource Group ou Change Data Integration Resource Group na parte inferior da página para fazer alterações em lote.
-
Execute o processo de implantação no Data Studio para alterar o grupo de recursos usado pelas tarefas no ambiente de produção.
NotaAo alterar o grupo de recursos usando o método a seguir, lembre-se de implantar as alterações. No modo padrão, o envio de alterações só tem efeito no ambiente de desenvolvimento. As alterações entram em vigor para o agendamento automático de tarefas no ambiente de produção somente após a implantação. Após a implantação, verifique se a alteração do grupo de recursos entrou em vigor na seção de tarefas agendadas do Operation Center.
Altere o grupo de recursos para o agendamento de tarefas: Abra o painel Schedule Settings do nó da tarefa. Na seção Resource Properties, clique em lista suspensa Scheduling Resource Group e selecione o grupo de recursos de destino (por exemplo, Shared Scheduling Resource Group).
Altere o grupo de recursos do Data Integration para a execução da tarefa: Clique na aba Data Integration Resource Group Configuration na barra lateral direita. Na lista suspensa Exclusive Resource Group for Data Integration, selecione o grupo de recursos de destino (por exemplo, xiangcui_vpc).
Como solucionar problemas de um grupo de recursos personalizado que está aguardando um gateway?
Acesse o console do DataWorks. No painel de navegação à esquerda, clique em Resource Group List e acesse a aba Custom Resource Groups. Clique em Server Management ao lado do grupo de recursos de agendamento usado pela tarefa e verifique se o servidor está parado ou ocupado por outras tarefas.
Se a solução de problemas anterior não resolver a questão, execute o seguinte comando para reiniciar o service.
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restartComo encontrar o endereço IP público de um grupo de recursos para uma lista de permissões de endereços IP?
Se usar um grupo de recursos exclusivo do Data Integration para sincronizar dados pela Internet, adicione o EIP do grupo de recursos exclusivo do Data Integration à lista de permissões do banco de dados. Obtenha o EIP da seguinte forma:
Na página Resource Groups do console do DataWorks, clique em aba Exclusive Resource Groups. Clique em Details ao lado do grupo de recursos do Data Integration e copie o EIP da seção de informações básicas para a lista de permissões do banco de dados.
Por que recebo um erro de "insufficient resources" quando o grupo de recursos tem recursos disponíveis?
Verifique os detalhes do grupo de recursos. Na maioria dos casos, os recursos restantes são insuficientes para novas tarefas. Por exemplo, o grupo de recursos pode ter tarefas na fila no momento.
Quantas VPCs podem ser associadas a um grupo de recursos serverless e o que fazer se eu atingir a cota?
Cada grupo de recursos serverless suporta no máximo duas associações de VPC.
Acesse o console do DataWorks. Na página Resource Groups, localize o grupo de recursos serverless de destino e clique em Details. Na seção de informações básicas da página de detalhes do grupo de recursos, o campo VPCs That Can Be Associated exibe o uso atual da cota no formato X associated, Y remaining.
Quando a cota de duas VPCs é totalmente usada (2 associated, 0 remaining), não é possível adicionar mais associações de VPC. Resolva esse problema usando os seguintes métodos:
Avalie se é possível reutilizar uma VPC já associada. Implante a fonte de dados que requer conectividade em uma VPC já associada ou conecte a VPC onde a fonte de dados está localizada à VPC já associada usando a Cloud Enterprise Network (CEN).
Use a Cloud Enterprise Network (CEN) para conectividade entre VPCs. Adicione a VPC já associada e a VPC de destino à mesma instância CEN para estabelecer a conectividade de rede. Dessa forma, é possível acessar fontes de dados na VPC de destino sem consumir cota adicional de associação de VPC.
As associações de VPC nas configurações de rede de um grupo de recursos dividem-se em duas seções: Data Service e Data Scheduling. A cota de duas VPCs é um total no nível do grupo de recursos, compartilhado pelas duas seções.
O que fazer se um grupo de recursos do DataWorks e uma instância do ApsaraDB RDS for MySQL estiverem na mesma VPC e uma lista de permissões estiver configurada, mas a conexão ainda falhar?
Esse problema geralmente ocorre porque a tarefa não foi executada no grupo de recursos associado à VPC do banco de dados. Quando configure ou execute a tarefa, selecione explicitamente o grupo de recursos vinculado à VPC onde a instância do ApsaraDB RDS for MySQL está localizada e que já possui as entradas necessárias na lista de permissões do banco de dados.
Se precisar apenas desenvolver e depurar a tarefa no Data Integration, basta garantir que o teste de conectividade da fonte de dados seja aprovado. Não é necessário considerar a conectividade do módulo Data Service neste cenário.
O que fazer se eu não conseguir encontrar a instância de destino quando crie uma fonte de dados a partir de uma instância do ApsaraDB RDS?
Se a instância que deseja usar não aparecer na lista de instâncias quando crie uma fonte de dados a partir de uma instância do ApsaraDB RDS, primeiro confirme se o tipo de instância RDS é MySQL ou PostgreSQL. Em seguida, defina o tipo de fonte de dados para corresponder ao tipo real da instância RDS e atualize a página para recarregar a lista completa de instâncias.
O que fazer se o DataWorks não conseguir se conectar a um banco de dados externo, como o MongoDB Atlas, pela Internet e relatar um erro UnknownHostException?
Se ocorrer uma falha de conectividade ou um erro UnknownHostException ao usar o DataWorks para se conectar a um banco de dados externo pela Internet, solucione o problema da seguinte forma:
Confirme se um NAT Gateway está configurado para a VPC do grupo de recursos serverless e se um Elastic IP Address (EIP) está vinculado ao NAT Gateway. Verifique se é possível acessar esse EIP pela Internet, por exemplo, execute um teste de ping nele.
No banco de dados externo (por exemplo, MongoDB Atlas), verifique se o EIP do NAT Gateway foi adicionado à lista de permissões de acesso ou se o banco de dados está configurado para permitir o acesso de todos os endereços IP.
Se a conexão ainda falhar após as verificações anteriores, o banco de dados de destino geralmente reside em outro ambiente de cloud, como MongoDB Atlas ou Microsoft Azure. As conexões de Internet entre diferentes ambientes de cloud podem ser afetadas por restrições de rede transfronteiriças ou instabilidade. Nesse caso, use IPsec VPN ou Express Connect para estabelecer uma conexão de rede interna entre a sua VPC da Alibaba Cloud e o ambiente de cloud de destino. Em seguida, configure a fonte de dados usando um endereço de rede interna para melhorar a conectividade e a estabilidade.