-
Problemas de conectividade de rede na sincronização de dados
-
Problemas de configuração de grupos de recursos
Como verificar nos logs o tipo de grupo de recursos no qual uma tarefa está sendo executada?
Como solucionar problemas de um grupo de recursos personalizado que está aguardando um gateway?
Por que recebo um erro de "recursos insuficientes" mesmo com recursos disponíveis no grupo?
Quantas VPCs podem ser associadas a um grupo de recursos serverless e o que fazer ao atingir a cota?
O que devo saber sobre o DataWorks e seus recursos de rede antes de executar uma tarefa de sincronização em lote?
Antes de sincronizar dados com o Data Integration, verifique as seguintes informações:
A VPC, o vSwitch e a região do banco de dados de origem da sincronização, além da região do workspace do DataWorks.
A existência de condições especiais, como o banco de dados e o workspace do DataWorks estarem em contas diferentes da Alibaba Cloud ou em regiões distintas.
Se houver problemas durante a sincronização de tarefas, consulte primeiro Solucionar problemas de sincronização de dados para realizar a solução de problemas por conta própria.
Se ocorrerem falhas ao testar a conectividade da fonte de dados, acesse Solucionar problemas de conectividade de fontes de dados para escolher a solução adequada.
Ao utilizar um grupo de recursos exclusivo para o Data Integration, siga estas etapas: adquira o grupo de recursos, associe-o à VPC onde o banco de dados está conectado, avalie a necessidade de adicionar rotas, configure as listas de permissões do banco de dados e vincule o grupo de recursos exclusivo ao workspace. Para mais detalhes, consulte Configurar um grupo de recursos exclusivo para o Data Integration.
Como garantir a conectividade de rede entre o DataWorks e um banco de dados auto-gerenciado em uma instância ECS?
Para sincronizar dados de um banco de dados auto-gerenciado em uma instância ECS via rede interna usando um grupo de recursos exclusivo do Data Integration, ajuste as configurações de rede desse grupo. Consulte Configurar um grupo de recursos exclusivo para o Data Integration para obter instruções detalhadas. Os pontos principais da solução de conectividade são:
Associe o grupo de recursos exclusivo do Data Integration à VPC onde a instância ECS está localizada. Uma rota apontando para o bloco CIDR da VPC será adicionada automaticamente. Evite excluir essa rota manualmente, pois isso pode causar falhas de acesso a outros bancos de dados e erros nas tarefas.
Adicione o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo do Data Integration na lista de permissões do banco de dados. Para mais informações, veja Adicionar entradas à lista de permissões.
Como garantir a conectividade de rede quando o banco de dados e o workspace do DataWorks estão em regiões diferentes?
Antes de iniciar, consulte Solucionar problemas de conectividade de fontes de dados para definir a melhor estratégia de conectividade de rede. Os aspectos essenciais dessa solução incluem:
Ao usar a Internet para sincronizar dados de um banco de dados em outra região, adicione o EIP do grupo de recursos exclusivo à lista de permissões do banco de dados. Consulte Adicionar entradas à lista de permissões para mais detalhes.
A sincronização de dados pela Internet gera taxas de tráfego de Internet. Para mais informações, consulte Preços.
Como garantir a conectividade de rede quando o banco de dados e o workspace do DataWorks pertencem a contas diferentes da Alibaba Cloud?
Inicialmente, acesse Solucionar problemas de conectividade de fontes de dados para identificar a solução de troubleshooting mais adequada.
-
Para sincronizar dados via Internet de um banco de dados em outra conta, insira o EIP do grupo de recursos exclusivo na lista de permissões do banco de dados. Veja Adicionar entradas à lista de permissões para instruções completas.
NotaSincronizações realizadas pela Internet estão sujeitas a cobranças de tráfego. Consulte Preços para detalhes sobre valores.
-
Caso prefira sincronizar dados de um banco de dados em outra conta através da rede interna, execute os passos abaixo:
Interligue as redes das duas contas da Alibaba Cloud utilizando serviços como VPN Gateway ou Express Connect.
Vincule o grupo de recursos exclusivo do Data Integration à VPC que já possui conexão estabelecida com a rede da outra conta da Alibaba Cloud.
Após associar a VPC, adicione uma rota personalizada, selecione "On-premises IDC" e informe o endereço IP do banco de dados de destino.
Inclua o bloco CIDR do vSwitch associado ao grupo de recursos exclusivo na lista de permissões do banco de dados. Lembre-se de que o bloco CIDR deve corresponder ao vSwitch vinculado ao grupo de recursos. Consulte Adicionar entradas à lista de permissões para mais informações.
O que fazer se o teste de conectividade falhar para um banco de dados em uma VPC?
-
Se a fonte de dados foi adicionada usando um endpoint de VPC:
Verifique se o grupo de recursos exclusivo do Data Integration está associado à VPC onde o banco de dados reside.
Confirme se o bloco CIDR do vSwitch vinculado ao grupo de recursos exclusivo do Data Integration foi incluído na lista de permissões do banco de dados. Para detalhes, consulte Adicionar entradas à lista de permissões.
-
Quando a fonte de dados for adicionada via endpoint público e o teste de conectividade com o grupo de recursos exclusivo do Data Integration falhar, valide se o EIP desse grupo foi adicionado à lista de permissões do banco de dados. Veja Adicionar entradas à lista de permissões para orientações.
NotaA sincronização via Internet implica custos de tráfego externo. Consulte Preços para entender a estrutura de cobrança.
O que fazer se a conectividade com a fonte de dados for intermitente?
Verifique se você está utilizando um grupo de recursos compartilhado, pois sua rede apresenta instabilidade. Recomendamos o uso de um grupo de recursos exclusivo para o Data Integration a fim de assegurar uma conexão estável.
Como garantir a conectividade de rede entre um grupo de recursos serverless e o Hologres ao sincronizar dados com o Data Integration?
Associe o grupo de recursos serverless à VPC onde a instância do Hologres está localizada. Siga os passos abaixo:
Faça login no console do DataWorks e localize o grupo de recursos serverless desejado na lista de grupos de recursos.
Clique em Network Settings. Na seção Data Scheduling and Data Integration, clique em Add VPC Association.
Selecione a VPC, a zona e o vSwitch correspondentes à instância do Hologres e clique em OK.
Após concluir a associação, crie uma fonte de dados Hologres na seção de gerenciamento de fontes de dados do Data Integration e clique em Test Connectivity para validar o sucesso da conexão.
Se houver conflito entre o bloco CIDR da VPC já associada ao grupo de recursos e o bloco CIDR da VPC do Hologres, desassocie primeiro a VPC conflitante antes de adicionar a VPC do Hologres. A associação de uma VPC cria interfaces de rede elásticas (ENIs) que consomem cota dentro da VPC. Não exclua essas ENIs.
Para instruções detalhadas sobre a troca de redes do Hologres, consulte Alternar configurações de rede do Hologres.
O que fazer se comprei um grupo de recursos exclusivo, mas não consigo encontrá-lo ao testar a conectividade da fonte de dados ou executar uma tarefa?
Certifique-se de que o grupo de recursos exclusivo esteja associado ao workspace do DataWorks. Para mais informações, consulte Associar um grupo de recursos a um workspace.
Como verificar nos logs o tipo de grupo de recursos no qual uma tarefa está sendo executada?
Tarefas executadas no grupo de recursos padrão apresentam a seguinte mensagem nos logs:
running in Pipeline[basecommon_ group_xxxxxxxxx].Para tarefas rodando em um grupo de recursos personalizado do Data Integration, os logs exibem:
running in Pipeline[basecommon_xxxxxxxxx].Quando a execução ocorre em um grupo de recursos exclusivo do Data Integration, a informação registrada nos logs é:
running in Pipeline[basecommon_S_res_group_xxx].
Como alterar o grupo de recursos utilizado por uma tarefa no sistema de agendamento?
Altere o grupo de recursos de agendamento e o grupo de recursos do Data Integration para execução de tarefas no Operation Center: Na página Operation Center > Scheduled Task O&M > Scheduled Tasks, selecione as tarefas desejadas e clique em Change Scheduling Resource Group ou Change Data Integration Resource Group na parte inferior da página para aplicar alterações em lote.
-
Utilize o processo de implantação no Data Studio para modificar o grupo de recursos das tarefas em ambiente de produção.
NotaAo alterar o grupo de recursos pelo método descrito abaixo, lembre-se de implantar as mudanças. No modo padrão, o envio de alterações afeta apenas o ambiente de desenvolvimento. As modificações só passam a valer para o agendamento automático de tarefas em produção após a implantação. Depois disso, valide a alteração do grupo de recursos na seção de tarefas agendadas do Operation Center.
Modifique o grupo de recursos de agendamento da tarefa: Abra o painel Schedule Settings do nó da tarefa. Na seção Resource Properties, clique na lista suspensa Scheduling Resource Group e escolha o grupo de recursos alvo (por exemplo, Shared Scheduling Resource Group).
Altere o grupo de recursos do Data Integration para execução da tarefa: Clique na aba Data Integration Resource Group Configuration na barra lateral direita. Na lista suspensa Exclusive Resource Group for Data Integration, selecione o grupo de recursos desejado (por exemplo, xiangcui_vpc).
Como solucionar problemas de um grupo de recursos personalizado que está aguardando um gateway?
Acesse o console do DataWorks. No painel de navegação à esquerda, clique em Resource Group List e vá até a aba Custom Resource Groups. Clique em Server Management ao lado do grupo de recursos de agendamento usado pela tarefa e verifique se o servidor está parado ou ocupado por outras tarefas.
Se o troubleshooting acima não resolver o problema, execute o comando abaixo para reiniciar o serviço.
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart
Como encontrar o endereço IP público de um grupo de recursos para configurar uma lista de permissões de endereços IP?
Ao utilizar um grupo de recursos exclusivo do Data Integration para sincronizar dados pela Internet, adicione o EIP desse grupo à lista de permissões do banco de dados. Obtenha o EIP conforme descrito a seguir:
Na página Resource Groups do console do DataWorks, clique na aba Exclusive Resource Groups. Clique em Details ao lado do grupo de recursos do Data Integration e copie o EIP da seção de informações básicas para a lista de permissões do banco de dados.
Por que recebo um erro de "recursos insuficientes" mesmo com recursos disponíveis no grupo?
Analise os detalhes do grupo de recursos. Geralmente, os recursos remanescentes não são suficientes para novas tarefas. Pode haver, por exemplo, tarefas enfileiradas no momento da verificação.
Quantas VPCs podem ser associadas a um grupo de recursos serverless e o que fazer ao atingir a cota?
Cada grupo de recursos serverless permite a associação de, no máximo, duas VPCs.
Faça login no console do DataWorks. Na página Resource Groups, localize o grupo de recursos serverless desejado e clique em Details. Na seção de informações básicas da página de detalhes do grupo de recursos, o campo VPCs That Can Be Associated mostra o uso atual da cota no formato X associated, Y remaining.
Quando a cota de duas VPCs estiver totalmente consumida (2 associated, 0 remaining), não será possível adicionar novas associações. Resolva essa limitação adotando uma das estratégias abaixo:
Avalie a possibilidade de reutilizar uma VPC já associada. Implante a fonte de dados que necessita de conectividade em uma VPC previamente associada ou conecte a VPC da fonte de dados à VPC existente por meio da Cloud Enterprise Network (CEN).
Utilize a Cloud Enterprise Network (CEN) para conectividade entre VPCs. Adicione a VPC já associada e a VPC de destino à mesma instância CEN para estabelecer a comunicação de rede. Dessa forma, você acessa fontes de dados na VPC de destino sem consumir cota adicional de associação de VPC.
As associações de VPC nas configurações de rede de um grupo de recursos dividem-se em duas categorias: Data Service e Data Scheduling. A cota de duas VPCs refere-se ao limite total no nível do grupo de recursos, compartilhado entre essas duas seções.