Por padrão, o MaxCompute opera em uma rede isolada. Para acessar endpoints públicos, recursos de VPC ou outros services da Alibaba Cloud — ou para alcançar o MaxCompute a partir da sua VPC — configure uma conexão de rede.
O MaxCompute oferece seis soluções de rede. Esta página descreve os cenários de uso, as regiões suportadas e as limitações de cada uma.
Como funciona
O MaxCompute se conecta a services externos por meio de uma camada de proxy. O diagrama a seguir ilustra a arquitetura de rede.
As seis soluções de rede dividem-se em duas categorias:
Acesso de saída (do MaxCompute para services externos): acesso à internet, conexão dedicada VPC e acesso a services da Alibaba Cloud.
Acesso de entrada (de services externos para o MaxCompute): VPC PrivateLink, peering de VPC e Cloud Enterprise Network (CEN).
Escolha uma solução de rede
A tabela a seguir resume cada solução disponível.
|
Solução |
Direção |
Quando usar |
Mecanismos de computação suportados |
|
Saída |
Acesse um endereço IP público ou nome de domínio a partir do MaxCompute |
UDF, Spark, MapReduce (MR), PyODPS/Mars |
|
|
Saída |
Acesse recursos de VPC como RDS, clusters HBase ou clusters Hadoop a partir do MaxCompute |
SQL, UDF, Spark, PyODPS/Mars, tabela externa, arquitetura data lakehouse |
|
|
Saída |
Acesse OSS, DLF, Tablestore ou Hologres por endereços de rede interna |
SQL, UDF, Spark, PyODPS/Mars, tabela externa, arquitetura data lakehouse |
|
|
Entrada |
Conecte-se ao MaxCompute por um endpoint privado a partir da sua VPC |
-- |
|
|
Entrada |
Acesse o MaxCompute a partir de uma VPC em outra região |
-- |
|
|
Entrada |
Interconecte VPCs entre regiões usando a Cloud Enterprise Network (CEN) |
-- |
Soluções de acesso de saída
Acesso à internet
Acesse um endereço IP público ou nome de domínio a partir de tarefas de função definida pelo usuário (UDF), Spark, MapReduce (MR) ou PyODPS/Mars.
Visão geral da configuração:
Para IPs públicos ou nomes de domínio padrão (como aliyun.com), adicione-os ou remova-os diretamente na seção Project Management do console do MaxCompute.
Se a validação automática falhar, envie um ticket. A análise leva até três dias úteis. Após a aprovação, o MaxCompute poderá acessar o endereço IP ou nome de domínio de destino, desde que não haja restrições de segurança.
Caso o destino possua restrições de controle de acesso, contate o administrador do service para removê-las e permitir que o MaxCompute alcance o endpoint.
Conexão dedicada VPC
Acesse recursos de VPC — como RDS, clusters HBase e clusters Hadoop — a partir de cargas de trabalho SQL, UDF, Spark, PyODPS/Mars, tabela externa ou arquitetura data lakehouse no MaxCompute.
Visão geral da configuração:
Faça login no console VPC e conceda permissões ao MaxCompute.
Crie uma conexão entre o MaxCompute e a VPC no console do MaxCompute.
Após criar a conexão, uma interface de rede elástica (ENI) aparecerá no console. O grupo de segurança especificado controla as regras de acesso dessa ENI.
Se o service de destino tiver controle de acesso ativado, adicione o endereço IP da ENI ou o bloco CIDR do vSwitch à lista de permissões do service.
O MaxCompute conecta-se a apenas uma VPC. Para alcançar outras VPCs na mesma região ou em regiões diferentes, conecte-as à VPC configurada por meio de peering de VPC, CEN ou outros métodos de interconexão.
Acesso a services da Alibaba Cloud
Acesse services da Alibaba Cloud como OSS, DLF, Tablestore e Hologres por endereços de rede interna a partir de cargas de trabalho SQL, UDF, Spark, PyODPS/Mars, tabela externa ou arquitetura data lakehouse no MaxCompute.
Regras de endpoint:
|
Método de acesso |
Tipo de endpoint obrigatório |
|
Tabela externa OSS ou Tablestore |
Apenas endpoint interno |
|
UDF chamando OSS ou Tablestore |
Apenas endpoint público |
|
Tabela externa Hologres |
Nome de domínio de rede clássica (consulte o endereço Classic Network em Endpoints) |
Soluções de acesso de entrada
|
Solução |
Quando usar |
Detalhes |
|
Conecte-se ao MaxCompute por um endpoint privado a partir da sua VPC |
Tópico vinculado |
|
|
Acesse o MaxCompute a partir de uma VPC em outra região |
Tópico vinculado |
|
|
Interconecte VPCs entre regiões usando a CEN |
Tópico vinculado |
Regiões suportadas
O acesso à internet e a conexão dedicada VPC estão disponíveis apenas nas regiões listadas abaixo.
Acesso à internet
Regiões suportadas:
China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen) e China (Hong Kong)
Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia)
Destinos suportados: Endereços IP públicos ou nomes de domínio.
Conexão dedicada VPC
Regiões e zonas suportadas:
|
Região |
Zonas |
|
China (Hangzhou) |
H, I, J, K |
|
China (Beijing) |
F, G, H, I, L |
|
China (Shanghai) |
B, E, G, M, N |
|
China (Zhangjiakou) |
A, B, C |
|
China (Ulanqab) |
B, C |
|
China (Shenzhen) |
C, D, E, F |
|
China (Hong Kong) |
B, C |
|
China (Shanghai) Finance Cloud |
F |
|
Japan (Tokyo) |
A, B |
|
Singapore |
A, B, C |
|
Malaysia (Kuala Lumpur) |
A, B |
|
Indonesia (Jakarta) |
A, B |
|
Germany (Frankfurt) |
A, B, C |
|
US (Silicon Valley) |
A, B |
|
US (Virginia) |
A, B |
Destinos suportados: Endereços IP de VPC ou nomes de domínio, RDS, clusters HBase, clusters Hadoop.
Limitações
O acesso de saída via internet e VPC a partir do MaxCompute é um service gratuito, sujeito às seguintes limitações:
|
Limitação |
Descrição |
|
Reexecuções por failover |
A conectividade de rede é garantida, mas o failover pode reexecutar nós em operações de rede acionadas pelo seu código. Certifique-se de que seu código seja idempotente. Prefira operações de leitura. Para escritas, implemente proteções contra dados inconsistentes decorrentes de execuções repetidas. |
|
Capacidade do proxy |
O acesso passa por um proxy com capacidade de encaminhamento limitada. Utilize conexões persistentes e limite a concorrência. Conexões excessivas podem causar falhas nas requisições. |
|
Sem garantia de largura de banda |
A largura de banda não é garantida e pode resultar em execução lenta das tarefas. A Alibaba Cloud não se responsabiliza por degradação de desempenho causada por limitações de largura de banda. |
|
IPs de saída limitados |
O proxy utiliza um número limitado de endereços IP de saída. Se encontrar comportamento anormal de conexão, entre em contato com o suporte técnico da Alibaba Cloud. |
|
Alteração de IPs de saída |
Os endereços IP de saída podem mudar. Não dependa de controle de acesso baseado em IP no service de destino. A Alibaba Cloud não garante que os IPs de saída do proxy permaneçam inalterados. |
Mesmo após estabelecer uma conexão de rede, você ainda pode enfrentar problemas de acesso ao executar jobs devido a restrições de rede na ferramenta utilizada. Por exemplo, se usar o DataWorks para sincronização ou limpeza de dados, garanta que o grupo de recursos do DataWorks consiga se conectar à source de dados e que a lista de permissões do sandbox permita o acesso. Network connection solutions.
Perguntas frequentes
Falha na resolução DNS sob alta concorrência
Durante tarefas UDF ou Spark, requisições de alta concorrência para um nome de domínio de destino podem sobrecarregar a resolução DNS.
Resolva o nome de domínio para um endereço IP durante a inicialização da tarefa e use o IP resolvido para todas as requisições subsequentes. High concurrency causes DNS resolution failures.
Falha no acesso HTTPS ao usar endereço IP diretamente
Quando uma tarefa Spark ou UDF acessa um service remoto de VPC (como KMS ou OSS) via HTTPS, a conexão por endereço IP em vez de nome de domínio causa erro de validação de certificado.
Adicione o nome de domínio ao cabeçalho Host da requisição para resolver o erro de validação. Use an IP address to access an HTTPS service.