Acessar uma VPC via conexão direta - MaxCompute: Central de Documentação do Alibaba Cloud

Este tópico descreve como o MaxCompute acessa services em uma Virtual Private Cloud (VPC), como ApsaraDB RDS, clusters HBase e clusters Hadoop. Os métodos de acesso compatíveis incluem MaxCompute SQL, UDFs, Spark, PyODPS/Mars, tabelas externas e arquiteturas de data lakehouse.

Importante

Esta solução cria dois grupos de segurança para tráfego de retorno: MaxCompute-vpc-xxx e MaxCompute-backup-vpc-xxx, onde xxx é o ID da VPC fornecido por você. Não modifique as regras desses grupos de segurança nem os utilize para gerenciar regras de segurança de outros componentes. A plataforma não se responsabiliza por problemas decorrentes dessas modificações.

Limitações

Restrições de região e zona:
- China (Hangzhou) - Zonas H, I, J e K;
- China (Beijing) - Zonas F, G, H, I e L;
- China (Shanghai) - Zonas B, E, G, M e N;
- China (Zhangjiakou) - Zonas A, B e C;
- China (Ulanqab) - Zonas B e C;
- China (Shenzhen) - Zonas C, D, E e F;
- China (Hong Kong) - Zonas B e C;
- China East 2 (Shanghai) Finance - Zona F;
- Japan (Tokyo) - Zonas A e B;
- Singapore - Zonas A, B e C;
- Malaysia (Kuala Lumpur) - Zonas A e B;
- Indonesia (Jakarta) - Zonas A e B;
- Germany (Frankfurt) - Zonas A, B e C;
- US (Silicon Valley) - Zonas A e B;
- US (Virginia) - Zonas A e B.
Destinos compatíveis: Endereços IP ou nomes de domínio de VPC, ApsaraDB RDS, clusters HBase e clusters Hadoop.

Procedimento

Etapa 1: Preparar conta e projeto

Antes de criar uma conexão de rede entre o MaxCompute e o service de destino, verifique se os seguintes pré-requisitos foram atendidos.

Create a MaxCompute project. Para cenários de data lakehouse, recomendamos definir o tipo de dados do projeto como compatível com Hive.
Para acessar um service em uma VPC, garanta que a conta Alibaba Cloud proprietária da VPC, a conta usada para acessar o projeto MaxCompute e a conta de administrador do service de destino pertençam à mesma conta principal da Alibaba Cloud.

Etapa 2: Criar uma conexão de rede direta

1. Conceder permissões

Autorize o usuário operacional:
- Somente um Project Owner ou um usuário com a função Super_Administrator ou Admin no nível de tenant pode realizar esta autorização. Para mais informações, consulte Role planning.
- Para o procedimento de autorização, consulte List of object permissions in a tenant.
Para permitir que o MaxCompute crie elastic network interfaces (ENIs) na sua VPC para conectividade, clique em Authorize enquanto estiver conectado à sua conta Alibaba Cloud.

2. Configurar regras de grupo de segurança

Na sua VPC, crie um grupo de segurança dedicado para controlar o acesso do MaxCompute aos recursos dentro da VPC.

Recomendamos criar um novo Basic Security Group. Evite usar outros tipos de grupos de segurança ou grupos já em uso. O MaxCompute criará uma elastic network interface (ENI) na VPC do usuário atual para acessar seus services.

Configure as regras de saída do grupo de segurança para controlar quais endereços de destino os jobs do MaxCompute (via ENIs) podem acessar. Caso não tenha requisitos especiais, mantenha as regras de saída padrão.
O tráfego de entrada para a ENI é tráfego de retorno. Portanto, permita todo o tráfego de entrada.

Faça login no Virtual Private Cloud console.
No painel de navegação à esquerda, escolha VPC. No canto superior esquerdo, selecione uma região.
Na página VPC, clique no Instance ID/Name da VPC de destino.
Na página de detalhes da VPC, clique na aba Resource Management.
Na aba Resource Management, na seção VPC Resources, passe o mouse sobre o número ao lado de Security Group e clique em Add.
- Para Security Group Type, selecione Basic Security Group.
  
  Um Basic Security Group permite tráfego de saída por padrão. Já os Advanced Security Groups negam tráfego de saída por padrão, o que impede o acesso a qualquer service na VPC.
- Em Network, selecione a VPC que contém o service que deseja acessar.
Para mais informações sobre como criar um grupo de segurança, consulte Create a security group.
Configure o grupo de segurança para oferecer suporte à rede do MaxCompute.
1. Na coluna Actions do grupo de segurança de destino, clique em Manage Rules.
2. Na aba Access Rule, selecione a aba Inbound. Na coluna Actions da regra de destino, clique em Edit. Configure os parâmetros a seguir para permitir todo o tráfego Inbound.
  - Defina Authorization policy como Allow.
  - Defina Priority como 1.
  - Defina Protocol como All.
  - Em Source, adicione o bloco CIDR da VPC ou o bloco CIDR do vSwitch onde o service que deseja acessar está implantado.
  - Destination é ALL(-1/-1) por padrão.
Para mais informações sobre como configurar regras, consulte Security group application guide and examples.
Para HBase, caso não consiga conceder permissões de rede a um grupo de segurança, adicione o endereço IP da ENI criada pelo MaxCompute a uma lista de permissões. Como os endereços IP da ENI podem mudar, recomendamos adicionar o intervalo de endereços IP do vSwitch ao qual a VPC pertence. Para obter o endereço IP da ENI, faça login no ECS console e clique em Network Interfaces no painel de navegação à esquerda.

Nota

Durante o processo de criação da conexão de rede, o MaxCompute cria automaticamente duas ENIs com base nos seus requisitos de largura de banda. Essas ENIs são gratuitas e ficam neste grupo de segurança.

3. Criar a conexão de rede

Uma conta Alibaba Cloud ou um usuário RAM com a função Super_Administrator ou Admin no nível de tenant para MaxCompute pode criar uma conexão entre o MaxCompute e uma VPC no console do MaxCompute. Para mais informações, consulte MaxCompute tenant-level roles. Para criar uma conexão:

Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha Manage Configurations > Network Connection .
Na página Network Connection, clique em Add Network Connection.
Na caixa de diálogo Add Network Connection, configure os parâmetros conforme solicitado e clique em OK. Ao adicionar uma conexão de rede pela primeira vez, você deve primeiro conceder autorização para permitir que o proxy da plataforma MaxCompute solicite placas de interface de rede. Caso contrário, a conexão não poderá ser criada.

Na caixa de diálogo Add Network Connection, configure os parâmetros conforme solicitado e clique em OK. Ao adicionar uma conexão de rede pela primeira vez, você deve primeiro conceder autorização para permitir que o proxy da plataforma MaxCompute solicite placas de interface de rede. Caso contrário, a conexão não poderá ser criada.

A tabela a seguir descreve os parâmetros.

Parâmetro	Obrigatório	Descrição
Connection Name:	Sim	Nome personalizado para a conexão. O nome deve atender aos seguintes requisitos: Começar com uma letra. Conter apenas letras, sublinhados (_) e dígitos. Ter entre 1 e 63 caracteres.
Type:	Sim	O valor padrão é Passthrough. Uma conexão Passthrough é uma conexão VPC.
Region:	Sim	O sistema preenche este parâmetro automaticamente com base na região selecionada no canto superior esquerdo. Para mais informações, consulte Supported regions.
VPC Selected:	Sim	Uma Virtual Private Cloud (VPC) é uma rede virtual isolada. Ela fornece um espaço de rede privada seguro e configurável, semelhante a um data center tradicional. ID da VPC. Para criar uma nova VPC, consulte Create or delete a VPC. Para obter o ID: Faça login no Virtual Private Cloud console. No painel de navegação à esquerda, escolha VPC. No canto superior esquerdo, selecione uma região. Na página VPC, localize o Instance ID/Name da VPC. Se estiver conectando a um cluster HBase ou Hadoop, encontre essa informação nos detalhes da conexão de rede no console correspondente.
Switch:	Sim	Um vSwitch é usado para criar uma sub-rede. Diferentes vSwitches na mesma VPC podem se comunicar entre si pela rede interna. Implante recursos de cloud em vSwitches de zonas distintas para proteger sua aplicação contra falhas em uma única zona. ID do vSwitch anexado à VPC. Se não houver vSwitches disponíveis, consulte Create or delete a vSwitch. Para obter o ID: Faça login no Virtual Private Cloud console. No painel de navegação à esquerda, escolha vSwitch. No canto superior esquerdo, selecione uma região. Na página vSwitch, localize o Instance ID/Name do vSwitch. Se estiver conectando a um cluster HBase ou Hadoop, encontre essa informação nos detalhes da conexão de rede no console correspondente.
Security group:	Sim	Um grupo de segurança atua como um firewall virtual para seus recursos de cloud. Ao gerenciar grupos de segurança e suas regras, implemente isolamento de rede e controle de acesso granulares. ID do grupo de segurança. Para criar um grupo de segurança, consulte Create a security group.

4. Configurar grupo de segurança do service de destino

Após concluir as operações anteriores para habilitar a conexão direta baseada em ENI, adicione regras de segurança ao service de destino. Essas regras autorizam o grupo de segurança que representa o MaxCompute a acessar portas específicas do service, como 9200 e 31000.

Por exemplo, para acessar o ApsaraDB RDS, adicione uma regra ao ApsaraDB RDS que permita o acesso do grupo de segurança criado na Etapa 2. Se o service que deseja acessar for compatível apenas com endereços IP em vez de grupos de segurança, adicione todo o bloco CIDR do vSwitch onde o service de destino reside.

Configure o grupo de segurança para o cluster Hadoop.
- Configure as seguintes informações para o grupo de segurança do cluster Hadoop para garantir que o MaxCompute possa acessar o cluster.
  - Configure as regras de acesso de entrada para o grupo de segurança onde o cluster Hadoop reside.
  - O objeto de autorização é o grupo de segurança criado na Etapa 2 para a ENI.
  - Porta do Hive Metastore: 9083
  - Porta do HDFS NameNode: 8020
  - Porta do HDFS DataNode: 50010
- Por exemplo, ao conectar-se a um cluster Hadoop criado no Alibaba Cloud E-MapReduce, configure as regras do grupo de segurança conforme descrito acima. Para mais informações, consulte Create a security group.
Configure o grupo de segurança para o cluster HBase.
- Adicione o grupo de segurança criado para o MaxCompute ou o endereço IP da ENI ao grupo de segurança ou à lista de permissões de IP do cluster HBase.
- Por exemplo, ao conectar-se a um cluster Alibaba Cloud HBase:
  1. Faça login no HBase Management Console. No canto superior esquerdo, selecione uma região.
  2. No painel de navegação à esquerda, selecione Clusters.
  3. Na página Clusters, clique no nome do cluster de destino.
  4. No painel de navegação à esquerda, selecione Access Control.
  5. Nas abas Whitelist Setting e Security Group, clique em Add Whitelist ou Add Security Group. Se não for possível adicionar um grupo de segurança, adicione o endereço IP da ENI na aba Whitelist Setting. Como os endereços IP da ENI podem mudar caso a configuração do MaxCompute seja modificada, recomendamos adicionar o bloco CIDR do vSwitch à lista de permissões.
Para mais informações sobre como adicionar um grupo de segurança ou lista de permissões de IP, consulte Set whitelists and security groups.
Configure o grupo de segurança para o ApsaraDB RDS.
- Adicione o grupo de segurança criado para o MaxCompute ou o endereço IP da ENI ao grupo de segurança ou à lista de permissões de IP do ApsaraDB RDS.
- Por exemplo, ao conectar-se a uma instância ApsaraDB RDS:
  1. Faça login no RDS console.
  2. Na barra de navegação à esquerda, selecione Instances e, no canto superior esquerdo, selecione a região.
  3. Na barra de navegação à esquerda, clique em Whitelist and SecGroup.
  4. Nas abas Whitelist Settings e Security Group, adicione uma lista de permissões de IP ou um grupo de segurança. Como o endereço IP da ENI pode mudar caso a configuração do MaxCompute seja modificada, recomendamos adicionar o bloco CIDR do vSwitch à lista de permissões.
Para mais informações sobre como adicionar um grupo de segurança ou uma lista de permissões de IP, consulte Configure a security group for an ApsaraDB RDS for MySQL instance ou Configure an IP address whitelist.

Etapa 3: Acessar recursos da VPC

Após criar a conexão de rede direta, adicione as seguintes configurações para acessar a rede VPC usando SQL ou Spark.

Para outros tipos de jobs, ajuste as configurações conforme o tipo de job.

Acesso via SQL

Para acessar uma rede VPC usando uma UDF, execute o código a seguir. Para mais informações, consulte Access VPC resources by using a UDF.

-- Set the network connection name. This is the name configured for the direct network connection. This setting is valid only for the current session.
SET odps.session.networklink=testLink;

Para acessar uma rede VPC usando uma tabela externa, execute o código a seguir.

-- Set the parameter in the CREATE TABLE statement.
 TBLPROPERTIES(
'networklink'='<networklink_name>')

Para configurar um link de rede para um data lakehouse, consulte Data Lakehouse 2.0 User Guide.

Acesso via Spark

Após configurar a conexão de rede dedicada, adicione os seguintes itens de configuração ao seu arquivo spark-defaults.conf ou à configuração do DataWorks para permitir que o Spark acesse a VPC:

spark.hadoop.odps.cupid.eni.enable = true
# The format is regionid:vpcid, where vpcid is the ID of the target VPC used when creating the network connection.
spark.hadoop.odps.cupid.eni.info = regionid:vpc-**********

Acesso via MaxFrame

Ao usar o MaxFrame para acessar redes VPC, após a configuração da conexão de rede direta descrita acima, adicione a seguinte configuração ao seu código UDF do MaxFrame:

@with_network_options(vpc_network_link="networklink_name")
def xxx():
    pass

(Opcional) Etapa 4: Configurar a lista de permissões

Se o seu servidor tiver controle de acesso ativado, adicione o grupo de segurança da conexão de rede direta à lista de permissões do servidor.