Gateways compartilhados, com largura de banda compartilhada e políticas de acesso fixas, frequentemente não atendem às demandas de alto isolamento e elasticidade de aplicações de alta concorrência. Para resolver esse desafio, o Elastic Algorithm Service (EAS) oferece um gateway dedicado totalmente gerenciado. Ele proporciona controle flexível de acesso à rede pública e privada, suporta domínios personalizados e oferece largura de banda dedicada para garantir a estabilidade e a confiabilidade do service.
Principais recursos
Controle de acesso: Gerencie o acesso à rede pública e privada por meio de uma lista de permissões.
Acesso por domínio personalizado: Configure domínios e certificados personalizados para expor seus serviços.
Acesso VPC entre contas: Permite que servidores em uma Virtual Private Cloud (VPC) de outra conta na mesma região acessem serviços do EAS por meio de um endpoint privado.
Acesso VPC entre regiões: Habilita VPCs de diferentes regiões a acessarem serviços do EAS pelo endpoint privado do gateway após o estabelecimento de uma conexão de rede.
DNS autoritativo: Fornece resolução DNS autoritativa ao chamar serviços do EAS a partir de outras nuvens ou data centers on-premises, desde que exista uma conexão de rede com a Alibaba Cloud.
Faturamento
Taxas do gateway: Suporta faturamento por pagamento conforme o uso e assinatura. Para mais informações, consulte Elastic Algorithm Service (EAS) billing.
-
Custos adicionais:
Acesso à rede privada: Gera custos adicionais do PrivateLink, incluindo taxas de instância e de processamento de dados. Para detalhes, consulte PrivateLink billing overview.
Acesso à rede pública: O Cloud Data Transfer (CDT) cobra pelo tráfego de rede pública gerado pelo service. Para detalhes, consulte o console CDT.
1. Criar um gateway dedicado totalmente gerenciado
Faça login no PAI console. Selecione uma região no topo da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Inference Gateway, clique em Create Dedicated Gateway e selecione Fully managed dedicated gateway.
Na página de compra do gateway dedicado do EAS, configure os parâmetros. Consulte Appendix: Dedicated gateway capacity planning para selecionar uma Gateway Specification que garanta a estabilidade do service.
-
Após configurar os parâmetros, clique em Buy Now. Siga as instruções na tela para confirme seu pedido e concluir o pagamento.
Visualize o gateway dedicado totalmente gerenciado adquirido na lista de gateways de inferência. Comece a usar o gateway quando seu Status for Running.
Após crie um gateway dedicado totalmente gerenciado, atualize a especificação do gateway e a contagem de réplicas. As alterações levam cerca de 3 a 5 minutos para entrar em vigor.
Defina um gateway dedicado como gateway padrão. O sistema o selecionará automaticamente quando você implantar novos serviços.
2. Vincular um serviço ao gateway dedicado
Esta seção demonstra como implantar um novo service e vinculá-lo ao gateway. Para um service existente, atualize-o para alterar o gateway vinculado.
Faça login no PAI console. Selecione uma região no topo da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Inference Service, clique em Deploy Service. Na seção Custom Model Deployment, clique em Custom Deployment.
Na seção Network Information, selecione Dedicated Gateway e escolha o gateway criado na lista suspensa.
3. Ativar o acesso à rede
3.1 Configurar o acesso à rede pública
Na aba Inference Gateway, clique no nome do gateway dedicado totalmente gerenciado alvo para acessar sua página de detalhes.
Na seção Gateway Access Control, na aba Internet, ative a chave Access Portal. Quando o status for Activated, o canal de acesso público estará aberto.
-
Por padrão, o gateway não é acessível publicamente. Clique em Add to Whitelist e insira os blocos CIDR de IP público permitidos (por exemplo, 192.0.2.0/24).
Separe as entradas com vírgula (,) ou nova linha.
Para permitir o acesso de todos os endereços IP públicos, adicione o bloco CIDR 0.0.0.0/0. Adicione até 15 blocos CIDR.
-
Verifique a conectividade de rede pública do gateway dedicado totalmente gerenciado.
Na aba Internet, localize o Endpoint. Na página Gateway Access Control, clique em na aba Public Network, visualize o Domain Name Address (por exemplo,
gw-c***s.aliyuncs.com) e confirme se o status do Access Entry está Enabled.-
De um dispositivo dentro de um bloco CIDR permitido, execute ping no nome de domínio. A saída a seguir indica uma conexão bem-sucedida.
C:\Users\xxx>ping gw-cxxx.cn-beijing.pai-eas.aliyuncs.com Pinging nlb-w0ncxxx.cn-beijing.nlb.aliyuncs.com [xxx] with 32 bytes of data: Reply from xxx: bytes=32 time=24ms TTL=89 Reply from xxx: bytes=32 time=29ms TTL=89 Reply from xxx: bytes=32 time=24ms TTL=89 Reply from xxx: bytes=32 time=24ms TTL=89 Ping statistics for xxx: Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), Approximate round trip times in milli-seconds: Minimum = 24ms, Maximum = 29ms, Average = 25ms
-
Para desativar o acesso à rede pública, na aba Internet, desative a chave Access Portal.
No seu terminal local, tente acessar o nome de domínio. O comando
pingainda pode ter sucesso resolvendo o IP do NLB, mas uma conexãotelnetna porta 80 falhará, indicando que o canal de acesso público está fechado.C:\Users\xxx> ping gw-ccqv77ddlxxx-xxx.cn-beijing.pai-eas.aliyuncs.com Pinging gw-ccq xxx cn-beijing.pai-eas.aliyuncs.com [47.xxx.xxx.xxx] with 32 bytes of data: Reply from xxx: bytes=32 time=26ms TTL=89 Reply from xxx: bytes=32 time=26ms TTL=89 Reply from xxx: bytes=32 time=27ms TTL=89 Reply from xxx: bytes=32 time=26ms TTL=89 Ping statistics for 47.xxx.xxx.xxx: Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), Approximate round trip times in milli-seconds: Minimum = 26ms, Maximum = 27ms, Average = 26ms(base) niki@xxx ~ % telnet gw-ccqxxx.cn-beijing.pai-eas.aliyuncs.com 80 Trying 47.xx.xx.xxx... telnet: connect to address 47.xx.xx.xxx: Bad file descriptor telnet: Unable to connect to remote host
3.2 Configurar o acesso à rede privada
Na aba Inference Gateway, clique em no nome do gateway dedicado totalmente gerenciado alvo para acessar sua página de detalhes.
-
Na seção Gateway Access Control, na aba VPC, clique em Add VPC e selecione a VPC e o vSwitch que deseja conectar.
-
Adicione uma VPC de uma conta diferente na mesma região. Após adicionar uma VPC pertencente à Conta B (a Conta B deve ter PAI-EAS, PrivateLink e PrivateZone ativados), os servidores nessa VPC poderão acessar serviços do EAS que usam este gateway dedicado por meio do endpoint da VPC.
NotaEste é um recurso disponível mediante lista de permissões. Para ativá-lo, envie um ticket.
Na caixa de diálogo Add VPC, insira o Account ID (para cenários entre contas, insira o UID da conta alvo), VPC (ID) e vSwitch ID. O vSwitch deve estar em uma zona de disponibilidade suportada pelo gateway (por exemplo, cn-hangzhou-j, cn-hangzhou-k ou cn-hangzhou-i). Ative a chave Authoritative DNS conforme necessário e clique em OK.
Ative o DNS autoritativo para o domínio do gateway. Isso permite que clientes de outras nuvens ou data centers on-premises resolvam o endereço do service após estabelecerem uma conexão de rede com a Alibaba Cloud. Atualmente, ative o DNS autoritativo na configuração de apenas uma VPC.
-
Ao adicionar uma VPC, o sistema configura uma lista de permissões padrão de 0.0.0.0/0, permitindo o acesso de todos os IPs dentro dessa VPC. Modifique a lista de permissões (Modify Whitelist) conforme necessário.
-
Verifique a conectividade de rede privada do gateway dedicado.
Na aba VPC, localize o Endpoint. Na página Access Control, selecione a aba VPC e obtenha o nome de domínio do gateway na coluna Domain Name (por exemplo,
gw-xxx.eas.aliyuncs.com).-
De um terminal dentro da VPC, acesse o nome de domínio. A saída a seguir indica que a conectividade está funcionando conforme o esperado.
NotaDentro da VPC, acesse o gateway dedicado de qualquer zona de disponibilidade configurando a lista de permissões. O acesso não se limita à zona de disponibilidade do vSwitch adicionado ao gateway.
[root@iZ2xxx ~]# ping gw-567lydxxx-vpc.cn-beijing.pai-eas.aliyuncs.com PING ep-2zeixxx.epsrv-2zemwo87lxxx.cn-beijing.privatelink.aliyuncs.com (192.xxx.xxx.xxx) 56(84) bytes of data. 64 bytes from 192.xxx.xxx.11: icmp_seq=1 ttl=102 time=1.11 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=2 ttl=102 time=1.05 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=3 ttl=102 time=0.572 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=4 ttl=102 time=0.515 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=5 ttl=102 time=0.519 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=6 ttl=102 time=0.514 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=7 ttl=102 time=0.508 ms ^C --- ep-2zeixxx.epsrv-2zemwo87lxxx.cn-beijing.privatelink.aliyuncs.com ping statistics --- 7 packets transmitted, 7 received, 0% packet loss, time 6111ms rtt min/avg/max/mdev = 0.508/0.682/1.107/0.252 ms
-
Para desativar o acesso à VPC, localize a VPC na lista e clique em Delete na coluna Configure vSwitch.
De um terminal dentro da VPC, as tentativas de acessar o nome de domínio falharão. Os comandos
pingetelnetatingirão o tempo limite, indicando que o canal de acesso privado para o gateway dedicado está fechado.[root@iZ2zef8xxx ~]# ping gw-xxx-vpc.cn-beijing.pai-eas.aliyuncs.com PING ep-2zei6xxxlcb.epsrv-2zeute2zixxx.cn-beijing.privatelink.aliyuncs.com (1xxx) 56(84) bytes of data.[root@iZ2zcr0StvqwCommduccSU ~]# telnet gw-ccqvxxx-vpc.cn-beijing.pai-eas.aliyuncs.com 80 Trying 1xxx...
Para ativar o acesso VPC entre regiões, conclua as etapas anteriores e execute as seguintes ações:
Estabeleça uma conexão de rede entre as VPCs usando Cloud Enterprise Network (CEN), uma conexão de peering VPC ou outro método.
Associe o gateway dedicado à VPC entre regiões do chamador.
Para etapas detalhadas de configuração, consulte Access a fully-managed dedicated gateway across VPCs.
4. Testar chamadas de service
Na aba Inference Service, localize o service alvo e clique em Invocation Method na coluna Service Type.
Na aba Dedicated Gateway, obtenha o Internet Endpoint, o VPC Endpoint e o Token.
-
Use o comando curl para enviar uma solicitação e verifique se a resposta está correta.
Chamada pública: Execute o comando de qualquer máquina com acesso à internet pública.
Chamada privada: Execute o comando de um terminal dentro da VPC conectada.
curl <endpoint_URL> -H'Authorization:<token>'A API de teste usa uma solicitação GET sem parâmetros. A resposta esperada é True.
5. Configurar um domínio personalizado
1. (Opcional) Preparar um certificado SSL
Para acessar seu service via HTTPS, gerencie primeiro o certificado SSL do seu domínio personalizado no Digital Certificate Management Service.
Faça login no console do Digital Certificate Management Service e escolha SSL Certificate Management.
Escolha Purchase Certificate ou carregue um certificado existente. Para mais informações, consulte Purchase an SSL certificate e Upload an SSL certificate.
2. Configurar o domínio personalizado
Domínio personalizado público
-
Na página de detalhes do gateway dedicado, mude para a aba Domain Name e clique em Create Domain Name. Configure os parâmetros da seguinte forma.
No painel Create Domain exibido, defina Access Method como Public ou VPC. Insira seu domínio personalizado no campo Domain e selecione um certificado SSL na lista suspensa Certificate. Se nenhum certificado estiver disponível, clique em Purchase/Upload Certificate para acessar a página de gerenciamento de certificados.
NotaSe o service já foi implantado usando este gateway, as configurações de domínio personalizado público podem levar até 5 minutos para entrar em vigor.
Verifique as informações de chamada do service para confirme se o endpoint público agora usa o domínio personalizado público configurado para o gateway.
-
Configure a resolução DNS pública.
-
Na aba Gateway do gateway dedicado, localize o nome de domínio público.
Na página Gateway Access Control, clique em na aba Public Network e visualize o Domain Name (por exemplo,
gw-c***s.aliyuncs.com). Confirme se o status do Access Entry está Enabled. Adicione um registro CNAME para seu domínio personalizado público apontando para o nome de domínio público do gateway.
Para informações sobre o DNS público autoritativo da Alibaba Cloud, consulte Domain management e Add a DNS record .
-
Domínio personalizado privado
-
Na página de detalhes do gateway dedicado, mude para a aba Domain Name e clique em Create Domain Name. Configure os parâmetros da seguinte forma.
Defina Access Method como VPC, insira seu domínio personalizado (por exemplo,
www.test.com) no campo Domain, selecione um certificado SSL na lista suspensa Certificate se necessário e clique em OK. Se o service já foi implantado usando este gateway, aguarde cerca de 5 minutos após definir com êxito o domínio personalizado privado. Verifique as informações de chamada do service. A configuração entrou em vigor quando a URL do endpoint da VPC usar o domínio personalizado privado configurado.
Monitoramento e alertas
Para manter a estabilidade do gateway e detectar prontamente problemas operacionais, recomendamos ativar logs, monitoramento e alertas.
Procedimento
Ative logs, monitoramento e alertas. Na página de detalhes do gateway, acesse as abas Logs, Monitoring e Alert e siga as instruções na tela para ativar cada recurso.
-
Crie uma política de alerta: Após ativar os alertas, o botão Create Alert Policy for EAS Dedicated Gateway aparecerá. Clique em neste botão. Consulte Manage alert rules para crie regras de alerta para o gateway.
ImportanteA variável
{{$labels.envoy_clusterid}}no conteúdo do alerta exibe o ID interno de um gateway em vez de seu nome definido pelo usuário, o que dificulta a localização rápida do gateway específico ao receber um alerta. Para facilitar a identificação, recomendamos fortemente modifique manualmente o modelo de notificação para substituir ou complementar essa variável com um nome de gateway reconhecível ao crie uma regra de alerta. No campo Alert Content, insira um modelo de alerta. Por exemplo:PAI-EAS dedicated gateway {{$labels.envoy_clusterid}} node ({{$labels.pod_name}}) CPU utilization exceeds {{ $labels.metrics_params_value }}, current value {{ printf "%.2f" $value }}%. A variável{{$labels.envoy_clusterid}}representa o ID do cluster do gateway dedicado.
Métricas de alerta
|
Nome da métrica |
Definição e fórmula |
Limiar e cenário |
|
Utilização de CPU do gateway dedicado EAS |
A porcentagem de utilização de CPU da instância do gateway (Pod). |
Recomendação: |
|
Utilização de memória do gateway dedicado EAS |
A porcentagem de utilização de memória da instância do gateway (Pod). |
Recomendação: |
|
Taxa de sucesso geral do gateway dedicado EAS |
|
Recomendação: |
|
Expiração de certificado do gateway dedicado EAS |
Monitora o número de dias até a expiração do certificado HTTPS configurado no gateway. |
Recomendação: |
|
Proporção de solicitações 4xx/5xx do gateway dedicado EAS |
|
Recomendação 5xx: |
|
RT médio de solicitação do gateway dedicado EAS |
A média de todos os tempos de resposta das solicitações dentro de um período estatístico, medido em milissegundos (ms). |
Recomendação: Defina com base na linha de base do seu negócio, por exemplo, |
|
Volume de solicitações do gateway dedicado EAS vs. ontem |
A variação percentual no volume de solicitações durante um período de N minutos comparado ao mesmo período de N minutos no dia anterior. |
Recomendação: |
|
Limitação de solicitações do gateway dedicado EAS |
O número total de solicitações rejeitadas pela política de limitação de taxa do gateway durante um período estatístico. |
Recomendação: |
Notas de uso
Quando um service usa um gateway dedicado, o Auto Scaling a partir de zero não é suportado. A contagem mínima de réplicas deve ser 1 ou superior.
FAQ
P: Erro ao adicionar uma VPCVswitch vsw-2zeqwh8hv0gb96zcd in zone cn-beijing-g is not supported, supported zones: [cn-beijing-i cn-beijing-l cn-beijing-k]
O vSwitch selecionado está em uma zona de disponibilidade não suportada. Escolha um vSwitch em uma zona de disponibilidade suportada.