Gateways compartilhados, com largura de banda e políticas de acesso fixas, muitas vezes não atendem aos requisitos de isolamento e elasticidade de aplicações de alta concorrência. Para solucionar essa questão, o Elastic Algorithm Service (EAS) oferece um gateway dedicado totalmente gerenciado. Esse recurso proporciona controle flexível de acesso às redes pública e privada, suporta domínios personalizados e fornece largura de banda dedicada para garantir a estabilidade e a confiabilidade do serviço.
Principais recursos
Controle de acesso: Gerencie o acesso às redes pública e privada usando uma lista de permissões.
Acesso por domínio personalizado: Configure domínios e certificados personalizados para expor seus serviços.
Acesso VPC entre contas: Permite que servidores em uma Virtual Private Cloud (VPC) de outra conta na mesma região acessem serviços EAS por meio de um endpoint privado.
Acesso VPC entre regiões: Habilita VPCs de diferentes regiões a acessarem serviços EAS pelo endpoint privado do gateway após o estabelecimento da conexão de rede.
DNS autoritativo: Fornece resolução DNS autoritativa ao chamar serviços EAS de outras nuvens ou data centers on-premises, desde que haja conexão de rede com a Alibaba Cloud.
Faturamento
Taxas do gateway: Suporta faturamento por pagamento conforme o uso e assinatura. Para mais informações, consulte Faturamento do Elastic Algorithm Service (EAS).
-
Custos adicionais:
Acesso à rede privada: Gera custos adicionais do PrivateLink, incluindo taxas de instância e de processamento de dados. Para detalhes, consulte a Visão geral do faturamento do PrivateLink.
Acesso à rede pública: O Cloud Data Transfer (CDT) cobra pelo tráfego de rede pública gerado pelo serviço. Para detalhes, consulte o Console CDT.
1. Criar um gateway dedicado totalmente gerenciado
Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Inference Gateway, clique em Create Dedicated Gateway e selecione Fully managed dedicated gateway.
Na página de compra do gateway dedicado EAS, configure os parâmetros. Consulte o Apêndice: Planejamento de capacidade do gateway dedicado para selecionar uma Gateway Specification que garanta a estabilidade do serviço.
-
Após configurar os parâmetros, clique em Buy Now. Siga as instruções na tela para confirmar o pedido e concluir o pagamento.
Visualize o gateway dedicado totalmente gerenciado adquirido na lista de gateways de inferência. Comece a usar o gateway quando o Status for Running.
Após criar um gateway dedicado totalmente gerenciado, atualize a especificação do gateway e a contagem de réplicas. As alterações levam cerca de 3 a 5 minutos para entrar em vigor.
Defina um gateway dedicado como padrão. O sistema o selecionará automaticamente durante a implantação de novos serviços.
2. Vincular um serviço ao gateway dedicado
Esta seção demonstra como implantar um novo serviço e vinculá-lo ao gateway. Para alterar o gateway vinculado a um serviço existente, atualize-o.
Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).
Na aba Inference Service, clique em Deploy Service. Na seção Custom Model Deployment, clique em Custom Deployment.
Na seção Network Information, selecione Dedicated Gateway e escolha o gateway criado na lista suspensa.
3. Habilitar acesso à rede
3.1 Configurar acesso à rede pública
Na aba Inference Gateway, clique no nome do gateway dedicado totalmente gerenciado de destino para acessar a página de detalhes.
Na seção Gateway Access Control, na aba Internet, ative a opção Access Portal. Quando o status for Activated, o canal de acesso público estará aberto.
-
Por padrão, o gateway não é acessível publicamente. Clique em Add to Whitelist e insira os blocos CIDR de IP público permitidos (por exemplo, 192.0.2.0/24).
Separe as entradas com vírgula (,) ou nova linha.
Para permitir acesso de todos os endereços IP públicos, adicione o bloco CIDR 0.0.0.0/0. É possível adicionar até 15 blocos CIDR.
-
Verifique a conectividade de rede pública do gateway dedicado totalmente gerenciado.
Na aba Internet, localize o Endpoint. Na página Gateway Access Control, clique na aba Public Network, visualize o Domain Name Address (por exemplo,
gw-c***s.aliyuncs.com) e confirme se o status do Access Entry está Enabled.-
De um dispositivo dentro de um bloco CIDR permitido, execute ping no nome de domínio. A saída a seguir indica uma conexão bem-sucedida.
C:\Users\xxx>ping gw-cxxx.cn-beijing.pai-eas.aliyuncs.com Pinging nlb-w0ncxxx.cn-beijing.nlb.aliyuncs.com [xxx] with 32 bytes of data: Reply from xxx: bytes=32 time=24ms TTL=89 Reply from xxx: bytes=32 time=29ms TTL=89 Reply from xxx: bytes=32 time=24ms TTL=89 Reply from xxx: bytes=32 time=24ms TTL=89 Ping statistics for xxx: Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), Approximate round trip times in milli-seconds: Minimum = 24ms, Maximum = 29ms, Average = 25ms
-
Para desativar o acesso à rede pública, na aba Internet, desative a opção Access Portal.
Do seu terminal local, tente acessar o nome de domínio. O comando
pingainda pode ter sucesso resolvendo o IP do NLB, mas uma conexãotelnetna porta 80 falhará, indicando que o canal de acesso público está fechado.C:\Users\xxx> ping gw-ccqv77ddlxxx-xxx.cn-beijing.pai-eas.aliyuncs.com Pinging gw-ccq xxx cn-beijing.pai-eas.aliyuncs.com [47.xxx.xxx.xxx] with 32 bytes of data: Reply from xxx: bytes=32 time=26ms TTL=89 Reply from xxx: bytes=32 time=26ms TTL=89 Reply from xxx: bytes=32 time=27ms TTL=89 Reply from xxx: bytes=32 time=26ms TTL=89 Ping statistics for 47.xxx.xxx.xxx: Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), Approximate round trip times in milli-seconds: Minimum = 26ms, Maximum = 27ms, Average = 26ms(base) niki@xxx ~ % telnet gw-ccqxxx.cn-beijing.pai-eas.aliyuncs.com 80 Trying 47.xx.xx.xxx... telnet: connect to address 47.xx.xx.xxx: Bad file descriptor telnet: Unable to connect to remote host
3.2 Configurar acesso à rede privada
Na aba Inference Gateway, clique no nome do gateway dedicado totalmente gerenciado de destino para acessar a página de detalhes.
-
Na seção Gateway Access Control, na aba VPC, clique em Add VPC e selecione a VPC e o vSwitch que deseja conectar.
-
Adicione uma VPC de uma conta diferente na mesma região. Após adicionar uma VPC pertencente à Conta B (a Conta B deve ter PAI-EAS, PrivateLink e PrivateZone ativados), os servidores nessa VPC poderão acessar serviços EAS que usam este gateway dedicado por meio do endpoint da VPC.
NotaEste é um recurso disponível mediante lista de permissões. Para ativá-lo, envie um ticket.
Na caixa de diálogo Add VPC, insira o Account ID (para cenários entre contas, insira o UID da conta de destino), VPC (ID) e vSwitch ID. O vSwitch deve estar em uma zona de disponibilidade suportada pelo gateway (por exemplo, cn-hangzhou-j, cn-hangzhou-k ou cn-hangzhou-i). Ative a opção Authoritative DNS conforme necessário e clique em OK.
Habilite o DNS autoritativo para o domínio do gateway. Isso permite que clientes de outras nuvens ou data centers on-premises resolvam o endereço do serviço após estabelecerem uma conexão de rede com a Alibaba Cloud. Atualmente, é possível ativar o DNS autoritativo na configuração de apenas uma VPC.
-
Ao adicionar uma VPC, o sistema configura uma lista de permissões padrão de 0.0.0.0/0, permitindo acesso de todos os IPs dentro dessa VPC. Modifique a Modify Whitelist conforme necessário.
-
Verifique a conectividade de rede privada do gateway dedicado.
Na aba VPC, localize o Endpoint. Na página Access Control, selecione a aba VPC e obtenha o nome de domínio do gateway na coluna Domain Name (por exemplo,
gw-xxx.eas.aliyuncs.com).-
De um terminal dentro da VPC, acesse o nome de domínio. A saída a seguir indica que a conectividade está funcionando conforme esperado.
NotaDentro da VPC, acesse o gateway dedicado de qualquer zona de disponibilidade configurando a lista de permissões. O acesso não se limita à zona de disponibilidade do vSwitch adicionado ao gateway.
[root@iZ2xxx ~]# ping gw-567lydxxx-vpc.cn-beijing.pai-eas.aliyuncs.com PING ep-2zeixxx.epsrv-2zemwo87lxxx.cn-beijing.privatelink.aliyuncs.com (192.xxx.xxx.xxx) 56(84) bytes of data. 64 bytes from 192.xxx.xxx.11: icmp_seq=1 ttl=102 time=1.11 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=2 ttl=102 time=1.05 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=3 ttl=102 time=0.572 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=4 ttl=102 time=0.515 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=5 ttl=102 time=0.519 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=6 ttl=102 time=0.514 ms 64 bytes from 192.xxx.xxx.11: icmp_seq=7 ttl=102 time=0.508 ms ^C --- ep-2zeixxx.epsrv-2zemwo87lxxx.cn-beijing.privatelink.aliyuncs.com ping statistics --- 7 packets transmitted, 7 received, 0% packet loss, time 6111ms rtt min/avg/max/mdev = 0.508/0.682/1.107/0.252 ms
-
Para desativar o acesso à VPC, localize a VPC na lista e clique em Delete na coluna Configure vSwitch.
De um terminal dentro da VPC, as tentativas de acessar o nome de domínio falharão. Os comandos
pingetelnetatingirão o tempo limite, indicando que o canal de acesso privado para o gateway dedicado está fechado.[root@iZ2zef8xxx ~]# ping gw-xxx-vpc.cn-beijing.pai-eas.aliyuncs.com PING ep-2zei6xxxlcb.epsrv-2zeute2zixxx.cn-beijing.privatelink.aliyuncs.com (1xxx) 56(84) bytes of data.[root@iZ2zcr0StvqwCommduccSU ~]# telnet gw-ccqvxxx-vpc.cn-beijing.pai-eas.aliyuncs.com 80 Trying 1xxx...
Para habilitar o acesso VPC entre regiões, conclua as etapas anteriores e execute as seguintes ações:
Estabeleça uma conexão de rede entre as VPCs usando Cloud Enterprise Network (CEN), uma conexão de peering VPC ou outro método.
Associe o gateway dedicado à VPC entre regiões do chamador.
Para etapas detalhadas de configuração, consulte Acessar um gateway dedicado totalmente gerenciado entre VPCs.
4. Testar chamadas de serviço
Na aba Inference Service, localize o serviço de destino e clique em Invocation Method na coluna Service Type.
Na aba Dedicated Gateway, obtenha o Internet Endpoint, VPC Endpoint e Token.
-
Use o comando curl para enviar uma solicitação e verificar se a resposta está correta.
Chamada pública: Execute o comando de qualquer máquina com acesso à internet pública.
Chamada privada: Execute o comando de um terminal dentro da VPC conectada.
curl <endpoint_URL> -H'Authorization:<token>'A API de teste usa uma solicitação GET sem parâmetros. A resposta esperada é True.
5. Configurar um domínio personalizado
1. (Opcional) Preparar um certificado SSL
Para acessar seu serviço via HTTPS, gerencie primeiro o certificado SSL do seu domínio personalizado no Digital Certificate Management Service.
Faça login no console do Digital Certificate Management Service e escolha SSL Certificate Management.
Escolha Purchase Certificate ou carregue um certificado existente. Para mais informações, consulte Comprar um certificado SSL e Carregar um certificado SSL.
2. Configurar o domínio personalizado
Domínio personalizado público
-
Na página de detalhes do gateway dedicado, mude para a aba Domain Name e clique em Create Domain Name. Configure os parâmetros da seguinte forma.
No painel Create Domain exibido, defina Access Method como Public ou VPC. Insira seu domínio personalizado no campo Domain e selecione um certificado SSL na lista suspensa Certificate. Se nenhum certificado estiver disponível, clique em Purchase/Upload Certificate para acessar a página de gerenciamento de certificados.
NotaSe o serviço já foi implantado usando este gateway, as configurações de domínio personalizado público podem levar até 5 minutos para entrar em vigor.
Verifique as informações de chamada de serviço para confirmar se o endpoint público agora usa o domínio personalizado público configurado para o gateway.
-
Configure a resolução DNS pública.
-
Na aba Gateway do gateway dedicado, localize o nome de domínio público.
Na página Gateway Access Control, clique na aba Public Network e visualize o Domain Name (por exemplo,
gw-c***s.aliyuncs.com). Confirme se o status do Access Entry está Enabled. Adicione um registro CNAME para seu domínio personalizado público apontando para o nome de domínio público do gateway.
Para informações sobre o DNS público autoritativo da Alibaba Cloud, consulte Gerenciamento de domínios e Adicionar um registro DNS .
-
Domínio personalizado privado
-
Na página de detalhes do gateway dedicado, mude para a aba Domain Name e clique em Create Domain Name. Configure os parâmetros da seguinte forma.
Defina Access Method como VPC, insira seu domínio personalizado (por exemplo,
www.test.com) no campo Domain, selecione um certificado SSL na lista suspensa Certificate se necessário e clique em OK. Se o serviço já foi implantado usando este gateway, aguarde cerca de 5 minutos após definir com sucesso o domínio personalizado privado. Verifique as informações de chamada de serviço. A configuração entrou em vigor quando a URL do endpoint da VPC usar o domínio personalizado privado que você configurou.
Monitoramento e alertas
Para manter a estabilidade do gateway e detectar prontamente problemas operacionais, recomendamos ativar logs, monitoramento e alertas.
Procedimento
Ative logs, monitoramento e alertas. Na página de detalhes do gateway, acesse as abas Logs, Monitoring e Alert e siga as instruções na tela para ativar cada recurso.
-
Crie uma política de alerta: Após ativar os alertas, o botão Create Alert Policy for EAS Dedicated Gateway aparecerá. Clique neste botão. Consulte Gerenciar regras de alerta para criar regras de alerta para o gateway.
ImportanteA variável
{{$labels.envoy_clusterid}}no conteúdo do alerta exibe o ID interno de um gateway em vez de seu nome definido pelo usuário, o que dificulta a localização rápida do gateway específico ao receber um alerta. Para facilitar a identificação, recomendamos fortemente modificar manualmente o modelo de notificação para substituir ou complementar essa variável com um nome de gateway reconhecível ao criar uma regra de alerta. No campo Alert Content, insira um modelo de alerta. Por exemplo:PAI-EAS dedicated gateway {{$labels.envoy_clusterid}} node ({{$labels.pod_name}}) CPU utilization exceeds {{ $labels.metrics_params_value }}, current value {{ printf "%.2f" $value }}%. A variável{{$labels.envoy_clusterid}}representa o ID do cluster do gateway dedicado.
Métricas de alerta
|
Nome da métrica |
Definição e fórmula |
Limiar e cenário |
|
Utilização de CPU do gateway dedicado EAS |
Percentual de utilização de CPU da instância do gateway (Pod). |
Recomendação: |
|
Utilização de memória do gateway dedicado EAS |
Percentual de utilização de memória da instância do gateway (Pod). |
Recomendação: |
|
Taxa de sucesso geral do gateway dedicado EAS |
|
Recomendação: |
|
Expiração de certificado do gateway dedicado EAS |
Monitora o número de dias até a expiração do certificado HTTPS configurado no gateway. |
Recomendação: |
|
Proporção de solicitações 4xx/5xx do gateway dedicado EAS |
|
Recomendação 5xx: |
|
RT médio de solicitação do gateway dedicado EAS |
Média de todos os tempos de resposta de solicitações dentro de um período estatístico, medido em milissegundos (ms). |
Recomendação: Defina com base na linha de base do seu negócio, por exemplo, |
|
Volume de solicitações do gateway dedicado EAS vs. ontem |
Variação percentual no volume de solicitações durante um período de N minutos comparado ao mesmo período de N minutos no dia anterior. |
Recomendação: |
|
Limitação de solicitações do gateway dedicado EAS |
Número total de solicitações rejeitadas pela política de limitação de taxa do gateway durante um período estatístico. |
Recomendação: |
Notas de uso
Quando um serviço usa um gateway dedicado, o auto scaling a partir de zero não é suportado. A contagem mínima de réplicas deve ser 1 ou superior.
FAQ
P: Erro ao adicionar uma VPCVswitch vsw-2zeqwh8hv0gb96zcd in zone cn-beijing-g is not supported, supported zones: [cn-beijing-i cn-beijing-l cn-beijing-k]
O vSwitch selecionado está em uma zona de disponibilidade não suportada. Escolha um vSwitch em uma zona de disponibilidade suportada.