Em serviços de alto QPS e tráfego intenso, como os de processamento de imagens, a chamada direta via VPC melhora significativamente o desempenho e reduz a latência. No entanto, essa abordagem não oferece balanceamento de carga entre múltiplas instâncias do service. Caso sua arquitetura de microsserviços já utilize Nacos, integre-o ao EAS para gerencie o acesso aos serviços e ative o balanceamento de carga no lado do cliente. Este tópico explica como chamar um service do EAS associando-o a uma instância Nacos.
A integração com Nacos atualmente não suporta roteamento inteligente para LLMs.
Como funciona
Após a configuração de uma VPC para um service do EAS, o sistema atribui um endereço IP da VPC a cada pod do service.
O EAS registra os pods do service de inferência na instância Nacos associada.
O cliente assina os eventos de registro de service do Nacos.
O Nacos envia as alterações na lista de endereços IP do service EAS para o cliente.
O cliente utiliza um SDK para selecione uma instância. O SDK inclui um algoritmo integrado de balanceamento de carga weighted round-robin (WRR).
O cliente usa o endereço IP e a porta retornados pelo SDK para chamar o service.
Métodos de configuração
Configuração pelo console
Na página de configuração de implantação, na seção Network Information, configure a VPC e ative a opção Service Discovery Nacos.
-
Configure a VPC. Para associar o service ao Nacos, configure uma VPC, um vSwitch e um grupo de segurança para o service do EAS. Se ainda não os tiver criado, consulte Crie e gerencie uma VPC e Gerencie grupos de segurança.
A instância Nacos deve estar na mesma VPC e no mesmo vSwitch do service do EAS.
-
Verifique se o bloco CIDR do vSwitch possui endereços IP disponíveis suficientes.
ImportanteAs regras do grupo de segurança controlam o acesso à rede entre clientes, como instâncias ECS, e os serviços do PAI-EAS.
Por padrão, instâncias dentro do mesmo grupo de segurança básico podem se comunicar pela rede interna. Coloque o cliente e o service do PAI-EAS no mesmo grupo de segurança.
Caso o cliente e o service do PAI-EAS precisem usar grupos de segurança diferentes, configure regras para permitir a comunicação entre eles. Para mais informações, consulte Permitir acesso entre instâncias em diferentes grupos de segurança em uma rede clássica.
-
Ative a opção Service Discovery Nacos e selecione uma instância Nacos na caixa de diálogo exibida. Se você não possuir uma instância, Crie uma instância de registro MSE primeiro.
É possível associar várias instâncias Nacos a um único service para recuperação de desastres. O service será registrado em todas as instâncias associadas.
Configuração via JSON
Os parâmetros JSON a seguir são obrigatórios para associar uma instância Nacos. Para obter detalhes sobre cada parâmetro, consulte Configure pelo console.
Parâmetro | Descrição | ||
cloud | networking | vpc_id | Os IDs da VPC, do vSwitch e do grupo de segurança para o service do EAS. |
vswitch_id | |||
security_group_id | |||
networking | nacos | nacos_id | O ID da instância Nacos criada. |
Exemplo de configuração:
{
"cloud": {
"networking": {
"security_group_id": "sg-*****",
"vpc_id": "vpc-***",
"vswitch_id": "vsw-****"
}
},
"networking": {
"nacos": [
{
"nacos_id": "mse_regserverless_cn-****"
}
]
}
}
Verifique o registro do service
Após a implantação do service, o EAS o registra na instância Nacos associada. As informações de registro são as seguintes:
cluster: O padrão é o cluster
DEFAULT.namespace: O namespace público padrão.
serviceName: O nome do seu service.
groupName: Um valor gerado pelo sistema:
pai-eas.
Verifique se a quantidade de instâncias e seus respectivos status estão corretos:
Na aba Providers da página de detalhes do service, confirme se o Health Status e o Online/Offline Status da instância estão normais (verde) e se o Weight é 100.
Chamada a partir de um cliente
Go
package main
import (
"fmt"
"github.com/nacos-group/nacos-sdk-go/v2/clients"
"github.com/nacos-group/nacos-sdk-go/v2/clients/naming_client"
"github.com/nacos-group/nacos-sdk-go/v2/common/constant"
"github.com/nacos-group/nacos-sdk-go/v2/model"
"github.com/nacos-group/nacos-sdk-go/v2/util"
"github.com/nacos-group/nacos-sdk-go/v2/vo"
"strconv"
"testing"
"time"
)
var Clients = make(map[string]NacosClientManager)
type NacosClientManager struct {
userId string
endPoint string
client naming_client.INamingClient
}
func NewAndGetNacosClient(userId string, endPoint string) (*NacosClientManager, error) {
key := generateKey(userId, endPoint)
client, exists := Clients[key]
if exists {
return &client, nil
}
client, exists = Clients[key]
if exists {
return &client, nil
}
newClient, err := clients.NewNamingClient(
vo.NacosClientParam{
ClientConfig: constant.NewClientConfig(
constant.WithNamespaceId(""),
constant.WithTimeoutMs(5000),
constant.WithNotLoadCacheAtStart(true),
constant.WithLogDir("/tmp/nacos/log"),
constant.WithCacheDir("/tmp/nacos/cache"),
constant.WithLogLevel("debug"),
),
ServerConfigs: []constant.ServerConfig{
*constant.NewServerConfig(endPoint, 8848, constant.WithContextPath("/nacos")),
},
},
)
if err != nil {
return nil, err
}
nacosClient := NacosClientManager{
userId: userId,
endPoint: endPoint,
client: newClient,
}
Clients[key] = nacosClient
return &nacosClient, nil
}
func (p *NacosClientManager) SelectOneHealthyInstance(param vo.SelectOneHealthInstanceParam) (*model.Instance, error) {
instance, err := p.client.SelectOneHealthyInstance(param)
if err != nil {
return nil, fmt.Errorf("SelectOneHealthyInstance failed: %v", err)
}
fmt.Printf("SelectOneHealthyInstance success, param: %+v\n", param)
return instance, nil
}
func (p *NacosClientManager) Subscribe(service string, group string) error {
subscribeParam := &vo.SubscribeParam{
ServiceName: service,
GroupName: group,
SubscribeCallback: func(services []model.Instance, err error) {
fmt.Printf("callback return services:%s \n\n", util.ToJsonString(services))
},
}
return p.client.Subscribe(subscribeParam)
}
func generateKey(userId string, endPoint string) string {
return userId + fmt.Sprintf("-%s", endPoint)
}
func Test(t *testing.T) {
nacosClient, err := NewAndGetNacosClient("yourAliyunUid", "yourNacosEndpoint")
if err != nil {
panic(err)
}
nacosClient.Subscribe("your_service", "pai-eas")
params := vo.SelectOneHealthInstanceParam{
ServiceName: "your_service",
GroupName: "pai-eas",
}
instance, err := nacosClient.SelectOneHealthyInstance(params)
fmt.Println(instance)
// Replace the host with the IP address and port from your invocation information in the console.
url := fmt.Sprintf("http://%s:%s/api/predict/xxxxxxx", instance.Ip, strconv.FormatUint(instance.Port, 10))
fmt.Println(url)
// TODO: Invoke the service by using the URL.
}
Python
O SDK oficial do Nacos para Python não possui um algoritmo de balanceamento de carga integrado. Portanto, implemente o seu próprio, como o weighted round-robin.
Instale dependências
pip install nacos-sdk-python
Chamar o service
# -*- coding: utf8 -*-
import nacos
# Nacos server configuration
SERVER_ADDRESSES = "yourNacosEndpoint"
NAMESPACE = "" # Use default namespace if empty
SERVICE_NAME = "your_service"
GROUP_NAME = "pai-eas"
# Create Nacos client
client = nacos.NacosClient(SERVER_ADDRESSES, namespace=NAMESPACE)
def callback(args):
print(args)
if __name__ == '__main__':
# Correctly pass the callback function as a list
client.add_config_watchers(SERVICE_NAME, "pai-eas", [callback])
# Fetch and print naming instance details
b = client.list_naming_instance(SERVICE_NAME, None, None, GROUP_NAME, True)
print(b)
if b"hosts":
print("ip", b["hosts"][0]["ip"])
ip = b["hosts"][0]["ip"]
port = b["hosts"][0]["port"]
# Replace the host with the IP address and port from your invocation information in the console.
url = f"http://{ip}:{port}/api/predict/xxxxxxx"
print(url)
# TODO: Invoke the service by using the URL.
Java
Adicionar a dependência Maven
<dependency>
<groupId>com.alibaba.nacos</groupId>
<artifactId>nacos-client</artifactId>
<version>2.3.2</version>
</dependency>
Chamar o service
package test;
import java.util.concurrent.Executor;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import com.alibaba.nacos.api.NacosFactory;
import com.alibaba.nacos.api.exception.NacosException;
import com.alibaba.nacos.api.naming.NamingService;
import com.alibaba.nacos.api.naming.listener.AbstractEventListener;
import com.alibaba.nacos.api.naming.listener.Event;
import com.alibaba.nacos.api.naming.listener.EventListener;
import com.alibaba.nacos.api.naming.listener.NamingEvent;
import com.alibaba.nacos.api.naming.pojo.Instance;
public class NacosTest {
public static void main(String[] args) {
try {
String serverAddr = "yourNacosEndpoint:8848";
NamingService namingService = NacosFactory.createNamingService(serverAddr);
ExecutorService executorService = Executors.newFixedThreadPool(1);
EventListener serviceListener = new AbstractEventListener() {
@Override
public void onEvent(Event event) {
if (event instanceof NamingEvent) {
System.out.println(((NamingEvent) event).getServiceName());
System.out.println(((NamingEvent) event).getGroupName());
}
}
@Override
public Executor getExecutor() {
return executorService;
}
};
namingService.subscribe("your_service", "pai-eas", serviceListener);
Instance instance = namingService.selectOneHealthyInstance("your_service", "pai-eas");
System.out.println(instance.getIp());
System.out.println(instance.getPort());
// Replace the host with the IP address and port from your invocation information in the console.
String url = String.format("http://%s:%d/api/predict/xxxxxxx", instance.getIp(), instance.getPort());
System.out.println(url);
// TODO: Invoke the service by using the URL.
} catch (NacosException e) {
e.printStackTrace();
}
}
}