Elastic GPU Service:Build a secure LLM inference environment on a heterogeneous confidential computing instance

1. Baixe um modelo

Um serviço de atestação remota controla o acesso à chave de descriptografia gerenciada pelo KMS. Criptografe seu modelo em um ambiente local ou confiável. Este exemplo usa o Qwen2.5-3B-Instruct.

Use o ModelScope para baixar o modelo Qwen2.5-3B-Instruct. É necessário ter o Python 3.9 ou superior instalado.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

O modelo será baixado para o diretório ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/.

2. Criptografe o modelo

Dois métodos de criptografia são suportados. Este tópico usa o Gocryptfs como exemplo.

• Gocryptfs: Padrão de criptografia baseado em AES-256-GCM, compatível com o padrão open source Gocryptfs.

• Sam: Formato de criptografia de modelos de IA confiáveis do Alibaba Cloud. Protege a confidencialidade do modelo e impede que o conteúdo da licença seja adulterado ou utilizado ilegalmente.

3. Faça o upload do modelo

Prepare um bucket do OSS na mesma região da instância heterogênea. Carregue o modelo criptografado no Alibaba Cloud OSS para que ele possa ser baixado e implantado posteriormente.

Tomando o OSS como exemplo, crie um bucket e um diretório chamado qwen-encrypted, como oss://examplebucket/qwen-encrypted/. Para mais informações, consulte Início rápido para o console. Devido ao tamanho grande do arquivo de modelo, recomendamos o uso do ossbrowser para fazer o upload do modelo criptografado para este diretório.

1. Crie uma instância do KMS do Alibaba Cloud como backend de armazenamento de chaves

1. Acesse o console do KMS. No painel de navegação à esquerda, escolha Resource > Instances. Na aba Software Key Management, crie e ative uma instância. Ao ativar a instância, selecione a mesma Virtual Private Cloud (VPC) do cluster ACK. Para mais informações, consulte Comprar e ativar uma instância do KMS.

   A ativação leva cerca de 10 minutos.

2. Após a ativação da instância, no painel de navegação à esquerda, escolha Resource > Keys. Na página Keys, crie uma chave mestra do cliente (CMK) para a instância. Para mais informações, consulte Etapa 1: Criar uma chave de software.

3. No painel de navegação à esquerda, escolha Application Access > Multi-Cloud Access (formerly AAP). Na aba Application Access, crie um ponto de acesso de aplicativo para a instância. Em Scope, selecione a instância do KMS que você criou. Para mais detalhes de configuração, consulte Método 1: Criação rápida.

   Após a criação do ponto de acesso do aplicativo, seu navegador baixará automaticamente um arquivo *ClientKey**.zip. Este arquivo contém:

   • Credential (ClientKeyContent): O nome de arquivo padrão é clientKey_****.json.

   • Credential Password (ClientKeyPassword): O nome de arquivo padrão é clientKey_****_Password.txt.

4. Acesse a página Resource > Instances e clique em no nome da instância do KMS. Na página Details, clique em em Instance CA Certificate ao lado de Download para exportar o arquivo de certificado de chave pública PrivateKmsCA_***.pem.

2. Crie um cluster de serviço ACK e instale o componente csi-provisioner

1. Acesse a página Create cluster para criar um cluster ACK Serverless. Para mais informações, consulte Criar um cluster ACK Serverless. Parâmetros principais:

   1. Cluster configurations: Configure os seguintes parâmetros e clique em em Next: Component configurations.

      Parâmetro	Descrição
      VPC	Selecione Use Existing e marque a caixa de seleção Configure SNAT for VPC. Isso é necessário para baixar a imagem do Trustee.
      vSwitch	Garanta que existam pelo menos dois vSwitches na VPC. Caso contrário, não será possível expor um ALB público.

   2. Component configurations: Configure os seguintes parâmetros e clique em em Next: Confirm configuration.

      Parâmetro	Descrição
      Service Discovery	Selecione CoreDNS.
      Ingress	Selecione ALB Ingress. Para a origem da instância do gateway nativo da nuvem ALB, selecione New e escolha dois vSwitches.

   3. Confirm configuration: Confirme as informações de configuração e os termos de serviço e, em seguida, clique em em Create Kubernetes Cluster.

2. Após a criação do cluster, instale o componente csi-provisioner (Managed). Para mais informações, consulte Gerenciar componentes.

3. Implante o serviço de atestação remota Trustee no cluster ACK

1. Conecte-se ao cluster pela rede pública ou por uma rede interna. Para mais informações, consulte Conectar-se a um cluster.

2. Carregue a credencial do KMS (clientKey_****.json), a senha (clientKey_****_Password.txt) e o certificado CA (PrivateKmsCA_***.pem) para o ambiente do cluster ACK Serverless. Em seguida, execute o comando a seguir para implantar o Trustee com o KMS como backend de chaves.

   # Install the plugin
   helm plugin install https://github.com/AliyunContainerService/helm-acr
   
   helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
   helm repo update
   
   export DEPLOY_RELEASE_NAME=trustee
   export DEPLOY_NAMESPACE=default
   export TRUSTEE_CHART_VERSION=1.7.6
   
   # Set the region of the ACK cluster, for example, cn-hangzhou
   export REGION_ID=cn-hangzhou
   
   # Information about the KMS instance that you exported
   # Replace with your KMS instance ID
   export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
   # Replace with the path to your KMS instance application identity credential
   export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
   # Replace with the path to your KMS instance credential password
   export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
   # Replace with the path to your KMS instance CA certificate
   export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
   
   helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
     --version ${TRUSTEE_CHART_VERSION} \
     --set regionId=${REGION_ID} \
     --set kbs.aliyunKms.enabled=true \
     --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
     --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
     --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
     --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
     --namespace ${DEPLOY_NAMESPACE}

   Nota

   O comando helm plugin install... pode ser lento. Se falhar, execute helm plugin uninstall cm-push e tente novamente.

   Exemplo de saída:

   NAME: trustee
   LAST DEPLOYED: Tue Feb 25 18:55:33 2025
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

3. Obtenha o endpoint do serviço Trustee.

   export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
   echo ${TRUSTEE_URL}

   Exemplo de saída: http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api.

4. Teste a conectividade do serviço Trustee.

   cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
   {
       "version":"0.4.0",
       "tee": "tdx",
       "extra-params": "foo"
   }
   EOF

   Uma conexão bem-sucedida retorna uma saída semelhante a:

   {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Crie um segredo para armazenar a chave de descriptografia do modelo

A chave de descriptografia do modelo é armazenada no KMS e gerenciada pelo Trustee. A chave torna-se acessível somente após o serviço de atestação remota verificar o ambiente de destino.

Acesse o console do Key Management Service. No painel de navegação à esquerda, escolha Resource > Secrets. Na aba Generic Secrets, clique em em Create Generic Secret. Observe as seguintes configurações de chave:

• Secret Name: Insira um nome personalizado para o segredo. Este nome serve como índice para a chave. Por exemplo, model-decryption-key.

• Set Secret Value: Insira a chave utilizada para criptografar o modelo. Por exemplo, 0Bn4Q1wwY9fN3P. Use sua chave real.

• Encryption CMK: Selecione a chave mestra criada na etapa anterior.

1. Configure as permissões de acesso ao OSS

Durante a implantação, a instância acessa o bucket do OSS que armazena o texto cifrado do modelo e solicita ao Trustee a chave de descriptografia. Conceda à instância acesso a ambos os serviços.

1. Faça login no console do OSS.

2. Clique em em Buckets e, em seguida, clique em no nome do bucket desejado.

3. No painel de navegação à esquerda, escolha Permission Control > Bucket Policy.

4. Na aba Bucket Policy, clique em em Authorize. No painel exibido, conceda a permissão Bucket ao endereço IP público da instância de computação confidencial heterogênea.

5. Clique em em OK.

2. Configure as permissões de acesso ao Trustee

• Acesse o console do Application Load Balancer (ALB), selecione Access Control à esquerda. Em seguida, clique em em Create ACL e adicione os endereços IP ou blocos CIDR que precisam acessar o Trustee como entradas de IP. Para mais informações, consulte Controle de acesso.

  Adicione os seguintes endereços ou intervalos de endereços:

  • O endereço IP público da VPC vinculada durante a implantação do serviço heterogêneo.

  • O endereço IP de saída do cliente de inferência.

• Execute o comando a seguir para obter o ID da instância ALB utilizada pela instância Trustee no cluster.

  kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

  A saída esperada é a seguinte:

  alb-llcdzbw0qivhk0****

• No painel de navegação à esquerda do console do ALB, escolha ALB > Instances. Na região onde o cluster está localizado, pesquise a instância ALB obtida na etapa anterior e clique em no ID da instância para acessar a página de detalhes. Na parte inferior da página, na área Instance Information, clique em em Disable Configuration Read-only Mode.

• Mude para a aba Listener, clique em em Enable na coluna Access Control da instância de listener desejada e configure a lista de permissões com o grupo de políticas de controle de acesso criado na etapa anterior.

1. Prepare o arquivo de configuração

1. Conecte-se remotamente à instância heterogênea. Para mais informações, consulte Fazer login em uma instância Linux usando o Workbench.

2. Execute o comando a seguir para abrir o arquivo de configuração ~/cai.env.

   vi ~/cai.env

3. Pressione a tecla i para entrar no modo de inserção e cole as informações de configuração preparadas no arquivo.

   # Configurations for model decryption
   TRUSTEE_URL="http://alb-xxxxxxxxx.cn-beijing.alb.aliyuncsslb.com/xxxx/" # URL of the Trustee service
   MODEL_KEY_ID="kbs:///default/aliyun/model-decryption-key" # The resource ID of the model decryption key configured on Trustee. For example, the ID for the secret named model-decryption-key is kbs:///default/aliyun/model-decryption-key
   
   # Configurations for encrypted model distribution
   MODEL_OSS_BUCKET_PATH="<bucket-name>:<model-path>" # The path of the model ciphertext stored in Alibaba Cloud OSS. For example, conf-ai:/qwen3-32b-gocryptfs/
   MODEL_OSS_ENDPOINT="https://oss-cn-beijing-internal.aliyuncs.com" # The OSS URL where the model ciphertext is stored
   # MODEL_OSS_ACCESS_KEY_ID="" # The AccessKey ID used to access the OSS bucket.
   # MODEL_OSS_SECRET_ACCESS_KEY="" # The AccessKey secret used to access the OSS bucket.
   # MODEL_OSS_SESSION_TOKEN="" # The session token used to access the OSS bucket. This is required only when you use STS credentials to access OSS.
   MODEL_ENCRYPTION_METHOD="gocryptfs" # The encryption method used. Valid values: "gocryptfs" and "sam". Default value: "gocryptfs".
   MODEL_MOUNT_POINT=/tmp/model # The mount point for the decrypted model plaintext. The model inference service can load the model from this path.
   
   # Configurations for large model service communication encryption
   MODEL_SERVICE_PORT=8080 # The TCP port used by the service. Communication on this port is transparently encrypted.
   
   # Configurations for P2P model distribution acceleration. You can ignore this by default.
   TRUSTEE_POLICY="default"
   # MODEL_SHARING_PEER="172.30.24.146 172.30.24.144"

4. Digite :wq e pressione Enter para salvar o arquivo e sair do editor.

2. Implante o serviço de inferência

1. Configure as permissões de acesso do ambiente cliente à instância de computação confidencial heterogênea e ao Trustee

O ambiente cliente acessa o serviço de inferência através do endereço IP público da instância de computação confidencial heterogênea. Adicione uma regra de grupo de segurança para permitir o acesso do cliente. O Trustee também é necessário para a atestação remota ao estabelecer um canal seguro, portanto, adicione o endereço IP público do cliente à lista de controle de acesso do Trustee.

1. Adicione uma regra ao grupo de segurança da instância de computação confidencial heterogênea para permitir o acesso do cliente. Para mais informações, consulte Gerenciar regras de grupo de segurança.

2. Adicione o endereço IP público do ambiente cliente ao controle de acesso do Trustee.

   Você já criou um grupo de políticas de controle de acesso e o adicionou à lista de permissões na Etapa 4: Configure as permissões de acesso da instância heterogênea ao OSS e ao Trustee. Portanto, não é necessário criar um novo. Basta adicionar o endereço IP público do cliente ao grupo de políticas de controle de acesso existente.

2. Implante o cliente Trusted Network Gateway na instância cliente

O Trusted Network Gateway (TNG) é um componente de rede projetado para cenários de computação confidencial. Ele atua como um processo daemon responsável por estabelecer canais de comunicação seguros e criptografar/descriptografar transparentemente o tráfego de rede de e para instâncias confidenciais, garantindo segurança de dados ponta a ponta. Além disso, permite controlar flexivelmente o processo de criptografia e descriptografia de tráfego conforme suas necessidades, sem modificar aplicativos existentes.

1. Faça login em uma instância Linux usando o Workbench.

2. Implante o cliente Trusted Network Gateway.

   Deploy using docker

   1. Instale o Docker na instância cliente. Para mais informações, consulte Instalar e usar Docker e Docker Compose.

   2. Execute o comando a seguir para implantar o cliente Trusted Network Gateway usando Docker.

      Importante

      Modifique o valor do campo as_addr para ${trsutee_url}/as/ com base no serviço Trustee implantado anteriormente.

      docker run --rm \
          --network=host \
          confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.1 \
          tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

   Deploy using a binary file

   1. Visite a página de releases do TNG no GitHub para obter o endereço de download do pacote de instalação binária compatível com a arquitetura da instância cliente.

   2. Execute o comando a seguir para baixar o arquivo binário do cliente Trusted Network Gateway. O exemplo a seguir usa tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz. Substitua pelo nome de arquivo real.

      wget https://github.com/inclavare-containers/TNG/releases/download/v2.2.1/tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz

   3. Execute o comando a seguir para descompactar o arquivo binário baixado e conceder permissões de execução ao arquivo.

      tar -zxvf tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz
      chmod +x tng

   4. Execute o comando a seguir para iniciar o cliente Trusted Network Gateway.

      Importante

      Modifique o valor do campo as_addr para ${trsutee_url}/as/ com base no serviço Trustee implantado anteriormente.

      ./tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

3. Configure o serviço de proxy HTTP para processos na instância cliente

Após a implantação, o cliente Trusted Network Gateway executa em primeiro plano e cria um serviço de proxy HTTP baseado no protocolo HTTP CONNECT em 127.0.0.1:41000. O tráfego roteado por este proxy é criptografado e enviado ao serviço vLLM através de um canal confiável.

Configure o proxy HTTP para os processos do cliente usando um dos métodos a seguir.

export http_proxy=http://127.0.0.1:41000
export https_proxy=http://127.0.0.1:41000
export ftp_proxy=http://127.0.0.1:41000
export rsync_proxy=http://127.0.0.1:41000

export all_proxy=http://127.0.0.1:41000

4. Acesse o serviço de inferência a partir da instância cliente

Acesse o serviço de inferência executando o comando curl no ambiente cliente.

1. Abra uma nova janela de terminal para a instância cliente.

2. Execute o comando a seguir para acessar o serviço de inferência.

   Nota

   • Substitua <heterogeneous_confidential_computing_instance_public_IP> no comando abaixo pelo endereço IP público da instância de computação confidencial heterogênea criada na Etapa 3: Crie uma instância de computação confidencial heterogênea.

   • O comando a seguir define a variável de ambiente all_proxy='http://127.0.0.1:41000/' antes da execução do comando curl. Isso garante que as requisições enviadas pelo comando curl sejam criptografadas pelo cliente Trusted Network Gateway e enviadas por um canal seguro.

   env all_proxy='http://127.0.0.1:41000/' \
       curl http://<heterogeneous_confidential_computing_instance_public_IP>:8080/v1/completions \
           -X POST \
           -H "Content-Type: application/json" \
           -d '{"model": "Qwen3-32B", "prompt": "Do you know the book Traction by Gino Wickman", "temperature": 0.0, "best_of": 1, "max_tokens": 132, "stream": false}'

   A saída de exemplo a seguir indica que a requisição enviada pelo cliente usando o comando curl foi criptografada pelo cliente Trusted Network Gateway e enviada por um canal seguro. O serviço de modelo de linguagem grande implantado na instância heterogênea foi acessado com sucesso.