Platform For AI:Serviço de inferência confidencial

1. Preparar o modelo (opcional)

Utilize o ModelScope para baixar o modelo Qwen2.5-3B-Instruct. É necessário Python 3.9 ou superior.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

O modelo será baixado para o diretório ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/.

2. Criptografar o modelo

O PAI-EAS suporta os dois métodos de criptografia a seguir. Este exemplo utiliza Sam.

• Gocryptfs: criptografia AES-256-GCM compatível com o padrão de código aberto Gocryptfs.

• Sam: formato de criptografia de modelos de IA confiáveis da Alibaba Cloud que impede o uso não autorizado e a adulteração de licenças.

3. Fazer upload do modelo

Modelos criptografados aceitam diversos backends de armazenamento. O EAS monta o modelo descriptografado na instância de serviço durante a implantação. Para mais informações, consulte Storage mounts.

Este exemplo utiliza o Object Storage Service (OSS). Siga as instruções em Console quick start para criar um bucket e um diretório chamado qwen-encrypted, por exemplo, oss://examplebucket/qwen-encrypted/. Para arquivos de modelo grandes, utilize ossbrowser para fazer upload do modelo criptografado para o diretório.

A listagem a seguir mostra o resultado para um modelo criptografado com Sam.

Com Gocryptfs, os nomes dos arquivos também são criptografados e aparecem como texto ilegível.

Após a conclusão do upload, o diretório qwen-encrypted/ deve conter os seguintes arquivos:

• Shards de pesos do modelo: model-00001-of-00002.safetensors (3,696 GB), model-00002-of-00002.safetensors (2,052 GB) e arquivo de índice model.safetensors.index.json

• Arquivos de configuração: config.json, configuration.json, generation_config.json

• Arquivos do tokenizador: tokenizer.json, tokenizer_config.json, merges.txt, vocab.json

• Licença de criptografia: sam.lic

• Outros: LICENSE, README.md

4. Configurar o serviço de atestação e fazer upload da chave

Hospede a chave de descriptografia do modelo no serviço de atestação remota. Esse serviço de validação, gerenciado pelo usuário, verifica os ambientes de execução tanto do modelo quanto do serviço de inferência. A chave de descriptografia do modelo é injetada, e o modelo é descriptografado e montado, somente após a confirmação de que o ambiente de implantação do modelo EAS atende ao nível de confiança esperado.

Atualmente, o EAS suporta um serviço de atestação remota Trustee autogerenciado hospedado na Alibaba Cloud. Implante o serviço de atestação remota em um cluster ACK Serverless para validar os ambientes de implantação e inferência, e utilize o KMS para hospedar a chave de descriptografia. Siga as etapas abaixo:

1. Crie uma instância KMS como backend de armazenamento de chaves.

   1. Acesse o console KMS. No painel de navegação à esquerda, escolha Resource > Instances. Na aba Software Key Management, crie e ative uma instância. Ao ativar a instância, selecione a mesma Virtual Private Cloud (VPC) do cluster ACK. Para mais informações, consulte Purchase and enable a KMS instance.

      A ativação leva cerca de 10 minutos.

   2. Após a ativação da instância, no painel de navegação à esquerda, escolha Resource > Keys. Na página Keys, crie uma chave mestra de cliente (CMK) para a instância. Para mais informações, consulte Step 1: Create a software key.

   3. No painel de navegação à esquerda, escolha Application Access > Multi-Cloud Access (formerly AAP). Na aba Application Access, crie um ponto de acesso de aplicação para a instância. Em Scope, selecione a instância KMS criada. Para mais detalhes de configuração, consulte Method 1: Quick creation.

      Após a criação do ponto de acesso da aplicação, seu navegador baixará automaticamente um arquivo ClientKey***.zip. Ao extrair o arquivo compactado, ele conterá:

      • Credential (ClientKeyContent): o nome padrão do arquivo é clientKey_****.json.

      • Credential Password (ClientKeyPassword): o nome padrão do arquivo é clientKey_****_Password.txt.

   4. Acesse a página Resource > Instances e clique em Details ao lado de Instance CA Certificate para exportar o arquivo de certificado de chave pública PrivateKmsCA_***.pem.

2. Crie um cluster ACK Serverless e instale o componente csi-provisioner.

   1. Acesse a página Create cluster para criar um cluster ACK Serverless. Para mais informações, consulte Create an ACK Serverless cluster. Parâmetros principais:

      1. Cluster configurations: configure os seguintes parâmetros e clique em Next: Component configurations.

         Parâmetro	Descrição
         Download	Selecione Use Existing e marque a caixa de seleção VPC. Isso é necessário para baixar a imagem do Trustee.
         Configure SNAT for VPC	Garanta que existam pelo menos dois vSwitches na VPC. Caso contrário, não será possível expor um ALB público.

      2. Component configurations: configure os seguintes parâmetros e clique em Next: Confirm configuration.

         Parâmetro	Descrição
         vSwitch	Selecione Service Discovery.
         CoreDNS	Selecione Ingress. Para a origem da instância do gateway nativo da nuvem ALB, selecione New e escolha dois vSwitches.

      3. Confirm configuration: confirme as informações de configuração e os termos de serviço e clique em ALB Ingress.

   2. Após a criação do cluster, instale o componente csi-provisioner (Managed). Para mais informações, consulte Manage components.

3. Implante o serviço de atestação remota Trustee no cluster ACK.

   1. Conecte-se ao cluster pela rede pública ou por uma rede interna. Para mais informações, consulte Connect to a cluster.

   2. Faça upload da credencial KMS (clientKey_****.json), da senha (clientKey_****_Password.txt) e do certificado CA (PrivateKmsCA_***.pem) para o ambiente do cluster ACK Serverless. Em seguida, execute o comando abaixo para implantar o Trustee com o KMS como backend de chaves.

      # Install the plugin
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.7.6
      
      # Set the region of the ACK cluster, for example, cn-hangzhou
      export REGION_ID=cn-hangzhou
      
      # Information about the KMS instance that you exported
      # Replace with your KMS instance ID
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # Replace with the path to your KMS instance application identity credential
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # Replace with the path to your KMS instance credential password
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # Replace with the path to your KMS instance CA certificate
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      Nota

      O primeiro comando no bloco de código anterior, helm plugin install..., pode levar muito tempo para concluir. Se a instalação falhar, execute helm plugin uninstall cm-push para desinstalar o plugin e, em seguida, execute novamente o comando de instalação do plugin.

      Exemplo de saída:

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. Obtenha o endpoint do serviço Trustee.

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
      echo ${TRUSTEE_URL}

      Exemplo de saída: http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api.

   4. Teste a conectividade do serviço Trustee.

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.4.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      Uma conexão bem-sucedida retorna uma saída semelhante a:

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Configure uma lista de permissões de rede para o Trustee.

   Nota

   Esta configuração permite que o ambiente de implantação de modelos do PAI-EAS acesse ativamente o serviço de atestação remota e realize verificações de segurança do ambiente.

   1. Acesse o console ALB, crie um grupo de políticas de controle de acesso e adicione os endereços IP ou intervalos de endereços que precisam acessar o Trustee. Para mais informações, consulte Access control. Adicione os seguintes intervalos de endereços:

      • O endereço IP público da VPC onde o serviço EAS está implantado.

      • O endereço IP de saída do cliente de inferência.

   2. Execute o seguinte comando para obter o ID da instância ALB usada pela instância Trustee.

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} frontend-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      Saída esperada:

      alb-llcdzbw0qivhk0****

   3. No painel de navegação à esquerda do console ALB, escolha Create Kubernetes Cluster > ALB. Localize a instância ALB da etapa anterior na região do seu cluster e clique em seu ID para ir à página de detalhes. Na parte inferior da página, na seção Instances, desative o Instance Information.

   4. Mude para a aba Configuration Read-only Mode. Na coluna de controle de acesso do listener alvo, ative o controle de acesso e defina a lista de permissões como o grupo de políticas de controle de acesso criado.

5. Crie um segredo para armazenar a chave de descriptografia do modelo.

   O Trustee armazena a chave de descriptografia do modelo no KMS. A chave é liberada apenas após a atestação bem-sucedida.

   Acesse o console KMS. No painel de navegação à esquerda, escolha Listener > Resource. Na aba Secrets, clique em Generic Secrets. Os parâmetros principais estão descritos abaixo:

   • Secret name: um nome personalizado usado para indexar a chave, por exemplo, model-decryption-key.

   • Secret value: insira a chave usada para criptografar o modelo. Por exemplo, 0Bn4Q1wwY9fN3P. Use sua chave real.

   • Encryption key: selecione a chave mestra de cliente (CMK) criada.

6. Faça login na interface de gerenciamento do Trustee para visualizar o histórico de acesso às chaves.

   1. Obtenha o endereço da interface de gerenciamento frontend do Trustee.

      kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}'

      Acesse o endereço em um navegador.

   2. Obtenha a chave privada para fazer login na interface de gerenciamento frontend do Trustee.

      kubectl get secret kbs-auth-keypair -o jsonpath="{.data.private\.key}" | base64 -d

      Cole a chave na interface para fazer login.

   3. Na Trustee Gateway Management Platform, clique em Audit log no painel de navegação à esquerda. Em seguida, clique na Resource audit interface para visualizar o histórico de acesso à chave de descriptografia do modelo.