Platform For AI:Usar recursos públicos

Instâncias spot

Uma instância spot é uma instância preemptível que você pode adquirir definindo um preço máximo, oferecendo uma forma econômica de obter recursos de computação.

• Benefícios

  • Custo-benefício: O principal benefício das instâncias spot é o preço baixo. O preço flutua em tempo real com base na oferta e demanda, e geralmente é muito inferior ao preço das instâncias padrão.

  • Faixas de preço: As instâncias spot estão disponíveis com ou sem período de proteção. Os preços, do menor para o maior, são: preço de uma instância spot sem período de proteção < preço de uma instância spot com período de proteção < preço de uma instância padrão.

• Condições de aquisição

  • Uma instância spot só pode ser adquirida quando o estoque é suficiente e o preço do seu lance não é inferior ao preço de mercado atual.

• As condições de liberação dependem das configurações de período de proteção da instância spot.

  • Com período de proteção de uma hora: A instância é executada por pelo menos uma hora. Durante esse período de proteção, a instância não é liberada. Após o término do período de proteção, a instância pode ser liberada automaticamente.

  • Sem período de proteção: O uso contínuo da instância não é garantido. A instância pode ser liberada automaticamente a qualquer momento devido a mudanças no estoque ou nos preços de mercado.

• Método de faturamento

  • As instâncias spot são faturadas na modalidade de pagamento conforme o uso, com cobranças calculadas com base no preço de mercado em tempo real.

Múltiplos tipos de instância

Se você especificar apenas um único tipo de instância ao implantar um serviço, a implantação do serviço pode sofrer atrasos significativos devido ao estoque insuficiente desse tipo de instância. Para resolver esse problema, o EAS permite selecionar vários tipos de instância durante a implantação. Isso reduz consideravelmente os atrasos de implantação causados pela escassez de um único tipo de instância.

• Ordem de uso das instâncias

  Ao criar ou atualizar um serviço, você pode especificar vários tipos de instância, como instâncias spot e instâncias padrão. Durante a implantação, o sistema tenta usar essas instâncias na ordem especificada. Se o lance para uma instância spot falhar ou se um tipo de instância estiver fora de estoque, o sistema tenta automaticamente o próximo tipo disponível na lista.

• Liberação e realocação de recursos

  Se uma instância spot configurada for recuperada devido a mudanças no estoque ou no preço de mercado, o EAS provisiona automaticamente uma nova instância usando o recurso disponível de maior prioridade da sua configuração para garantir a continuidade do serviço.

Disco do sistema

O PAI fornece um disco do sistema de 30 GiB gratuito para cada nó de máquina que utiliza recursos públicos. Se você precisar de mais capacidade, será faturado pela capacidade adicional na modalidade de pagamento conforme o uso. Para mais informações sobre faturamento, consulte Billing of Elastic Algorithm Service (EAS).

Configuração do console

Esta seção usa a implantação personalizada como exemplo.

1. Acesse o PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).

   • Criar um serviço: Na aba Inference Service, clique em Deploy Service e selecione Custom Model Deployment > Custom Deployment.

   • Atualizar um serviço: Na aba Inference Service, encontre o serviço de destino na lista de serviços e clique em Update na coluna Actions.

2. Na seção Resource Information, selecione Public Resources para Resource Type. Em seguida, clique em Resource Specification e selecione o tipo de instância desejado na lista.

3. (Opcional) Ative o recurso de instância spot. Ative a chave Bidding, defina um preço de lance e selecione um período de proteção para a instância spot.

   Nota

   • A chave Bidding está disponível apenas para tipos de instância que suportam instâncias spot.

   • Ao usar instâncias spot, configure também instâncias padrão para evitar falhas na implantação do serviço caso o seu lance para uma instância spot não seja bem-sucedido.

   Para Spot Protection Period, selecione No guaranteed protection period (o uso contínuo não é garantido; a instância pode ser liberada automaticamente devido a flutuações de estoque ou mudanças no preço de mercado) ou Retain the instance for 1 hour (fornece um período de proteção de uma hora).

4. (Opcional) Configure múltiplos tipos de instância. Clique em + Add para configurar tipos de instância adicionais. Você pode adicionar até 10 especificações de recursos.

5. Configure o tamanho do disco do sistema.

   Por exemplo, defina como 40 GiB. Um grupo de recursos públicos fornece um disco do sistema de 30 GiB gratuito. Se você precisar de mais capacidade, será faturado pelo uso real na modalidade de pagamento conforme o uso.

Configuração JSON

Após configurar os parâmetros no console, você pode visualizar a configuração JSON gerada na seção Service Configuration. Você também pode editar os parâmetros diretamente no arquivo JSON.

O bloco de código a seguir mostra um exemplo dos parâmetros JSON para implantação de recursos:

{
    "metadata": {
        "name": "test",
        "instance": 1,
        "workspace_id": "your-workspace-id",
        "disk": "40Gi"
    },
    "cloud": {
        "computing": {
            "instances": [
                {
                    "type": "ecs.c8i.2xlarge",
                    "spot_price_limit": 1
                },
                {
                    "type": "ecs.c8i.xlarge"
                }
            ],
            "disable_spot_protection_period": true
        }
    },
    "containers": [
        {
            "image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
            "script": "python app.py",
            "port": 8000
        }
    ]
}

Recursos públicos insuficientes

Ao implantar modelos grandes e populares, os recursos públicos podem ser insuficientes. Nesse caso, você pode usar as seguintes soluções:

• Mudar de região. A disponibilidade de recursos varia por região, portanto, mudar para uma região diferente pode ajudar a encontrar recursos públicos disponíveis.

  Importante

  Você pode mudar para a região Ulanqab para usar Lingjun Spot Resources. Nenhuma aprovação de lista de permissões é necessária. Note que esses são recursos spot e podem ser preemptados. Defina o preço do seu lance com cuidado.

• Use an EAS resource group. Alguns tipos de instância não estão disponíveis como recursos públicos. Você pode acessar EAS Subscription Dedicated Resources para comprar recursos dedicados do EAS.

  Importante

  O faturamento de recursos dedicados na modalidade de pagamento conforme o uso começa imediatamente após a compra, independentemente de serem usados para implantar um serviço. Exclua imediatamente os recursos dedicados não utilizados para evitar cobranças desnecessárias.

**Ainda posso criar um serviço do EAS através do OpenAPI quando DescribeMachineSpec retorna um StockStatus de ClosedWithStock?**

Sim. ClosedWithStock apenas indica que o tipo de instância tem estoque limitado; isso não bloqueia uma chamada CreateService. Você pode configurar vários tipos de instância em cloud.computing.instances, e o sistema seleciona automaticamente um tipo de instância com estoque suficiente para criar o serviço, conforme descrito em Configuração JSON. Se o estoque continuar insuficiente, você também pode mudar de região ou comprar recursos dedicados do EAS, conforme descrito anteriormente nesta seção.