Elastic Container Instance:Crie uma instância de contêiner elástica preemptível

Limitações

Antes de prosseguir, observe as seguintes restrições:

• As annotations entram em vigor apenas no momento da criação do pod. Adicionar ou modificar annotations em um pod existente não surte efeito.

• Para Jobs do Kubernetes, adicione as annotations em spec.template.metadata, e não no metadata de nível superior.

• Instâncias Spot exigem 2 ou mais vCPUs quando você especifica recursos por quantidade de vCPU e tamanho de memória.

Quando usar instâncias Spot

Instâncias Spot são adequadas para cargas de trabalho sem estado e tolerantes a falhas que suportam interrupções:

• Jobs de batch e big data (Spark, pipelines de ETL)

• Renderização de imagens e transcodificação de vídeo

• Computação paralela em grande escala

• Serviços web com escalabilidade horizontal

Utilize instâncias pay-as-you-go para cargas de trabalho que não toleram interrupções: ferramentas de gerenciamento de cluster, agentes de monitoramento, StatefulSets e bancos de dados.

Como funcionam as instâncias Spot

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um cluster ACK com um nó virtual

• O rótulo alibabacloud.com/eci: "true" configurado para agendamento de ECI

Para escolher um preço de lance, consulte o histórico de preços Spot usando estas operações da API do ECS:

• DescribeSpotPriceHistory — preços históricos dos últimos 30 dias

• DescribeSpotAdvice — taxa média de liberação e taxa média de desconto

Defina seu lance acima do preço médio de mercado, mas dentro de uma faixa aceitável para o seu negócio. Isso aumenta a chance de criação bem-sucedida e reduz o risco de liberação prematura.

Annotations

Adicione as seguintes annotations em spec.template.metadata.annotations no manifesto do seu pod.

Crie uma instância Spot

Todos os exemplos utilizam manifestos de Job do Kubernetes. O rótulo alibabacloud.com/eci: "true" agenda o pod em um nó virtual.

apiVersion: batch/v1
kind: Job
metadata:
  name: test
spec:
  template:
    metadata:
      labels:
        app: perl
        alibabacloud.com/eci: "true"
      annotations:
        k8s.aliyun.com/eci-use-specs: "ecs.c6.large"            # Specify an ECS instance type.
        k8s.aliyun.com/eci-spot-strategy: "SpotWithPriceLimit"  # Use a price cap.
        k8s.aliyun.com/eci-spot-price-limit: "0.25"             # Maximum hourly price.
    spec:
      containers:
      - name: pi
        image: registry.cn-shanghai.aliyuncs.com/eci_open/perl:5
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never

apiVersion: batch/v1
kind: Job
metadata:
  name: test
spec:
  template:
    metadata:
      labels:
        app: perl
        alibabacloud.com/eci: "true"
      annotations:
        k8s.aliyun.com/eci-spot-strategy: "SpotAsPriceGo"  # Bid at market price.
    spec:
      containers:
      - name: pi
        image: registry.cn-shanghai.aliyuncs.com/eci_open/perl:5
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
        resources:
          limits:
            cpu: 2000m      # 2 vCPUs
            memory: 4096Mi  # 4 GiB
      restartPolicy: Never

apiVersion: batch/v1
kind: Job
metadata:
  name: test
spec:
  template:
    metadata:
      labels:
        app: perl
        alibabacloud.com/eci: "true"
      annotations:
        k8s.aliyun.com/eci-use-specs: "2-4Gi"              # 2 vCPUs, 4 GiB (minimum 2 vCPUs).
        k8s.aliyun.com/eci-spot-strategy: "SpotAsPriceGo"  # Bid at market price.
    spec:
      containers:
      - name: pi
        image: registry.cn-shanghai.aliyuncs.com/eci_open/perl:5
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never

apiVersion: batch/v1
kind: Job
metadata:
  name: test
spec:
  template:
    metadata:
      labels:
        app: perl
        alibabacloud.com/eci: "true"
      annotations:
        k8s.aliyun.com/eci-use-specs: "2-4Gi"
        k8s.aliyun.com/eci-spot-strategy: "SpotAsPriceGo"
        k8s.aliyun.com/eci-spot-duration: "0"              # No protection period.
    spec:
      containers:
      - name: pi
        image: registry.cn-shanghai.aliyuncs.com/eci_open/perl:5
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never

apiVersion: batch/v1
kind: Job
metadata:
  name: test
spec:
  template:
    metadata:
      labels:
        app: perl
        alibabacloud.com/eci: "true"
      annotations:
        k8s.aliyun.com/eci-use-specs: "ecs.c6.large"
        k8s.aliyun.com/eci-spot-strategy: "SpotWithPriceLimit"
        k8s.aliyun.com/eci-spot-price-limit: "0.05"
        k8s.aliyun.com/eci-spot-fallback: "true"           # Fall back to pay-as-you-go.
    spec:
      containers:
      - name: pi
        image: registry.cn-shanghai.aliyuncs.com/eci_open/perl:5
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never

Monitore e trate a liberação de instâncias

# kubectl describe output
Events:
  Type     Reason            Age    From          Message
  ----     ------            ----   ----          -------
  Warning  SpotToBeReleased  3m32s  kubelet, eci  Spot ECI will be released in 3 minutes

# kubectl get events output
LAST SEEN   TYPE      REASON             OBJECT         MESSAGE
3m39s       Warning   SpotToBeReleased   pod/pi-frmr8   Spot ECI will be released in 3 minutes

# kubectl get pod output
NAME       READY   STATUS      RESTARTS   AGE
pi-frmr8   1/1     BidFailed   0          3h5m

# kubectl describe output
Status:   Failed
Reason:   BidFailed
Message:  The pod is spot instance, and have been released at 2020-04-08T12:36Z

Encerramento gracioso

Para ativar o encerramento gracioso quando o sistema recuperar uma instância Spot, adicione a annotation k8s.aliyun.com/eci-spot-release-strategy: api-evict ao seu pod. Quando um nó virtual recebe um evento SpotToBeReleased, ele chama a Eviction API do Kubernetes para remover o pod de forma graciosa, em vez de encerrá-lo imediatamente.

Quando o nó virtual recebe o evento SpotToBeReleased, a condição ContainerInstanceExpired é definida como true no pod, iniciando a sequência de remoção:

1. O nó virtual chama a Eviction API.

2. O servidor de API verifica o PodDisruptionBudget (PDB) do pod.

3. O timestamp de exclusão do pod é atualizado com o período de carência configurado. O servidor de API marca o pod para encerramento.

4. O kubelet no nó virtual inicia o encerramento gracioso.

5. O plano de controle desassocia o pod dos Endpoints e EndpointSlices. Após o término do período de carência (terminationGracePeriodSeconds), o kubelet encerra o pod forçadamente.

6. O kubelet notifica o servidor de API, que exclui o pod.

Se o pod for gerenciado por um ReplicaSet, StatefulSet, Job, SparkApplication ou um workflow configurado com definições de tolerância a falhas, o controlador cria automaticamente um pod substituto após a remoção.

Se o PDB estiver mal configurado ou se muitos pods não estiverem no estado Ready , a remoção pode estagnar. Caso a remoção não seja concluída quando a instância expirar, o sistema a liberará imediatamente, independentemente disso.

Próximos passos

• Armazene dados críticos em discos independentes ou armazenamento externo, como o Apsara File Storage NAS, para protegê-los contra a liberação de instâncias.

• Configure um PodDisruptionBudget (PDB) para controlar quantos pods podem ser removidos simultaneamente.

• Para ativar o encerramento gracioso, atualize o ack-virtual-node para a versão 2.11.0 ou posterior.