O ack-kube-queue é o componente de fila de jobs da suíte de IA cloud nativa. Desenvolvido com base na fila de jobs Kube Queue e integrado ao agendador e ao sistema de cotas, ele oferece gerenciamento de filas, agendamento por prioridade e cotas elásticas. Isso melhora a eficiência do gerenciamento e o desempenho do agendamento de workloads de IA/ML e em lote no Kubernetes.
Visão geral
Os clusters do Kubernetes costumam executar uma grande quantidade de workloads e pods do tipo job, como workloads de IA/ML e workloads em lote. Esse volume sobrecarrega o agendador, reduz o desempenho do agendamento e pode fazer com que os jobs enviados por diferentes usuários interfiram uns nos outros. Desenvolvido com base na fila de jobs Kube Queue e integrado ao agendador e ao sistema de cotas, o ack-kube-queue gerencia esses workloads com os seguintes recursos:
Gerenciamento de filas: Permite que o administrador do sistema gerencie filas de jobs usando filas personalizadas, o que torna o enfileiramento mais flexível. Para obter instruções, consulte Gerencie filas de jobs com o ack-kube-queue.
Agendamento por prioridade: Retira jobs da fila por prioridade no modo de agendamento de prioridade estrita e fornece agendamento justo em várias filas para jobs sob diferentes cotas.
Filas de bloqueio: Oferece suporte ao modo de fila de bloqueio, com uma configuração global por meio de variáveis de ambiente e uma opção de ativação por fila.
Cotas elásticas: Integra-se ao sistema de cotas para otimizar automaticamente o gerenciamento de workloads e do ResourceQuota, garantindo a utilização total dos recursos do cluster.
Reenfileiramento: Recupera jobs cujos pods permanecem não agendáveis por muito tempo e os devolve à fila para reagendamento. Isso evita que os jobs ocupem cotas sem serem executados e melhora a utilização das cotas.
Notas de uso
O componente ack-kube-queue pode ser instalado apenas em clusters ACK Pro, ACK Serverless Pro cluster ou ACK Edge Pro cluster, e a versão do Kubernetes do cluster deve ser 1,18 ou posterior.
Ao implantar a suíte de IA cloud nativa, instale o ack-kube-queue ou adicione-o posteriormente a um cluster em que a suíte já esteja implantada. Após a instalação, você pode usar os recursos fornecidos pelo ack-kube-queue, como filas de bloqueio e agendamento de prioridade estrita. Para obter mais informações sobre como instalar e usar o ack-kube-queue, consulte Gerencie workloads de IA/ML com a fila de jobs ack-kube-queue.
Notas de versão
Janeiro de 2024
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.3.4 |
Correção do bloqueio de cabeça de fila (head-of-line blocking) que ocasionalmente ocorre no modo de fila de bloqueio caso você exclua o primeiro job da fila. |
4 de janeiro de 2024 |
Nenhum |
Dezembro de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.3.3 |
A definição global de filas de bloqueio por meio de variáveis de ambiente atualiza o modo de fila de bloqueio para todas as filas. |
26 de dezembro de 2023 |
Nenhum |
Setembro de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.3.1 |
Correção de erros de fila que ocorrem ocasionalmente durante a exclusão do QueueUnit. |
13 de setembro de 2023 |
Nenhum |
|
v0.3.0 |
As informações de sequência de jobs agora podem ser recuperadas das filas. |
13 de setembro de 2023 |
Nenhum |
Agosto de 2023
Versão | Alterações | Data da alteração | Impacto da alteração |
v0.2.1 | Correção de um problema em que o | 31 de agosto de 2023 | Nenhum |
v0.2.0 |
| 29 de agosto de 2023 | Nenhum |
Julho de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.13 |
Correção de um problema em que o componente pode parar de funcionar devido a um campo |
26 de julho de 2023 |
Nenhum |
|
v0.1.12 |
Adição de uma opção por fila para que você ative ou desative o recurso de fila de bloqueio. Você pode desativar o recurso de reenfileiramento definindo o parâmetro de tempo limite na extensão como |
20 de julho de 2023 |
Nenhum |
Junho de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.11 |
O status do QueueUnit é sincronizado quando os jobs são atualizados. |
30 de junho de 2023 |
Nenhum |
|
v0.1.10 |
Suporte a nós baseados em ARM para componentes como kube-queue-controller, tf-operator-extension e pytorch-operator-extension. |
14 de junho de 2023 |
Nenhum |
Maio de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.9 |
Adição de reenfileiramento para jobs pendentes há muito tempo e agendamento justo em várias filas. Se os pods de um job permanecerem não agendáveis por muito tempo devido a restrições de agendamento com reconhecimento de topologia, restrições de afinidade ou fragmentos de recursos, o ack-kube-queue recupera o job e o devolve à fila para reagendamento. Isso evita que o job ocupe cotas sem ser executado e melhora a utilização das cotas. |
16 de maio de 2023 |
Nenhum |
Abril de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.8 |
Adição de suporte para o modo de fila de bloqueio e retirada da fila por prioridade estrita. Para obter mais informações, consulte Ative as filas de bloqueio e Ative o agendamento de prioridade estrita. |
25 de abril de 2023 |
Nenhum |
Março de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.6 |
Correção de um problema em que o estado de um TFJob não é exibido. |
15 de março de 2023 |
Nenhum |
Fevereiro de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.5 |
Correção de um problema em que o ack-kube-queue ocasionalmente falha ao excluir jobs. |
28 de fevereiro de 2023 |
Nenhum |
|
v0.1.4 |
Correção de um problema em que as informações de Used de um QueueUnit são ocasionalmente perdidas após o QueueUnit ser retirado da fila. |
14 de fevereiro de 2023 |
Nenhum |
Janeiro de 2023
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.3 |
Correção de um problema em que o ack-kube-queue ocasionalmente perdia QueueUnits. |
12 de janeiro de 2023 |
Nenhum |
|
v0.1.2 |
Correção de um problema em que o ack-kube-queue ocasionalmente não conseguia retirar jobs da fila por muito tempo. |
12 de janeiro de 2023 |
Nenhum |
|
v0.1.1 |
Adição de suporte para a versão com várias filas. Jobs sob diferentes cotas são enviados para filas separadas para evitar congestionamento. |
10 de janeiro de 2023 |
Nenhum |
Outubro de 2022
|
Versão |
Alterações |
Data da alteração |
Impacto da alteração |
|
v0.1.0 |
Adição do componente. Esta é a versão inicial. |
15 de outubro de 2022 |
Versão inicial. |