gerencie resource queues - E-MapReduce: Central de Documentação do Alibaba Cloud

Cada workspace inclui duas filas padrão, dev_queue e root_queue, para execute jobs. Caso precise isolar e gerencie recursos, crie filas de recursos adicionais. Este tópico descreve como gerencie filas de recursos.

Pré-requisitos

Você já criou um workspace. Para mais informações, consulte gerencie workspaces.

crie uma fila

Nota

Adicione filas para isolar e gerencie recursos. Se não adicionar novas filas de recursos, use as filas padrão dev_queue e root_queue para execute jobs. Ao adquirir uma cota de assinatura, o sistema cria automaticamente a fila subscription_queue.

acesse a página Resource Management.
1. Faça login no console do E-MapReduce.
2. No painel de navegação, escolha EMR Serverless > Spark.
3. Na página Spark, clique em nome do workspace de destino.
4. Na página EMR Serverless Spark, clique em Resource Management no painel de navegação.
selecione a aba CPU ou GPU dependendo do tipo de fila que deseja crie e, em seguida, clique em Create Queue na aba Queues.

Na caixa de diálogo Create Queue, configure os parâmetros de acordo com o tipo de fila e clique em OK.

CPU

Na aba CPU, configure os seguintes parâmetros de acordo com o método de faturamento do seu workspace.

Pagamento conforme o uso

Parâmetro	Descrição
Queue Name	O nome da fila deve ser exclusivo dentro do workspace. Nota Não é possível alterar o Queue Name após a criação da fila.
Auto Maximum Concurrency (CU)	Especifica o número máximo de unidades de computação (CUs) para execução simultânea na fila. Com base na configuração das suas instâncias de sessão, defina este valor como no mínimo 3 para a fila de implantação selecionada. A soma da concorrência máxima automática de todas as filas não pode exceder a cota de pagamento conforme o uso do workspace. Se a cota de pagamento conforme o uso for insuficiente, ajuste-a primeiro para o workspace. Para mais informações, consulte gerencie workspaces. Para ajustar o limite de concorrência de outras filas, consulte edite a queue.
Application Environment	Development: Recomendado para workloads não críticos, como desenvolvimento e testes. Production: Recomendado para workloads críticos para o negócio que exigem um service estável, eficiente e seguro. selecione Development e Production para compartilhar a fila entre os ambientes de desenvolvimento e de produção.
Description	Observações sobre a fila. A descrição pode ter até 256 caracteres.

Assinatura

Parâmetro	Descrição
Queue Name	O nome da fila deve ser exclusivo dentro do workspace. Nota Não é possível alterar o Queue Name após a criação da fila.
Fixed Resource Quota (CU)	O número máximo de CUs que você pode alocar depende da cota de assinatura restante no workspace. Caso a cota seja insuficiente, adote uma das seguintes medidas: Ajuste a alocação de recursos de outras filas. Para mais informações, consulte edite a queue. Adquira cota de assinatura adicional. Para mais informações, consulte Compute Resources (Subscription).
Application Environment	Development: Recomendado para workloads não críticos, como desenvolvimento e testes. Production: Recomendado para workloads críticos para o negócio que exigem um service estável, eficiente e seguro.

Faturamento híbrido

Parâmetro	Descrição
Queue Name	O nome da fila deve ser exclusivo dentro do workspace. Nota Não é possível alterar o Queue Name após a criação da fila.
Auto Maximum Concurrency (CU)	Especifica o número máximo de unidades de computação (CUs) para execução simultânea na fila. Com base na configuração das suas instâncias de sessão, defina este valor como no mínimo 3 para a fila de implantação selecionada. Para ajustar o limite de concorrência de outras filas, consulte edite a queue.
Fixed Resource Quota (CU)	A cota de assinatura restante no workspace determina o número máximo de CUs que você pode alocar. Se a cota for insuficiente, ajuste a alocação de recursos de outras filas. Para mais informações, consulte edite a queue.
Application Environment	Development: Recomendado para workloads não críticos, como desenvolvimento e testes. Production: Recomendado para workloads críticos para o negócio que exigem um service estável, eficiente e seguro.

GPU

selecione a aba GPU e configure os seguintes parâmetros. Após adquirir uma cota de GPU de assinatura pela primeira vez, o sistema cria automaticamente a fila gpu_<spec>_queue. Ao adicionar uma cota de GPU de pagamento conforme o uso pela primeira vez, o sistema inicializa as filas gpu_dev_queue e gpu_root_queue na proporção de placas de 1:4.

Parâmetro	Descrição
Queue Name	O nome da fila deve ser exclusivo dentro do workspace. Nota Não é possível alterar o nome da fila após a sua criação.
Billing Type	Pagamento conforme o uso ou assinatura.
GPU (Cards) Maximum Concurrency	O número máximo de placas de GPU que a fila pode usar para processar jobs simultaneamente.
Instance Type	A limitação de tipos de instância de GPU é ativada por padrão. Quando ativada, apenas os tipos de instância de GPU no intervalo selecionado podem ser usados.
Application Environment	Development: Recomendado para workloads não críticos, como desenvolvimento e testes. Production: Recomendado para workloads críticos para o negócio que exigem um service estável, eficiente e seguro. selecione Development e Production para compartilhar a fila entre os ambientes de desenvolvimento e de produção.
Description	Observações sobre a fila.

edite uma fila

CPU

Na aba CPU, localize a fila de destino e clique em Edit Queue na coluna Actions. Na aba Resources da caixa de diálogo edite Queue, ajuste as configurações de recursos da fila e modifique o Application Environment e a Description. Não é possível alterar o nome da fila. As configurações de recursos variam de acordo com o método de faturamento do seu workspace.

Pagamento conforme o uso

Na aba Queues da página Resource Management, localize a fila de destino e clique em Edit Queue na coluna Actions.
Na caixa de diálogo Edit Queue, na aba Resources, ajuste o valor de Auto Maximum Concurrency (CU).
Clique em OK.

Assinatura

Na aba Queues da página Resource Management, localize a fila de destino e clique em Edit Queue na coluna Actions.
Na caixa de diálogo Edit Queue, na aba Resources, ajuste o valor de Fixed Resource Quota (CU).
Clique em OK.

Faturamento híbrido

Na aba Queues da página Resource Management, localize a fila de destino e clique em Edit Queue na coluna Actions.
Na caixa de diálogo Edit Queue, na aba Resources, ajuste os valores de Fixed Resource Quota (CU) e Auto Maximum Concurrency (CU).
Clique em OK.

GPU

selecione a aba GPU, localize uma fila de destino e clique em Edit Queue na coluna Actions. Na aba Resource da caixa de diálogo edite Queue, ajuste os valores de GPU (Cards) Maximum Concurrency e Instance Type e modifique o Application Environment e a Description. Não é possível alterar o nome da fila.

Nota

Regras para edite filas de GPU:

Número de placas: o valor ajustado deve ser maior ou igual ao número de placas de GPU em uso.
Tipos de instância: só é possível adicionar tipos de instância, e não removê-los.

edite permissões da fila

Na aba Queues da página Resource Management, localize uma fila de destino e clique em Edit Queue na coluna Actions.
Na caixa de diálogo Edit Queue, clique na aba Permission.
Adicione ou remova usuários e modifique suas permissões.
Clique em OK.

exclua uma fila

Importante

Não é possível exclua a root_queue.
Antes de exclua uma fila de recursos, certifique-se de que nenhum job em execução ou pendente no workspace esteja associado a ela. A exclusão de uma fila em uso afeta todos os jobs associados.

selecione a aba CPU ou GPU de acordo com o tipo da fila de destino, localize a fila na aba Queues e clique em Delete na coluna Actions.
Na caixa de diálogo Delete Queue, clique em Delete Queue.

Referências

Para crie e execute workflows, consulte gerencie workflows.
Para gerencie permissões, consulte gerencie users and roles.
Para gerencie sessões SQL, consulte gerencie SQL sessions.