O EMR oferece um painel de métricas baseado no YARN para visualizar a utilização de recursos do cluster e avaliar a eficácia do Auto Scaling. Você também pode usar métricas históricas do YARN para configurar e otimizar regras personalizadas de Auto Scaling. Para obter definições detalhadas das métricas do YARN, consulte Métricas do YARN.
Para definições detalhadas das métricas do YARN, consulte
.
Pré-requisitos
Você criou um cluster DataLake ou Custom e selecionou o service YARN. Para mais informações, consulte Crie um cluster.
Procedimento
Método 1: Visualizar comparação de utilização de recursos do YARN
-
Acesse a página Auto Scaling.
Faça login no console do EMR on ECS.
Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.
Clique em nome do cluster desejado.
Na página exibida, clique em aba Auto Scaling.
-
A página Configure Auto Scaling exibe uma comparação da utilização de recursos do YARN.
Analise a tendência de utilização de recursos dos últimos 30 dias e compare-a com os períodos anteriores para identificar desperdícios. O sistema avalia o status atual dos recursos e sugere regras de Auto Scaling. Use essas recomendações para configurar o Auto Scaling dos grupos de nós do seu cluster. Para mais informações, consulte Crie uma política de auto scaling personalizada e Crie uma política de auto scaling gerenciada.
Método 2: Visualizar dados detalhados de métricas do YARN
-
Acesse a página Metric Monitoring.
Faça login no console do EMR on ECS.
Na barra de menu superior, selecione uma região e um grupo de recursos.
Clique em nome do cluster desejado.
Clique em Monitoring and Diagnostics na parte superior da página.
Clique em aba Metric Monitoring.
Na lista suspensa Dashboard, selecione YARN-HOME. O painel exibe os dados de métricas do YARN para o cluster. Ajuste o intervalo de tempo para consultar a utilização histórica do cluster.
A seção YARN Scaling apresenta as métricas de Auto Scaling do YARN. Use essas métricas para analisar detalhadamente a utilização de recursos de containers e nós, além de avaliar a eficácia do Auto Scaling.