O EMR Doctor é um gerenciador de clusters de big data open source que oferece um serviço inteligente e completo de diagnóstico e otimização. Ele executa relatórios diários de integridade e varreduras em tempo real para detectar problemas antes que afetem suas cargas de trabalho. Para clusters Hadoop com EMR V3.x anterior à V3.41.0, V4.x ou V5.x anterior à V5.6.0, solicite a ativação à equipe do Alibaba Cloud EMR Doctor.
O EMR Doctor vem ativado por padrão em clusters DataLake, DataServing e personalizados. Este tópico aplica-se apenas às versões de cluster Hadoop listadas acima.
Pré-requisitos
Antes de começar, verifique se:
-
Seu cluster Hadoop executa uma das seguintes versões:
EMR V3.x anterior à V3.41.0
EMR V4.x (todas as versões secundárias)
EMR V5.x anterior à V5.6.0
Entre em um grupo do DingTalk para contatar a equipe do EMR Doctor (ID do grupo: 44846846)
Como funciona o EMR Doctor
O EMR Doctor coleta métricas e eventos das tarefas de computação do seu cluster e pontua cada tarefa no backend. Isso proporciona dois tipos de visibilidade:
Relatórios diários de integridade: Analisa os mecanismos de armazenamento e computação, verifica a integridade de todo o cluster e gera um relatório diário sobre o status de integridade do cluster.
Relatórios de cluster em tempo real: Varre continuamente tarefas e serviços de computação para identificar problemas e notificar a equipe de operações e manutenção (O&M), facilitando a solução de problemas.
Impactos da ativação
O EMR Doctor não afeta as tarefas existentes no seu cluster. Ele coleta apenas métricas e eventos das tarefas, analisa-os e pontua-os no backend. A instalação é transparente para tarefas em execução ou na fila.
Alterações de configuração aplicadas durante a instalação
A instalação do EMR Doctor adiciona automaticamente as seguintes configurações aos arquivos de configuração de serviço do seu cluster:
|
Serviço |
Arquivo de configuração |
Parâmetros adicionados |
|
Hive |
hive-env.sh |
Variáveis de ambiente |
|
YARN |
mapred-site.xml |
|
|
YARN |
yarn-env.sh |
Variáveis de ambiente |
|
Spark |
spark-defaults.conf |
|
|
Tez |
tez-site.xml |
|
Configurações pendentes
Durante a instalação, o EMR pode entregar configurações de serviço salvas, mas ainda não aplicadas ao cluster. Antes da ativação, verifique se existem configurações pendentes para Hive, Spark, YARN ou Tez e avalie o impacto de aplicá-las.
Reinicialização de serviços após a instalação
Após a instalação, reinicie os seguintes serviços:
App Timeline Server
HiveServer2
Spark Thrift Server
Programe as reinicializações fora do horário de pico ou durante uma janela de manutenção. O EMR Doctor funciona sem essas reinicializações, mas alguns dados podem não ser coletados para determinados jobs — por exemplo, jobs Hive on MapReduce.
A equipe do Alibaba Cloud EMR Doctor notificará você quando a instalação for concluída e confirme quais serviços exigem reinicialização.
Solicitar ativação
A equipe do Alibaba Cloud EMR Doctor gerencia a instalação de ponta a ponta para preservar a estabilidade do cluster.
Entre no grupo do DingTalk com o ID 44846846. Um engenheiro da equipe do EMR Doctor entrará em contato com você.
O engenheiro analisa o status do seu cluster e agenda uma janela de instalação.
A equipe do EMR Doctor instala o EMR Doctor no horário combinado.
Após a instalação, faça login no console do EMR para visualizar os relatórios gerados pela análise do EMR Doctor.
Fale conosco
A equipe do Alibaba Cloud EMR oferece suporte completo à instalação para ajudar você a ativar este recurso. Se precisar de assistência, use o DingTalk para pesquisar o número do grupo 44846846 e entrar no grupo. Um engenheiro será designado para discutir um plano específico com você.