Gerencie seu cluster E-MapReduce (EMR) sempre pelo EMR console. Operações realizadas diretamente no console do Elastic Compute Service (ECS) — ou por meio da API do ECS — podem causar instabilidade no cluster, perda de dados ou tornar o cluster irrecuperável.
Caso você execute qualquer uma das operações proibidas listadas abaixo, será responsável pelas consequências resultantes.
O que evitar no console do ECS
As operações a seguir ignoram o gerenciamento de estado interno do EMR. Executá-las gera os resultados descritos.
Operações marcadas com risco de perda de dados podem resultar em perda permanente e irrecuperável de informações. Planeje a arquitetura do seu cluster antecipadamente para evitar a necessidade de executar essas operações.
|
Operação |
O que dá errado |
Alternativa |
|
Exclua ou modifique o arquivo |
O EMR não consegue resolver endpoints de serviço nos nós do cluster, causando exceções nos serviços. |
Adicione entradas ao arquivo hosts em vez de modificar ou excluir as existentes. |
|
Modifique arquivos de configuração de componentes no console do ECS |
Quando o serviço afetado reinicia, o EMR substitui as alterações. |
Modifique os parâmetros dos componentes no EMR console. |
|
Reimplantar instâncias ECS pelo console do ECS ou pela API do ECS |
O serviço EMR é interrompido. |
Nenhuma |
|
Anexar discos aos nós do cluster pelo console do ECS ou pela API do ECS |
O EMR não reconhece nem inicializa os discos anexados, tornando-os indisponíveis. |
Planeje a capacidade de disco ao criar o cluster. |
|
Desanexar discos dos nós do cluster pelo console do ECS ou pela API do ECS |
Risco de perda de dados. O EMR não detecta a operação de desanexação, e os dados no disco podem ser perdidos. |
Planeje a capacidade de disco ao criar o cluster. |
|
Remover nós principais pelo console do ECS ou pela API do ECS |
Risco de perda de dados. Jobs em andamento nos nós removidos falham, e os dados armazenados nesses nós são perdidos. |
Dimensione o cluster pelo EMR console. |
|
Remover nós mestres pelo console do ECS ou pela API do ECS |
Risco de perda de dados. Para clusters de alta disponibilidade (HA): o failover do HDFS NameNode HA, YARN ResourceManager ou HBase HMaster falha — você precisará adquirir um novo cluster para recuperação. Para clusters sem HA: o cluster torna-se permanentemente indisponível, sem caminho de migração. |
Não remova nós mestres. Adquira um novo cluster se for necessária uma reconfiguração. |
|
Remover nós de tarefa pelo console do ECS ou pela API do ECS |
Os jobs em execução nos nós removidos falham imediatamente. |
Remova nós de tarefa pelo EMR console. |
|
Parar o serviço MySQL no nó mestre (tipo MySQL integrado) |
A instância MySQL em |
Não pare o serviço MySQL integrado. |
|
Alterar a senha root do MySQL em |
Componentes como Hue ou Ranger perdem acesso ao MySQL e param de funcionar. |
Não altere a senha root do MySQL na instância MySQL integrada. |
|
Modifique o grupo de segurança, VPC ou vSwitch das instâncias ECS pelo console do ECS ou pela API do ECS |
A conectividade de rede entre nós é quebrada e os componentes do cluster ficam indisponíveis. |
Configure a rede antes de criar o cluster. Entre em contato com o suporte se forem necessárias alterações após a criação. |
|
Alterar o método de faturamento pelo console do ECS ou pela API do ECS |
A alteração do método de faturamento não pode ser revertida. |
Altere o método de faturamento no EMR console. A mudança de pagamento conforme o uso para assinatura é suportada; a mudança de assinatura para pagamento conforme o uso não é. Consulte Mudar de pagamento conforme o uso para assinatura. |
|
Exclua diretórios relacionados ao agente do EMR |
O cluster deixa de funcionar conforme o esperado. |
Não exclua diretórios de agente. Entre em contato com o suporte se precisar solucionar problemas relacionados ao agente. |
Perguntas comuns sobre capacidade e configuração
Meu cluster está ficando sem espaço em disco.
Aumente a capacidade de um disco existente ou adicione nós principais pelo EMR console. Clusters EMR não suportam a adição de discos.
Tenho capacidade de disco excessiva e quero reduzi-la.
Adquira um novo cluster dimensionado para suas necessidades reais e, em seguida, libere o cluster original. Consulte Criar um cluster. Clusters EMR não suportam redução de escala de disco.
Meu cluster não tem capacidade de computação suficiente.
Adicione nós de tarefa pelo EMR console. Consulte Dimensionar horizontalmente um cluster.
Tenho capacidade de computação excedente e quero reduzir a escala.
A abordagem depende do seu método de faturamento:
Pagamento conforme o uso: Remova nós de tarefa pelo EMR console.
Assinatura: Pare o YARN NodeManager no nó de tarefa alvo, altere o método de faturamento dessa instância ECS para pagamento conforme o uso no console do ECS e, em seguida, libere a instância.
Meu cluster está executando versões desatualizadas de componentes.
Adquira um novo cluster com a versão necessária. Consulte Criar um cluster. Não há suporte para atualização de componentes individuais em um cluster em execução.
Quero converter um cluster sem HA em um cluster HA.
Clusters sem HA não podem ser convertidos em clusters HA. Adquira um cluster HA desde o início se a alta disponibilidade for necessária.
Preciso executar software ou serviços de terceiros no EMR.
Utilize ações de bootstrap para instalar software de terceiros durante a criação do cluster. Se você instalar o software manualmente após a criação do cluster, será necessário reinstalá-lo sempre que adicionar nós.