O Apache Tez é um framework de computação distribuída baseado no Apache Hadoop que utiliza grafos acíclicos direcionados (DAGs) para executar tarefas de big data. No EMR on ECS, o Tez atua como mecanismo de execução alternativo para o Apache Hive, oferecendo maior desempenho e estabilidade nas consultas em comparação ao backend MapReduce padrão.
A figura a seguir ilustra como o Hive envia tarefas usando MapReduce e Tez.
Para obter mais informações sobre o Apache Tez, consulte a documentação do Apache Tez.
Ative o mecanismo Tez
Defina o parâmetro hive.execution.engine como tez e reinicie o Hive para tornar o Tez o mecanismo de execução ativo em todas as consultas Hive SQL do cluster.
Pré-requisitos
Antes de começar, verifique se você tem:
Um cluster EMR on ECS com o Hive instalado
Acesso ao console do EMR
Etapas
-
Acesse a aba Services do cluster.
Faça login no console do EMR. No painel de navegação à esquerda, clique em EMR on ECS.
Na barra de navegação superior, selecione a região do cluster e escolha um grupo de recursos conforme suas necessidades de negócio.
Na página do EMR on ECS, clique em Services na coluna Actions do cluster que deseja gerencie.
Na aba Services, clique em Configure na seção do Hive.
-
Defina o parâmetro
hive.execution.enginecomotez.Na caixa de pesquisa, insira
hive.execution.engine.Defina o valor como
teze clique em Save.Na caixa de diálogo exibida, insira uma justificativa no campo Execution Reason e clique em Save.
-
Reinicie o Hive para aplicar a alteração.
Clique na aba Status.
No canto superior direito, escolha More > Restart.
Na caixa de diálogo exibida, insira uma justificativa no campo Execution Reason e clique em OK.
Na caixa de diálogo Confirm, confirme em OK.
Acesse a interface web do Tez
Na aba Access Links and Ports, clique na URL correspondente a Tez UI para abrir a interface web do Tez.
Para mais detalhes, consulte Acessar as interfaces web dos componentes open source.