Como atualizar o componente EMR-HOOK em um gateway do EMR - Data Lake Formation: Central de Documentação do Alibaba Cloud

Contexto

Atualize manualmente o componente EMR-HOOK se você executar tarefas de computação em um gateway do EMR implantado personalizado com EMR-CLI e utilizar recursos do Data Lake Formation (DLF), como as métricas de contagem de acesso da Visão Geral dos Dados e as regras de frequência de acesso a dados do Gerenciamento de Ciclo de Vida.

Nota

O processo de atualização não afeta as tarefas de computação em execução. As alterações se aplicam automaticamente às novas tarefas iniciadas após a conclusão da atualização.

Pré-requisitos

Seu cluster do EMR utiliza o Data Lake Formation (DLF) para gerenciamento de metadados.
Este procedimento aplica-se apenas a gateways do EMR implantados personalizados com EMR-CLI.

Procedimento

EMR-5.10.1, EMR-3.44.1 e posteriores

Etapa 1: Atualize os arquivos JAR

Acesse o gateway como root via SSH. Substitua ${region} pelo ID da sua região, como cn-hangzhou, e execute o script a seguir.

sudo mkdir -p /opt/apps/EMRHOOK/upgrade/
sudo wget https://dlf-repo-${region}.oss-${region}-internal.aliyuncs.com/emrhook/latest/emrhook.tar.gz -P /opt/apps/EMRHOOK/upgrade
sudo tar -p -zxf /opt/apps/EMRHOOK/upgrade/emrhook.tar.gz -C /opt/apps/EMRHOOK/upgrade/
sudo cp -p /opt/apps/EMRHOOK/upgrade/emrhook/* /opt/apps/EMRHOOK/emrhook-current/

Etapa 2: Modifique a configuração do Hive

Importante

Selecione o ${hive-jar} correto conforme a versão do Hive. Use hive-hook-hive23.jar para Hive 2 e hive-hook-hive31.jar para Hive 3.

Arquivo de configuração	Parâmetro	Valor
hive-site.xml (/etc/taihao-apps/hive-conf/hive-site.xml)	`hive.aux.jars.path`	Anexe `,/opt/apps/EMRHOOK/emrhook-current/${hive-jar}` ao valor existente. Nota Use vírgula (,) como separador.
hive-site.xml (/etc/taihao-apps/hive-conf/hive-site.xml)	`hive.exec.post.hooks`	Anexe `,com.aliyun.emr.meta.hive.hook.LineageLoggerHook` ao valor existente.
hive-env.sh (/etc/taihao-apps/hive-conf/hive-env.sh)	`hive_aux_jars_path`	Anexe `,/opt/apps/EMRHOOK/emrhook-current/${hive-jar}` ao valor existente. Nota Use vírgula (,) como separador.

Etapa 3: Modifique a configuração do Spark

Importante

Selecione o ${spark-jar} correto conforme a versão do Spark. Use spark-hook-spark24.jar para Spark 2 e spark-hook-spark30.jar para Spark 3.

Arquivo de configuração	Parâmetro	Valor
spark-defaults.conf (/etc/taihao-apps/spark-conf/spark-defaults.conf)	`spark.driver.extraClassPath`	Anexe `:/opt/apps/EMRHOOK/emrhook-current/${spark-jar}` ao valor existente. Nota Use dois pontos (:) como separador.
	`spark.executor.extraClassPath`	Anexe `:/opt/apps/EMRHOOK/emrhook-current/${spark-jar}` ao valor existente. Nota Use dois pontos (:) como separador.
	`spark.sql.queryExecutionListeners`	Anexe `,com.aliyun.emr.meta.spark.listener.EMRQueryLogger` ao valor existente.

EMR-5.10.1, EMR-3.44.1 e anteriores

Etapa 1: Atualize os arquivos JAR

Acesse o gateway como root via SSH. Substitua ${region} pelo ID da sua região, como cn-hangzhou.

Execute o script a seguir para baixe e extrair os arquivos JAR mais recentes do EMR-HOOK.

sudo mkdir -p /opt/apps/EMRHOOK/upgrade/
sudo wget https://dlf-repo-${region}.oss-${region}-internal.aliyuncs.com/emrhook/latest/emrhook.tar.gz -P /opt/apps/EMRHOOK/upgrade
sudo tar -p -zxf /opt/apps/EMRHOOK/upgrade/emrhook.tar.gz -C /opt/apps/EMRHOOK/upgrade/

Versões diferentes do E-MapReduce (EMR) podem incluir versões secundárias distintas do componente EMR-HOOK. Portanto, renomeie os arquivos JAR baixados para corresponder à versão dos arquivos existentes antes de substituí-los.

Por exemplo, o EMR-3.43.1 inclui a versão 1.1.4 do componente EMR-HOOK, e a convenção de nomenclatura do arquivo JAR é hive-hook-${version}-hive20.jar. Renomeie os arquivos JAR extraídos para seguir essa convenção.

cd /opt/apps/EMRHOOK/upgrade/emrhook
mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar
mv hive-hook-hive23.jar hive-hook-1.1.4-hive23.jar
mv hive-hook-hive31.jar hive-hook-1.1.4-hive31.jar
mv spark-hook-spark24.jar spark-hook-1.1.4-spark24.jar
mv spark-hook-spark30.jar spark-hook-1.1.4-spark30.jar

[root@master-1-1 emrhook-current]# ll
total 636
-rw-r--r-- 1 502 games 122460 Sep 22 2022 hive-hook-1.1.4-hive20.jar
-rw-r--r-- 1 502 games 122762 Sep 22 2022 hive-hook-1.1.4-hive23.jar
-rw-r--r-- 1 502 games 121183 Sep 22 2022 hive-hook-1.1.4-hive31.jar
-rw-r--r-- 1 502 games 158682 Sep 22 2022 spark-hook-1.1.4-spark24.jar
-rw-r--r-- 1 502 games 121298 Sep 22 2022 spark-hook-1.1.4-spark30.jar

Após renomear os arquivos, execute o comando a seguir para substituir os arquivos antigos:
```
sudo cp -p /opt/apps/EMRHOOK/upgrade/emrhook/* /opt/apps/EMRHOOK/emrhook-current/
```

Etapa 2: Modifique a configuração do Hive

Importante

Para ${hive-jar}, selecione o arquivo JAR correspondente à versão do Hive: hive-hook-${emrhook-version}-hive23.jar para Hive 2 ou hive-hook-${emrhook-version}-hive31.jar para Hive 3. Substitua ${emrhook-version} pelo número da versão do seu componente EMR-HOOK. Por exemplo, o nome completo do arquivo pode ser hive-hook-1.1.4-hive23.jar.

Arquivo de configuração	Parâmetro	Valor
hive-site.xml (/etc/taihao-apps/hive-conf/hive-site.xml)	`hive.aux.jars.path`	Anexe `,/opt/apps/EMRHOOK/emrhook-current/${hive-jar}` ao valor existente. Nota Use vírgula (,) como separador.
hive-site.xml (/etc/taihao-apps/hive-conf/hive-site.xml)	`hive.exec.post.hooks`	Anexe `,com.aliyun.emr.meta.hive.hook.LineageLoggerHook` ao valor existente.
hive-env.sh (/etc/taihao-apps/hive-conf/hive-env.sh)	`hive_aux_jars_path`	Anexe `,/opt/apps/EMRHOOK/emrhook-current/${hive-jar}` ao valor existente. Nota Use vírgula (,) como separador.

Etapa 3: Modifique a configuração do Spark

Importante

Para ${spark-jar}, selecione o arquivo JAR correspondente à versão do Spark: spark-hook-${emrhook-version}-spark24.jar para Spark 2 ou spark-hook-${emrhook-version}-spark30.jar para Spark 3. Substitua ${emrhook-version} pelo número da versão do seu componente EMR-HOOK. Por exemplo, o nome completo do arquivo pode ser spark-hook-1.1.4-spark24.jar.

Arquivo de configuração	Parâmetro	Valor
spark-defaults.conf (/etc/taihao-apps/spark-conf/spark-defaults.conf)	`spark.driver.extraClassPath`	Anexe `:/opt/apps/EMRHOOK/emrhook-current/${spark-jar}` ao valor existente. Nota Use dois pontos (:) como separador.
	`spark.executor.extraClassPath`	Anexe `:/opt/apps/EMRHOOK/emrhook-current/${spark-jar}` ao valor existente. Nota Use dois pontos (:) como separador.
	`spark.sql.queryExecutionListeners`	Anexe `,com.aliyun.emr.meta.spark.listener.EMRQueryLogger` ao valor existente.