E-MapReduce:Linhagem de dados e histórico de acesso com extensões SparkSQL

Pré-requisitos

É necessário ter um cluster DataLake ou personalizado com o service Spark. Para mais informações, consulte Create a cluster.

Limitações

• O EMR-HOOK não oferece suporte à coleta de informações SQL de jobs em um ambiente de gateway implantado manualmente com EMR-CLI.

• Nas versões do EMR anteriores a 5.16.0 e 3.50.0, as configurações dos parâmetros hive.exec.post.hooks (para Hive) e spark.sql.queryExecutionListeners (para Spark) não são sincronizadas com os nós de gateway. Nas versões 5.16.0 ou posteriores e 3.50.0 ou posteriores, essas configurações são sincronizadas com os nós de gateway. Essas versões também introduzem o parâmetro hive_aux_jars_path_gateway_only, que permite usar arquivos JAR de extensão personalizados de forma independente nos nós de gateway.

Procedimento

1. Acesse a página Services do seu cluster.

   1. Faça login no console do E-MapReduce.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme sua necessidade.

   3. Na página EMR on ECS, localize o cluster desejado e clique em Services na coluna Services.

2. Configure o E-MapReduce Hook.

   1. Na página Services, localize o service Spark2 ou Spark3 e clique em Configure.

   2. Na página Configure, na aba correspondente, edite ou adicione os seguintes parâmetros para o E-MapReduce Hook.

      Aba	Parâmetro	Descrição
      spark-defaults.conf	spark.sql.queryExecutionListeners	Captura informações SQL do service Spark para linhagem de dados e frequência de acesso. Para ativar o E-MapReduce Hook, defina este parâmetro como com.aliyun.emr.meta.spark.listener.EMRQueryLogger. Para desativar o E-MapReduce Hook, deixe o valor do parâmetro em branco.
      hive-site.xml	dlf.emrhook.webtracking	Define se a frequência de acesso deve ser reportada. Valores válidos: true: ativado. false: desativado.

      Nota

      Ao desativar o E-MapReduce Hook, a página Data Overview das tabelas de dados no console do Data Lake Formation (DLF) deixará de exibir dados referentes a File Visits within Last Day, File Visits within Last Seven Days e File Visits within Last 30 Days.

   3. Salve a configuração.

      1. Na página Configure, clique em Save.

      2. Na caixa de diálogo exibida, insira um motivo no campo Execution Reason e clique em Save.

3. Reinicie o service Spark.

   1. Na página Configure, escolha More > Restart.

   2. Na caixa de diálogo exibida, insira um motivo no campo Execution Reason e clique em OK.

   3. Na caixa de diálogo Confirm, clique em OK.

4. Visualize a visão geral dos dados e a linhagem de dados.

   • Para visualizar a Visão Geral dos Dados no Data Lake Formation (DLF), consulte Data overview of data tables.

   • Para visualizar a linhagem de dados no DataWorks, consulte Data lineage analysis.

Perguntas frequentes

Documentos relacionados

Para configurar o E-MapReduce Hook no service Hive, consulte Use Hive extensions to record data lineage and access history.