E-MapReduce:Linaje de datos e historial de acceso con extensiones de SparkSQL

Requisitos previos

Se requiere un clúster DataLake o personalizado que cuente con el servicio Spark. Para obtener más información, consulte Create a cluster.

Limitaciones

• EMR-HOOK no admite la recopilación de información SQL de trabajos en un entorno de gateway implementado de forma personalizada con EMR-CLI.

• En las versiones de EMR anteriores a la 5.16.0 y 3.50.0, las configuraciones de los parámetros hive.exec.post.hooks (para Hive) y spark.sql.queryExecutionListeners (para Spark) no se sincronizan con los nodos gateway. En las versiones de EMR 5.16.0 y posteriores, así como en la 3.50.0 y posteriores, estas configuraciones sí se sincronizan con dichos nodos. Estas versiones también introducen el parámetro hive_aux_jars_path_gateway_only, que permite utilizar archivos JAR de extensión personalizados de forma independiente en los nodos gateway.

Procedimiento

1. Vaya a la página Services de su clúster.

   1. Inicie sesión en la consola de E-MapReduce.

   2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

   3. En la página EMR on ECS, localice el clúster objetivo y haga clic en Services en la columna Services.

2. Configure E-MapReduce Hook.

   1. En la página Services, localice el servicio Spark2 o Spark3 y haga clic en Configure.

   2. En la página Configure, en la pestaña correspondiente, edite o agregue los siguientes parámetros para E-MapReduce Hook.

      Pestaña	Parámetro	Descripción
      spark-defaults.conf	spark.sql.queryExecutionListeners	Captura información SQL del servicio Spark para el linaje de datos y la frecuencia de acceso. Para habilitar E-MapReduce Hook, establezca este parámetro en com.aliyun.emr.meta.spark.listener.EMRQueryLogger. Para deshabilitar E-MapReduce Hook, deje el valor del parámetro en blanco.
      hive-site.xml	dlf.emrhook.webtracking	Especifica si se debe reportar la frecuencia de acceso. Valores válidos: true: habilitado. false: deshabilitado.

      Nota

      Si deshabilita E-MapReduce Hook, la página Data Overview de las tablas de datos en la consola de Data Lake Formation (DLF) dejará de mostrar datos correspondientes a File Visits within Last Day, File Visits within Last Seven Days y File Visits within Last 30 Days.

   3. Guarde la configuración.

      1. En la página Configure, haga clic en Save.

      2. En el cuadro de diálogo que aparece, introduzca un motivo en el campo Execution Reason y haga clic en Save.

3. Reinicie el servicio Spark.

   1. En la página Configure, seleccione More > Restart.

   2. En el cuadro de diálogo que aparece, introduzca un motivo en el campo Execution Reason y haga clic en OK.

   3. En el cuadro de diálogo Confirm, haga clic en OK.

4. Consulte la descripción general de datos y el linaje de datos.

   • Consulte la descripción general de datos en Data Lake Formation (DLF). Para obtener más información, consulte Data overview of data tables.

   • Consulte el linaje de datos en DataWorks. Para obtener más información, consulte Data lineage analysis.

Preguntas frecuentes

Documentos relacionados

Para configurar E-MapReduce Hook para el servicio Hive, consulte Use Hive extensions to record data lineage and access history.