E-MapReduce:Extensión de Hive: registro del linaje de datos y el historial de acceso

Requisitos previos

Cree un clúster DataLake o un clúster personalizado y seleccione el servicio Hive. Para obtener más información, consulte Create a cluster.

Limitaciones

• EMR-HOOK no es compatible con la recopilación de información SQL de trabajos en un entorno de gateway implementado de forma personalizada con EMR-CLI.

• En las versiones de EMR anteriores a la 5.16.0 y a la 3.50.0, la configuración de los parámetros hive.exec.post.hooks (para Hive) y spark.sql.queryExecutionListeners (para Spark) no se sincroniza con los nodos de gateway. A partir de las versiones 5.16.0 y 3.50.0 de EMR, esta configuración sí se sincroniza con dichos nodos. Estas versiones también introducen el parámetro hive_aux_jars_path_gateway_only, que permite usar archivos JAR de extensiones personalizadas de forma independiente en los nodos de gateway.

Notas de uso

• EMR-HOOK está habilitado de forma predeterminada en las versiones de EMR anteriores a la 5.14.0 y a la 3.48.0.

  En los clústeres personalizados de EMR 3.44 donde EMR-HOOK no está habilitado de forma predeterminada, puede habilitarlo manualmente. Para obtener más información, consulte la sección FAQ.

• EMR-HOOK está deshabilitado de forma predeterminada en las versiones 5.14.0 y posteriores, así como en la 3.48.0 y posteriores de EMR. Debe habilitarlo manualmente.

Procedimiento

1. Vaya a la página Cluster services.

   1. Inicie sesión en la consola de E-MapReduce.

   2. En la barra de navegación superior, seleccione una región y un resource group.

   3. En la página EMR on ECS, busque su clúster y haga clic en Services en la columna Actions.

2. Configure EMR-HOOK.

   1. En la página Services, dentro de la sección del servicio Hive, haga clic en Configure.

   2. En la página Configure, agregue o modifique a continuación los parámetros indicados.

      Pestaña	Parámetro	Descripción
      hive-site.xml	hive.exec.post.hooks	Especifica el hook que escucha las instrucciones SQL del servicio Hive. Este hook recopila información sobre el linaje de datos y la frecuencia de acceso. Para habilitar EMR-HOOK, establezca este parámetro en com.aliyun.emr.meta.hive.hook.LineageLoggerHook. Para deshabilitar EMR-HOOK, deje este parámetro vacío.
      	dlf.emrhook.webtracking	Indica si se habilita el reporte de la frecuencia de acceso. Valores válidos: true: habilitado. false: deshabilitado.
      hivemetastore-site.xml	hive.metastore.event.listeners	Especifica el listener para los eventos relacionados con los cambios en los metadatos de Hive. Este listener recopila información para el linaje de datos. Para habilitar EMR-HOOK, establezca este parámetro en com.aliyun.emr.meta.hive.listener.MetaStoreListener. Para deshabilitar EMR-HOOK, deje este parámetro vacío.
      	hive.metastore.pre.event.listeners	Especifica el listener para los eventos que ocurren antes de los cambios en los metadatos de Hive. Este listener recopila información para el linaje de datos. Para habilitar EMR-HOOK, establezca este parámetro en com.aliyun.emr.meta.hive.listener.MetaStorePreAuditListener. Para deshabilitar EMR-HOOK, deje este parámetro vacío.

      Nota

      Si deshabilita EMR-HOOK, la página Data Overview de las tablas en la consola de Data Lake Formation (DLF) dejará de mostrar los datos de Access Count (Today), Access Count (Last 7 Days) y Access Count (Last 30 Days).

   3. Guarde la configuración.

      1. En la página Configure, haga clic en Save.

      2. En el cuadro de diálogo que aparece, introduzca un Execution Reason y haga clic en Save.

3. Reinicie Hive.

   1. En la página Configure, elija More > Restart.

   2. En el cuadro de diálogo que aparece, introduzca un Execution Reason y haga clic en OK.

   3. En el cuadro de diálogo Confirm, haga clic en OK.

4. Consulte la descripción general y el linaje de los datos.

   • Consulte Data Overview en Data Lake Formation (DLF). Para obtener más información, consulte Data overview of data tables.

   • Consulte el linaje de datos en DataWorks. Para obtener más información, consulte Data lineage analysis.

Preguntas frecuentes

Temas relacionados

Para saber cómo configurar EMR-HOOK en el servicio Spark, consulte SparkSQL: Use an extension to record data lineage and access history.