DataWorks:Recopilación de metadatos

Crawler predeterminado de MaxCompute

Este crawler recopila metadatos de los proyectos de MaxCompute asociados a su cuenta. Puede ir a la página de detalles, hacer clic en Modify Data Scope para seleccionar los proyectos que desea recopilar y hacer clic en Permission Configurations para configurar la visibilidad de los metadatos dentro del tenant.

1. En la sección Built-in de la página de recopilación de metadatos, localice la tarjeta MaxCompute Default Crawler y haga clic en Details.

2. La página de detalles del MaxCompute Default Crawler contiene dos pestañas: Basic Information y Data Scope.

   • Basic Information: Muestra las propiedades básicas del crawler, como el tipo y el método de recopilación. Esta información es de solo lectura.

   • Data Scope: Gestiona desde qué proyectos de MaxCompute este crawler recopila metadatos.

3. Modificar el alcance de la recopilación:

   1. Cambie a la pestaña Data Scope y haga clic en el botón Modify Data Scope.

   2. En el cuadro de diálogo que aparece, seleccione o desmarque los proyectos de MaxCompute de los que desea recopilar metadatos.

      Importante

      De forma predeterminada, el alcance incluye todos los proyectos de MaxCompute asociados con espacios de trabajo en la región actual bajo su tenant. Después de modificar el alcance de los datos, los objetos de metadatos recopilados en Data Map coinciden con el alcance actual. Los metadatos de los proyectos desmarcados no serán visibles.

   3. Haga clic en OK para guardar los cambios.

4. Configurar la visibilidad de los metadatos:

   • En la lista Data Scope, busque el proyecto objetivo y haga clic en Permission Configurations en la columna Actions.

   • Seleccione una política de visibilidad según sus requisitos de gobernanza de datos:

     • Public Within Tenant: Todos los miembros del tenant pueden buscar y consultar los metadatos de este proyecto.

     • Only members in the associated workspace can search and view.: Solo los miembros de espacios de trabajo específicos pueden acceder a los metadatos de este proyecto, lo que garantiza el aislamiento de los datos.

Crawler predeterminado de DLF

El DLF Default Crawler recopila metadatos de Data Lake Formation (DLF) bajo su cuenta.

1. En la sección Built-in de la página de recopilación de metadatos, localice la tarjeta DLF Default Crawler y haga clic en Details para ver la información básica.

2. Cambie a la pestaña Data Scope para ver la lista de catálogos de DLF incluidos en el alcance de la recopilación y la cantidad de tablas que contienen.

   De forma predeterminada, se recopilan todos los catálogos accesibles (incluidos DLF y DLF-Legacy).

Create Custom Crawler

1. En la sección de lista de crawlers personalizados de la página de recopilación de metadatos, haga clic en Create Metadata Crawler.

2. Seleccione un tipo de recopilación: En la página de selección de tipos, seleccione el tipo de origen de datos objetivo que desea recopilar, como Hologres o StarRocks.

3. Configure los ajustes básicos y el resource group:

   • Basic Configurations:

     • Seleccione un espacio de trabajo: Seleccione el espacio de trabajo que contiene el origen de datos.

     • Select Data Source: Seleccione un origen de datos objetivo creado previamente en la lista desplegable. Una vez realizada la selección, el sistema muestra automáticamente los detalles del origen de datos.

     • Name: Asigne un nombre al crawler para identificarlo fácilmente más adelante. De forma predeterminada, el nombre coincide con el del origen de datos.

   • Resource Group Configuration:

     • Resource Group: Seleccione un resource group Serverless para ejecutar la tarea de recopilación.

     • Test Network Connectivity: Este paso es crítico. Haga clic en Test Network Connectivity para asegurarse de que el resource group pueda acceder al origen de datos.

       Importante

       • Compruebe si el origen de datos tiene habilitadas restricciones de lista de permitidos. Si necesita recopilar metadatos de un origen de datos con control de acceso basado en lista de permitidos, consulte Add resource group IP addresses to the allowlist y Configure an allowlist for a data source para configurar los permisos correspondientes.

       • Si el origen de datos no tiene habilitadas restricciones de lista de permitidos, consulte Configure network connectivity for a data source para establecer la conectividad de red del origen de datos.

       • Si la prueba de conectividad devuelve el error Backend service call failed: test connectivity failed.not support data type, póngase en contacto con el soporte técnico para actualizar el resource group.

4. Configure la recopilación de metadatos:

   • Collection Scope: Defina las bases de datos (database/schema) que desea recopilar. Si el origen de datos está a nivel de base de datos, la base de datos correspondiente al origen de datos se selecciona de forma predeterminada. Puede seleccionar bases de datos adicionales además de la del origen de datos.

     Importante

     • Cada base de datos solo puede configurarse en un único crawler. Si una base de datos aparece atenuada, significa que ya está siendo recopilada por otro crawler.

     • Después de reducir el alcance de la recopilación, los metadatos fuera de dicho alcance dejarán de ser buscables en Data Map.

5. Configure la mejora inteligente y el plan de recopilación:

   • Mejora inteligente (Beta):

     • Descripciones generadas por IA: Cuando esta opción está habilitada, el sistema utiliza capacidades de modelos de lenguaje grandes para generar automáticamente descripciones comerciales para sus tablas y columnas después de recopilar los metadatos, lo que mejora significativamente la legibilidad y usabilidad de los metadatos. Una vez completada la recopilación, puede consultar la información generada por IA (como descripciones de tablas y columnas) en la página de detalles de un objeto de tabla en Data Map.

   • Collection Plan:

     • Trigger Mode: Seleccione manual o periódico.

       • Manual: El crawler se ejecuta solo cuando usted lo activa manualmente. Esta opción es adecuada para recopilaciones únicas o bajo demanda.

       • Periódico: Configure una tarea programada (por ejemplo, mensual, diaria, semanal u horaria) y el sistema actualizará automáticamente los metadatos de forma periódica.

         Para configurar una tarea programada a nivel de minutos, seleccione el ciclo de recopilación por hora y marque todas las granularidades a nivel de minuto para implementar una tarea programada que se ejecute cada 5 minutos.

         Importante

         Solo los orígenes de datos en el entorno de producción admiten la recopilación periódica.

6. Guarde la configuración: Haga clic en Save o Save and Run para completar la creación del crawler.

Gestión de crawlers personalizados

Una vez creado un crawler, este aparece en la lista de crawlers personalizados. Puede realizar las siguientes operaciones de gestión:

• Operaciones en la lista: En la lista, puede directamente Run, Stop o Delete un crawler. Utilice las funciones Filter y Search en la parte superior para localizar rápidamente el crawler objetivo.

  Importante

  Después de eliminar un crawler de metadatos, los objetos de metadatos recopilados por este crawler en Data Map quedan invalidados. Ya no podrá buscar ni consultar objetos ni sus detalles provenientes de este crawler. Proceda con precaución.

• Operaciones por lotes: Seleccione varios crawlers en la lista de crawlers y utilice Batch Run o Batch Stop en la parte inferior de la lista para activar o finalizar varias tareas de recopilación a la vez, mejorando así la eficiencia de la gestión.

• Estado del crawler: La lista de crawlers muestra el estado actual de cada crawler. Los estados comunes incluyen Not Run, Waiting, Running, Successful, Failed y Manually Terminated.

  Nota

  Si el origen de datos asociado a un crawler se ha desvinculado o ha dejado de ser válido, el crawler entra en estado frozen. Un crawler congelado no se puede ejecutar y solo se puede eliminar.

• Consulte detalles y registros: Haga clic en el nombre del crawler objetivo para ir a su página de detalles.

  • Basic Information: Consulte todos los elementos de configuración del crawler.

  • Data Scope: Consulte o Modify Data Scope.

    Si no se ha realizado ninguna recopilación, el recuento de tablas y la hora de la última actualización estarán vacíos.

    Los siguientes orígenes de datos no admiten la modificación del alcance: EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB y AnalyticDB for Spark en AnalyticDB MySQL.

  • Run Logs: Rastree el historial de ejecución de cada tarea de recopilación. Puede consultar la hora de inicio, la duración, el estado y el volumen de datos recopilados para cada tarea. Cuando una tarea falla, hacer clic en View Logs es el punto de entrada clave para localizar y resolver problemas.

• Active manualmente la recopilación: En la esquina superior derecha de la página de detalles, haga clic en el botón Collect Metadata para activar inmediatamente una tarea de recopilación. Esto resulta útil cuando desea ver una tabla recién creada en Data Map de inmediato.

Origen de datos

Código de tarea

Data Map permite buscar código de tareas y navegar rápidamente. A continuación se describe el alcance del código que se puede buscar.

Activos de API

Data Map permite ver los metadatos de las API de Data Service, como se describe a continuación:

Activos de IA

Data Map permite ver y gestionar activos de IA, y proporciona linaje de activos de IA para rastrear el origen, el uso y la evolución de los datos y modelos. A continuación se describe la compatibilidad con cada tipo de activo de IA.

Workspace

Data Map permite ver los metadatos del espacio de trabajo, como se describe a continuación: