DataWorks:Descripción general de Data Map

Límites

• La búsqueda de código y el análisis de linaje de datos están disponibles solo en DataWorks Standard Edition y versiones superiores.

• Los álbumes de datos están disponibles solo en DataWorks Professional Edition y versiones superiores.

Recopilar metadatos

• Metadatos de MaxCompute y DLF: Data Map recopila automáticamente los metadatos de MaxCompute y DLF mediante recopiladores integrados.

• Otros tipos de metadatos: Utilice la recopilación personalizada de metadatos para importar metadatos de otras fuentes de datos. Entre ellas se incluyen Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore y Lindorm. Collect metadata. No se admite la recopilación de metadatos para Hudi.

Conectividad de red

Para importar metadatos, asegúrese de que el recopilador de metadatos de Data Map pueda acceder a su base de datos. Si su base de datos utiliza una lista blanca para el control de acceso, agregue los bloques CIDR de la región de su espacio de trabajo de DataWorks a dicha lista. Whitelist configurations required for metadata collection from data sources with access control.

Descripción general

• La página Overview muestra las métricas de recursos de MaxCompute para la región actual: recuento de proyectos, recuento de tablas, uso de almacenamiento, recuento de API, tendencias de almacenamiento, proyectos principales por almacenamiento, tablas principales por almacenamiento y tablas populares.

• Consulte los recuentos de bases de datos, tablas y API para fuentes de datos como AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL y OTS una vez que finalice la recopilación de metadatos.

Overview.

Recuperación de metadatos

Data Map agrega metadatos de tablas, código, índices, API, conjuntos de datos, modelos de IA, tareas de algoritmos, servicios de modelos y espacios de trabajo. Busque dentro de la región actual por tipo, espacio de trabajo, propietario, entorno, etiqueta y categoría. Metadata retrieval.

En la página de búsqueda de Data Map, el panel izquierdo le permite filtrar por fuente de datos (MaxCompute, EMR Hive, Data Lake Formation, Oracle, Hologres, entre otros). La búsqueda admite tres modos: Tables only, Columns only y Tables and columns. En los resultados de búsqueda, puede Request Permissions o View Lineage para cada tabla.

También puede explorar tablas y conjuntos de datos en formato data directory.

Detalles de metadatos

Haga clic en el nombre de un objeto para abrir su página de detalles.

• Para las tablas, consulte Basic Information, Output information y Lineage Information. View table details.

  La pestaña Lineage Information contiene las subpestañas Table Lineage, Column Lineage y Impact Analysis. En la subpestaña Table Lineage, haga clic en un nodo de tabla del gráfico de linaje para consultar su tipo de entidad, nombre, tipo de fuente de datos, tamaño de almacenamiento, ciclo de vida y otras propiedades en el panel de detalles derecho. También puede hacer clic en Request Permissions para enviar una solicitud de permisos.

  Nota

  En la página Data Lineage , consulte el linaje de datos interno de los nodos del motor. Los tipos de nodos de motor compatibles dependen de la página del producto. MaxCompute también admite el linaje de extremo a extremo basado en sincronización sin conexión. Esto le permite expandir la jerarquía de linaje para rastrear el linaje ascendente y descendente de una tabla hasta sus fuentes originales y destinos finales.

• Para una API, consulte Parameter Information, Sample Response, Lineage Information e Usage Instructions. View API details.

  La página de detalles de la API muestra Basic Information (recuento de visualizaciones, recuento de llamadas, ID de API, ruta de API, espacio de trabajo, propietario, entre otros) y Technical Information (tipo de API, método de solicitud, tipo de respuesta, tipo y nombre de la fuente de datos, nombre de la tabla) en el lado izquierdo.

• Para un conjunto de datos, consulte su Attribute Information, Lineage e Usage Instructions.

  La pestaña Property Information muestra lo siguiente:

  • Propiedades básicas: Entity Type, Source, Data Type, Owner, Name, Workspace, Storage Type, Visibility, Created At y Updated At.

  • Información de versión del conjunto de datos: Version, URI, Bucket, Path, Region y Default Mount Path. Puede hacer clic en View in OSS para ir al almacenamiento correspondiente.

También puede buscar código. Al hacer clic en un resultado, se le redirige a su nodo o recurso de origen. metadata details.

Organizar y gestionar tablas

Utilice categorías para organizar tablas y filtrar por categoría durante la búsqueda. Manage Configurations.

• Álbum de datos: Organice los datos relacionados en un data album managed from a business perspective para facilitar su visualización y gestión.

• Categories

  1. Agregue tablas por lotes a una categoría específica desde la página Manage Configurations > Manage Categories.

     Después de configurar la navegación por categorías, seleccione una categoría de último nivel para agregar tablas por lotes desde un proyecto específico. Manage Configurations.

  2. Agregue tablas por lotes a una categoría específica desde la página My Data.

     Agregue tablas por lotes a una categoría desde la página My Data (Owned by Me y Managed by Me). My Data.

• Gestión de tablas: Para las tablas de MaxCompute, modifique por lotes los nombres para mostrar, establezca ciclos de vida, elimine tablas de desarrollo o producción, o transfiera la propiedad. My Data.

• Favoritos: Agregue las tablas de acceso frecuente a Favoritos. En la página My Data, consulte las tablas marcadas como favoritas en el grupo My Favorites. My Data.

  • Agregar una tabla a My Favorites: En la página de detalles de la tabla, haga clic en Favorite para agregarla a My Favorites. View table details. Consulte la tabla en la página My Data, dentro del grupo My Favorites. Add a table to favorites.

  • Quitar una tabla de la lista My Favorites:

    • En la página My Data, vaya al grupo My Favorites y quite las tablas de favoritos.

    • En la página de detalles de una tabla favorita, utilice la opción Remove from Favorites para quitarla.

Gestionar permisos de tablas

• Solicitar permisos para operar con tablas

  En los espacios de trabajo en modo estándar, los usuarios de RAM no pueden ejecutar comandos SQL en tablas de producción de forma predeterminada. Para acceder a tablas de producción o realizar consultas entre cuentas, haga clic en Apply for Permissions. Esta acción lo redirige a Security Center. Request permissions on tables.

  Nota

  De forma predeterminada, los usuarios de RAM sin permisos de consulta de tablas no pueden usar la vista previa de datos en la página de detalles de la tabla.

• Controlar los permisos de vista previa de datos para tablas de MaxCompute

  En la página Manage Configurations > Manage Workspaces, habilite los permisos de vista previa para las tablas de desarrollo o producción de MaxCompute en un espacio de trabajo específico. Después, todos los miembros del espacio de trabajo podrán previsualizar tablas sin solicitar acceso. Manage Workspaces.

  Nota

  • Esta operación podría exponer datos confidenciales. Evalúe cuidadosamente los riesgos antes de continuar.

  • El propietario del proyecto o el administrador del espacio de trabajo puede ejecutar esta operación.

  • Este permiso controla únicamente la función Data Preview en la página de detalles de la tabla dentro de Data Map.

• Ocultar tabla: Las tablas ocultas se excluyen de los resultados de búsqueda. Oculte una tabla para todos los usuarios o restrinja su visibilidad a los miembros del espacio de trabajo. My Data.

  • Ocultar una sola tabla: En la página My Data > Owned by Me, actualice la configuración de visibilidad de la tabla.

    Nota

    De forma predeterminada, el propietario de la tabla y el administrador del espacio de trabajo no están sujetos a estos controles de permisos.

    Haga clic en Update Table Info en la columna Actions. En el cuadro de diálogo, Visibility admite las siguientes opciones:

    • Visible to all tenant members

    • Visible only to members of the associated workspace

    • Private

  • Ocultamiento masivo a nivel de proyecto: En Manage Configurations > Manage Workspaces, seleccione Workspace y configure las propiedades de ocultamiento para todas las tablas del proyecto.

    En la tabla MaxCompute Engine Configuration, active el interruptor Default Project-only Visibility para ocultar de forma masiva todas las tablas del motor de cómputo correspondiente.

Actualizar metadatos de tablas

Actualice los metadatos de una tabla cuando no aparezca en los resultados de búsqueda o cuando los cambios recientes no se reflejen.

1. En la página de resultados de búsqueda, haga clic en Refresh Table Metadata.

2. Vaya a la página My Data > Refresh Table Metadata en Data Map.

   Seleccione un Data Type (MaxCompute, EMR Hive o Data Lake Formation), introduzca el GUID de la tabla en el campo GUID (por ejemplo, project.schema.table o odps.project.schema.table) y, a continuación, haga clic en Refresh.

3. En la página de detalles de una tabla de MaxCompute o Data Lake Formation (DLF), haga clic en More > Refresh Metadata para actualizar manualmente los metadatos de la tabla. En una tabla de MaxCompute, el menú More también ofrece la opción Generate API, y las pestañas de detalles incluyen Data Insights, Data Health y Usage History.

Después de la actualización, vuelva a buscar la tabla en Data Map.