Para usar Open Data en la recopilación de metadatos, primero debe instalar el paquete Open Data en su proyecto. Este tema describe el proceso de instalación y verificación.
DataWorks lanzó una nueva función de Open Data que admite visualización para una gestión de metadatos intuitiva y eficiente. Para obtener más información, consulte Manage Open Data.
Recomendación
La función Open Data de DataWorks pasó de su fase inicial de acceso por invitación a una versión estable y de disponibilidad general (GA). La versión GA ofrece visualización para facilitar la exploración y gestión de metadatos. Este documento se retirará próximamente. Le recomendamos usar la versión GA. Para consultar las instrucciones, véase Manage Open Data.
Limitaciones
La función Open Data solo está disponible en DataWorks Enterprise Edition. En esta versión de acceso por invitación, únicamente puede instalar el paquete Open Data desde la línea de comandos.
Open Data solo es compatible con el motor de cómputo MaxCompute.
Instalar el paquete Open Data
-
Obtenga la autorización correspondiente.
Antes de instalar el paquete Open Data, debe obtener la autorización. Puede enviar un ticket para proporcionar la información de su proyecto al soporte técnico de DataWorks. Una vez que el soporte técnico de DataWorks autorice su proyecto, podrá instalar el paquete para recopilar metadatos.
NotaAl enviar un ticket, proporcione su ID de cuenta de Alibaba Cloud, el nombre del espacio de trabajo, el ID del espacio de trabajo y la región donde reside dicho espacio.
Se recomienda que el proyecto cumpla los siguientes requisitos para la autorización:
El proyecto cuenta con un sistema sólido de gestión de permisos para evitar fugas de datos derivadas del uso compartido no autorizado de metadatos.
El proyecto permite compartirse dentro de su empresa o equipo. Esto facilita que los metadatos de DataWorks se compartan entre los distintos equipos de desarrollo de datos.
-
Instale el paquete Open Data como propietario del proyecto.
Este ejemplo muestra cómo instalar el paquete en DataStudio. Inicie sesión en la página de DataStudio del proyecto autorizado y ejecute los comandos de instalación en un nodo de MaxCompute.
NotaSi el proyecto autorizado se encuentra en modo estándar, where el entorno de desarrollo y el de producción están aislados, debe instalar el paquete Open Data de DataWorks en ambos entornos.
En los comandos de instalación, reemplace el nombre del proyecto u_meta y el nombre del paquete Open Data según la región de instalación. Los siguientes comandos muestran cómo instalar el paquete Open Data para la región China (Hangzhou).
-- Install the Open Data package for the China (Hangzhou) region in the development environment (work_test_2_dev). INSTALL PACKAGE u_meta_hangzhou.systables; -- Install the Open Data package for the China (Hangzhou) region in the production environment (work_test_2). USE work_test_2; INSTALL PACKAGE u_meta_hangzhou.systables;Parámetros:
u_meta_hangzhou: Nombre del proyecto u_meta correspondiente al paquete Open Data en la región China (Hangzhou).
systables: Nombre del paquete Open Data. Tras la instalación, puede usar sus tablas y vistas para recopilar diversos tipos de metadatos, incluidos los de particiones y linaje de tablas.
Alibaba Cloud proporciona paquetes Open Data para varias regiones. El nombre del proyecto u_meta varía según la región. Para consultar la lista de nombres de proyectos u_meta correspondientes a cada región, véase Appendix 2: List of available projects. Debe instalar el paquete Open Data correcto para la región donde tenga previsto usar Open Data. Reemplace el nombre del proyecto u_meta por el correspondiente a su región.
-
Compruebe la instalación.
En la lista de paquetes instalados, localice aquel cuyo PackageName y SourceProject coincidan con los del paso anterior. Si el Status es OK, el paquete Open Data se instaló correctamente.
-- Check if u_meta_hangzhou.systables is in the list of installed packages for the project. SHOW PACKAGES; -- Sample output +-------------+-----------------+--------------------------+--------+ | PackageName | SourceProject | InstallTime | Status | +-------------+-----------------+--------------------------+--------+ | systables | u_meta_hangzhou | 2020-11-26T15:25:22+0800 | OK | +-------------+-----------------+--------------------------+--------+
Consultar tablas y vistas de Open Data
Al usar Open Data, debe introducir el nombre completo de la tabla o vista. Los nombres pueden variar entre las distintas versiones del paquete Open Data.
Ejecute el siguiente comando para listar las tablas y vistas de su instalación de Open Data, junto con sus nombres y permisos.
DESCRIBE PACKAGE u_meta_hangzhou.systables;El siguiente ejemplo muestra cómo ejecutar el comando de consulta en DataStudio y la salida resultante.
Los nombres de las tablas y vistas en Open Data incluyen información de versión, la cual cambia con las iteraciones de las funciones. El número de versión que use debe basarse en el incluido en el paquete systables, ya que constituye la fuente definitiva. Por ejemplo, en el nombre de la vista raw_v_tenant_user_v1_1, v1_1 corresponde al número de versión.
-- View the tables or views contained in the u_meta_hangzhou.systables package.
DESCRIBE PACKAGE u_meta_hangzhou.systables;
-- Sample output
CreateTime: 2020-11-18T20:17:24+0800
PackageName: systables
SourceProject: u_meta_hangzhou
Object List
+------------+-----------------------------------+------------------+
| ObjectType | ObjectName | ObjectPrivileges |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_biz_table_wiki_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_column_usage_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_column_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_database_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_partition_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_detail_log_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_join_map_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_lineage_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_output_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_usage_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_table_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_meta_view_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_schedule_di_resgroup_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_schedule_node_relation_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_schedule_node_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_schedule_task_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_tenant_res_group_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_tenant_user_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_tenant_workspace_user_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | raw_v_tenant_workspace_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | rpt_v_meta_ind_table_core_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+
| TABLE | rpt_v_meta_ind_table_extra_v1_1 | Describe,Select |
+------------+-----------------------------------+------------------+Consultar esquema y descripciones de campos
Ejecute el siguiente comando para consultar el esquema y las descripciones de campos de una tabla o vista específica.
DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_1;En este caso, rpt_v_meta_ind_table_core_v1_0 es el nombre de la tabla o vista que desea consultar. Puede obtener el nombre real de la tabla o vista en View tables or views provided by DataWorks Open Data.
DataWorks proporciona datos en múltiples dimensiones, incluidos, entre otros, datos detallados, métricos y dimensionales. Puede recuperar y guardar selectivamente los datos en su proyecto de DataWorks según sus necesidades. Estos datos pueden usarse como historial para la gobernanza de datos o tareas de O&M, lo que evita un consumo innecesario de almacenamiento.
El siguiente ejemplo muestra cómo usar DataStudio para consultar la vista rpt_v_meta_ind_table_core, e incluye el comando y su salida.
-- View the field descriptions for the rpt_v_meta_ind_table_core view.
DESCRIBE u_meta_hangzhou.rpt_v_meta_ind_table_core_v1_1;
-- Sample output
+------------------------------------------------------------------------------------+
| Owner: ALIYUN$dataworks-datagovernance | Project: u_meta_hangzhou |
| TableComment: Core metrics for tables in the metadata module |
+------------------------------------------------------------------------------------+
| CreateTime: 2020-12-07 20:02:53 |
| LastDDLTime: 2020-12-07 20:02:53 |
| LastModifiedTime: 2020-12-07 20:02:53 |
+------------------------------------------------------------------------------------+
| VirtualView : YES | ViewText: CREATE OR REPLACE VIEW rpt_v_meta_ind_table_core_v1_1 (@param_biz_date STRING)
RETURNS @ret_result TABLE (
tenant_id BIGINT COMMENT 'Dimension: DataWorks tenant ID',
project_id BIGINT COMMENT 'Dimension: DataWorks project (workspace) ID',
catalog_name STRING COMMENT 'Dimension: Catalog. For MaxCompute projects, the value is odps.',
database_name STRING COMMENT 'Dimension: Database or MaxCompute project name',
table_name STRING COMMENT 'Dimension: Table name',
table_uuid STRING COMMENT 'Dimension: Unique table identifier',
owner_yun_acct STRING COMMENT 'Dimension: Alibaba Cloud account of the table owner',
dim_life_cycle BIGINT COMMENT 'Dimension: Lifecycle period. 0 indicates that no lifecycle is set; other values represent specific periods.',
is_partition_table BOOLEAN COMMENT 'Dimension: Specifies whether the table is partitioned. true indicates a partitioned table.',
entity_type BIGINT COMMENT 'Dimension: Entity type. 0: table, 1: view.',
categories STRING COMMENT 'Dimension: Category information',
last_access_time BIGINT COMMENT 'Dimension: Last access time of the table (10-digit UNIX timestamp).',
`size` BIGINT COMMENT 'Table size. This refers to the logical storage size of the data. The value is NULL for a view.',
column_count BIGINT COMMENT 'The column count, including partition columns.',
partition_count BIGINT COMMENT 'The partition count. This value is NULL for non-partitioned tables.',
detail_view_count BIGINT COMMENT 'The number of times the table details were viewed in the UI.',
favorite_count BIGINT COMMENT 'The number of times the table has been added to favorites.',
biz_date STRING COMMENT 'The business date of the data.'
) COMMENT 'Core metrics for tables in the metadata module' AS
SELECT * FROM u_meta_hangzhou.rpt_v_meta_ind_table_core_proxy(@param_biz_date) |
+------------------------------------------------------------------------------------+
| Native Columns: |
+------------------------------------------------------------------------------------+
| Field | Type | Label | Comment |
+------------------------------------------------------------------------------------+
| tenant_id | bigint | | Dimension: DataWorks tenant ID |
| project_id | bigint | | Dimension: DataWorks project (workspace) ID |
| catalog_name | string | | Dimension: Catalog. For MaxCompute projects, the value is odps. |
| database_name | string | | Dimension: Database or MaxCompute project name |
| table_name | string | | Dimension: Table name |
| table_uuid | string | | Dimension: Unique table identifier |
| owner_yun_acct | string | | Dimension: Alibaba Cloud account of the table owner |
| dim_life_cycle | bigint | | Dimension: Lifecycle period. 0 indicates that no lifecycle is set; other values represent specific periods. |
| is_partition_table | boolean | | Dimension: Specifies whether the table is partitioned. true indicates a partitioned table. |
| entity_type | bigint | | Dimension: Entity type. 0: table, 1: view. |
| categories | string | | Dimension: Category information |
| last_access_time | bigint | | Dimension: Last access time of the table (10-digit UNIX timestamp). |
| size | bigint | | Table size. This refers to the logical storage size of the data. The value is NULL for a view. |
| column_count | bigint | | The column count, including partition columns. |
| partition_count | bigint | | The partition count. This value is NULL for non-partitioned tables. |
| detail_view_count | bigint | | The number of times the table details were viewed in the UI. |
| favorite_count | bigint | | The number of times the table has been added to favorites. |
| biz_date | string | | The business date of the data. |
+------------------------------------------------------------------------------------+Para obtener más detalles sobre los esquemas de tablas y vistas, consulte Appendix 1: Lists and structure details of metadata tables.
Desinstalar el paquete Open Data
Este ejemplo muestra cómo desinstalar el paquete Open Data en DataStudio.
Si el proyecto autorizado se encuentra en modo estándar, where el entorno de desarrollo y el de producción están aislados, debe desinstalar el paquete Open Data de DataWorks de ambos entornos.
-- Uninstall from the development project (work_test_2_dev).
UNINSTALL PACKAGE u_meta_hangzhou.systables;
-- Uninstall from the production project (work_test_2).
USE work_test_2;
UNINSTALL PACKAGE u_meta_hangzhou.systables;Pasos siguientes
Una vez instalado el paquete Open Data, puede usarlo para recopilar metadatos que respalden la gobernanza de datos o las tareas de O&M. Para obtener más información sobre cómo usar Open Data, consulte Use Open Data.