DataWorks:Descripción general de Data Asset Governance

Límites

• Ediciones

  Solo DataWorks Enterprise Edition o una edición superior es compatible con Data Asset Governance. Para obtener información sobre las ediciones de DataWorks, consulte DataWorks: Features by edition. Para obtener información sobre cómo activar DataWorks, consulte Purchase guide.

• Regiones

  Data Asset Governance está disponible en las siguientes regiones: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Japan (Tokyo),

  Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) y US (Virginia).

• Permisos

  • La siguiente tabla describe los permisos de cada rol en Data Asset Governance.

    Rol	Permiso	Referencias
    Administrador de gobernanza de datos a nivel de inquilino	Un administrador de gobernanza de datos a nivel de inquilino puede consultar informes de gobernanza, problemas de gobernanza y verificar eventos desde la perspectiva Global, además de ejecutar acciones correctivas.	Para obtener información sobre cómo otorgar permisos a los usuarios, consulte la sección Manage tenant member roles en el tema Gestión de permisos en servicios a nivel global. Para obtener más información sobre los permisos de un administrador de gobernanza de datos, consulte la sección Data Governance en el tema Permisos de roles integrados a nivel de espacio de trabajo.
    Administrador del espacio de trabajo	Un administrador de espacio de trabajo puede consultar informes de gobernanza desde la perspectiva Workspace View. Para consultar los informes de gobernanza de un espacio de trabajo específico, debe tener el rol de administrador de ese espacio de trabajo.	Para obtener información sobre cómo otorgar permisos a los usuarios, consulte la sección Add a RAM user to a workspace as a member and assign roles to the member en el tema Gestión de permisos en servicios a nivel de espacio de trabajo. Para obtener información sobre cómo consultar informes de gobernanza, consulte la sección View the governance assessment report en el tema Consulta de resultados de gobernanza de datos.
    Administrador de gobernanza de datos a nivel de espacio de trabajo	Un administrador de gobernanza de datos a nivel de espacio de trabajo puede consultar y gestionar el contenido de gobernanza de datos del espacio de trabajo al que pertenece el rol. Nota Este rol no puede consultar el estado de la gobernanza de datos en todos los espacios de trabajo de una región desde la dimensión global ni gestionar operaciones de gobernanza global, como habilitar elementos de verificación a nivel global. Para permitir que un usuario de Resource Access Management (RAM) ejecute operaciones de gobernanza global, asigne el rol de Administrador de gobernanza de datos a nivel de inquilino al usuario de RAM. Para obtener más información, consulte Data Governance Administrator role at the tenant level.	Para obtener información sobre cómo otorgar permisos a los usuarios, consulte la sección Add a RAM user to a workspace as a member and assign roles to the member en el tema Gestión de permisos en servicios a nivel de espacio de trabajo. Para obtener información sobre las funciones compatibles con el rol de administrador de gobernanza de datos a nivel de espacio de trabajo, consulte la sección Data Governance en el tema Permisos de roles integrados a nivel de espacio de trabajo.
    Usuario común	Los usuarios comunes gestionan los problemas detectados en Data Asset Governance. Un usuario común puede consultar eventos de verificación y problemas de gobernanza desde la dimensión personal, además de ejecutar operaciones de corrección. Para corregir problemas detectados en un espacio de trabajo, debe agregarse como miembro de dicho espacio. Nota De forma predeterminada, excepto las cuentas de Alibaba Cloud y los usuarios de RAM a los que se adjunta la directiva AliyunDataWorksFullAccess, todos los demás usuarios son usuarios comunes dentro de un inquilino.	Para obtener información sobre cómo otorgar permisos a los usuarios, consulte la sección Add a RAM user to a workspace as a member and assign roles to the member en el tema Gestión de permisos en servicios a nivel de espacio de trabajo.

  • Solo las cuentas de Alibaba Cloud y los usuarios de RAM con la directiva AliyunDataWorksFullAccess pueden usar todas las funciones de Data Asset Governance. Para utilizar todas las funciones como usuario de RAM, debe solicitar los permisos necesarios. Para obtener más información, consulte la sección Grant the permissions to perform operations in DataWorks to a RAM user en el tema Preparación de un usuario de RAM.

• Recursos de cómputo

  Actualmente, Data Asset Governance solo es compatible con recursos de cómputo de MaxCompute, E-MapReduce (EMR) y Hologres.

  Nota

  • Para usar un recurso de cómputo de Hologres en Data Asset Governance, primero debe recopilar sus metadatos con Data Map. Para obtener más información, consulte Metadata collection.

  • Data Asset Governance admite recursos de cómputo de Hologres únicamente en las regiones China (Beijing), China (Shanghai), China (Hangzhou) y China (Shenzhen).

Lógica de gobernanza de datos

Data Asset Governance detecta eventos de verificación basados en elementos de verificación antes de que las tareas de desarrollo de datos se confirmen y desplieguen, y detecta problemas de gobernanza basados en elementos de gobernanza después del despliegue. Esto garantiza un manejo integral de los eventos y problemas relacionados con los datos. Si una tarea no supera una verificación, se genera un evento. Los eventos graves pueden bloquear el proceso de desarrollo posterior. Puede consultar y gestionar el evento en Data Asset Governance y, una vez que la tarea supere la verificación, continuar con el desarrollo. El siguiente diagrama de flujo describe la lógica de gobernanza de datos:

DataWorks proporciona espacios de trabajo en modos estándar y básico. El proceso de desarrollo de tareas varía según el modo del espacio de trabajo. Este tema utiliza un espacio de trabajo en modo estándar para ilustrar el proceso de desarrollo de tareas. Para obtener más información sobre el proceso de desarrollo en diferentes modos, consulte DataStudio (legacy).

• Ejecutar verificaciones basadas en elementos de verificación.

  Los elementos de verificación validan los datos conforme a reglas antes de que las tareas se confirmen y desplieguen. Si el sistema detecta una infracción, genera un evento de verificación para bloquear el proceso de desarrollo posterior. Puede resolver el problema para que el proceso de desarrollo continúe según lo esperado.

• Ejecutar verificaciones basadas en elementos de gobernanza.

  La detección de elementos de gobernanza es un mecanismo posterior al despliegue. Puede usar las perspectivas Global, Individual o Workspace View en Data Asset Governance para consultar los elementos de gobernanza pendientes. El personal de gobernanza puede utilizar esta información para descubrir y resolver problemas rápidamente, ayudando al equipo a cumplir los objetivos de gobernanza.

Proceso de gobernanza de datos

1. Configurar herramientas de gobernanza.

   • Habilitar una plantilla de plan de gobernanza y configurar elementos personalizados.

     Operación	Descripción	Referencias
     Configurar elementos de verificación personalizados	Si los elementos de verificación de la plantilla no satisfacen sus requisitos empresariales, puede configurar elementos de verificación personalizados. Crear un elemento de verificación para una extensión personalizada registrada. DataWorks también permite crear elementos de verificación en Data Asset Governance para una extensión personalizada. Después de crear dichos elementos, Data Asset Governance detecta los eventos de verificación activados por la extensión personalizada. Deshabilitar elementos de verificación. Si un elemento de verificación en la plantilla del plan de gobernanza es innecesario para un espacio de trabajo, puede deshabilitarlo. Una vez deshabilitado el elemento, Data Asset Governance deja de detectar sus eventos de verificación en ese espacio de trabajo.	Configure check items
     Configurar elemento de gobernanza personalizado	Si un elemento de gobernanza en la plantilla del plan de gobernanza es innecesario para un espacio de trabajo, puede crear una regla para deshabilitarlo. Tras deshabilitar el elemento de gobernanza, Data Asset Governance deja de detectar problemas de gobernanza basados en ese elemento en el espacio de trabajo. Los problemas de gobernanza detectados no se muestran en la pestaña Governance Issue. Nota Solo puede deshabilitar elementos de gobernanza opcionales. No puede deshabilitar elementos de gobernanza obligatorios ni crear elementos de gobernanza.	Configure governance items

   • Opcional. Configurar una unidad de gobernanza.

     Puede realizar la gobernanza de datos en varios espacios de trabajo de manera centralizada mediante la creación de una unidad de gobernanza. Posteriormente, podrá consultar estadísticas agregadas sobre puntuaciones de salud, problemas de gobernanza y eventos de verificación para los espacios de trabajo dentro de la unidad de gobernanza. Para obtener más información, consulte Configure governance units.

   • Opcional. Configurar métodos de notificación de problemas.

     Para que el sistema notifique al personal especificado sobre los problemas detectados a través de mensajes del sistema, correos electrónicos, mensajes de grupo de DingTalk o URL de webhook, configure los métodos de notificación de problemas. Esto asegura que el personal pueda consultar y gestionar los problemas con prontitud. Para obtener más información, consulte Alert settings.

2. Iniciar una verificación y gestionar los problemas de gobernanza detectados.

   • Verificar si los datos infringen los elementos de verificación antes de confirmarlos y desplegarlos.

     Antes de confirmar y desplegar los datos, DataWorks los verifica conforme a los elementos de verificación configurados. Si los datos infringen algún elemento de verificación, se generan eventos de verificación. Luego puede consultar y gestionar estos eventos. Para obtener más información, consulte Handle check events.

   • Ejecutar verificaciones después del despliegue de tareas.

     Después de confirmar y desplegar los datos, DataWorks detecta problemas de gobernanza basados en los elementos de gobernanza configurados. Luego puede consultar y gestionar estos problemas. Para obtener más información, consulte Handle check events.

   • Ejecutar verificaciones de asset 360.

     Puede usar la función asset 360 para detectar, consultar y gestionar problemas de gobernanza en tareas y tablas específicas. Para obtener más información, consulte Asset 360.

   • Realizar gobernanza automatizada de vistas materializadas.

     Data Asset Governance admite vistas materializadas con gobernanza automatizada y recomendaciones inteligentes. Se trata de una solución inteligente y automatizada para tareas de cómputo de big data que frecuentemente manejan grandes cantidades de subconsultas similares. Para obtener más información, consulte Materialized views.

   Si se detectan problemas no válidos, puede agregarlos a una lista de permitidos o cancelar el despliegue de las tareas o tablas relacionadas. Para obtener más información, consulte Add an issue to a whitelist y Graceful undeployment.

3. Seleccionar una dimensión analítica.

   • Según los escenarios de uso: DataWorks proporciona múltiples dimensiones, como producción de datos, uso de datos y gestión de datos, para ayudarle a analizar la eficacia de la gobernanza y gobernar los datos de manera eficiente.

   • Según el uso racional de los recursos: DataWorks ofrece estadísticas sobre el consumo de recursos, el estado de ejecución de tareas, el recuento y almacenamiento de tablas de MaxCompute, así como un resumen y detalles del uso de recursos. Los desarrolladores y administradores de datos pueden analizar el uso general de recursos del espacio de trabajo y optimizar su asignación basándose en estas estadísticas. Para obtener más información, consulte Asset analysis

4. Consultar resultados de gobernanza.

   Una vez gestionados los problemas de gobernanza, puede ir a la página Overview > Workbench para consultar los resultados de gobernanza desde diferentes perspectivas. Al analizar los resultados, puede identificar rápidamente las dimensiones y categorías con más problemas, lo que le ayuda a impulsar su resolución y alcanzar los objetivos de gobernanza.

   Data Asset Governance calcula puntuaciones de salud basadas en elementos de gobernanza mediante un modelo de evaluación de salud. Puede consultar las puntuaciones de salud en los informes de gobernanza y las tablas de clasificación para comprender los resultados de la gobernanza. Una puntuación de salud más alta indica una mayor eficacia de la gobernanza. Para obtener más información, consulte la sección Quantitative assessment: health scores en el tema Descripción general.

Evaluación cuantitativa: puntuaciones de salud

Una puntuación de salud es una calificación compuesta que refleja el estado de sus activos de datos. El sistema la calcula aplicando técnicas de procesamiento de datos y aprendizaje automático a metadatos como el comportamiento del usuario, las características de los datos y las propiedades de las tareas en la producción, distribución y gestión de datos. El sistema de puntuación de salud se basa en cinco dominios clave: almacenamiento, cómputo, I+D, calidad y seguridad, con cinco métricas de puntuación de salud correspondientes. La página de puntuación de salud muestra un gráfico de radar con puntuaciones de gobernanza para cinco dimensiones: I+D, almacenamiento, cómputo, calidad y seguridad. También proporciona información sobre tendencias mes a mes.

Las puntuaciones de salud oscilan entre 0 y 100. Una puntuación más alta indica activos de datos más saludables. Esto le ayuda a utilizar los datos de forma segura, eficiente y confiable, garantizando al mismo tiempo la producción de datos y las operaciones comerciales. Data Asset Governance utiliza un modelo de evaluación de salud integrado para realizar una evaluación cuantitativa de la eficacia de la gobernanza y genera una puntuación de salud general y una puntuación para cada dimensión de gobernanza. La siguiente tabla describe los grados de evaluación y los rangos de puntuación.

• Excelente: [90, 100]

• Bueno: [75, 90)

• Aprobado: [60, 75)

• Mejora necesaria: [30, 60)

• Deficiente: [0,30)

Términos

• Check item: Mecanismo de gobernanza proactiva aplicado durante el flujo de trabajo de producción de datos. Realiza verificaciones previas en etapas críticas, como la ejecución y el despliegue de tareas, para identificar problemas potenciales como un escaneo completo de tabla o una dependencia de programación faltante. Si el sistema detecta un elemento no conforme, genera un evento de verificación y bloquea automáticamente el proceso. Esto impone la estandarización y normaliza el procesamiento de datos.

• Governance Item: Un elemento de gobernanza define un problema potencial o un área de optimización identificada durante la gobernanza de datos. Abarca áreas como estándares de desarrollo, calidad de datos, cumplimiento de seguridad y utilización de recursos. Los elementos de gobernanza se dividen en obligatorios y opcionales. Los elementos obligatorios están habilitados de forma predeterminada y no se pueden modificar, mientras que los opcionales pueden habilitarse según sea necesario. Algunos ejemplos incluyen Task running time is too long, Continuous error nodes y No one visits leaf nodes.

• Governance Issue: Problema detectado por un escaneo de elementos de gobernanza que requiere solución.

• Governance unit: Una unidad de gobernanza consta de uno o más espacios de trabajo. Puede consultar estadísticas sobre la puntuación de salud general, los problemas de gobernanza y los eventos de verificación de los espacios de trabajo dentro de una unidad de gobernanza.

• Governance plan: Data Asset Governance proporciona plantillas de planes de gobernanza para diferentes escenarios, diseñadas para lograr objetivos predeterminados dentro de períodos específicos. Una plantilla de plan de gobernanza le ayuda a identificar rápidamente elementos de gobernanza y elementos de verificación relevantes, así como a descubrir oportunidades de optimización. Esto ayuda a los responsables de la gobernanza a rastrear la eficacia y asiste al equipo para cumplir eficientemente los objetivos de gobernanza mediante evaluaciones cuantitativas.

• Knowledge Base: Contiene definiciones de los elementos de verificación y elementos de gobernanza integrados en Data Asset Governance. Ayuda al personal de gobernanza a identificar y comprender rápidamente problemas específicos, y proporciona información de referencia y orientación práctica para mejorar la eficiencia.

Documentación relacionada

Para obtener más información sobre el uso de elementos de verificación durante el desarrollo de datos, consulte Diagnose and govern node development issues.