Data Studio (nueva versión) - DataWorks - Centro de documentación de Alibaba Cloud

Data Studio es una plataforma inteligente de desarrollo para data lakehouse. Se integra con varios servicios de cómputo de Alibaba Cloud y ofrece funciones de ETL, gestión de catálogos de datos y orquestación de flujos de trabajo entre motores. Admite el desarrollo en Python, el análisis con Notebook, la integración con git y un ecosistema de plugin que unifica el procesamiento en tiempo real y por lotes. Además, combina la arquitectura de lakehouse con los macrodatos y la inteligencia artificial para gestionar todo el ciclo de vida de Data+AI.

¿Qué es Data Studio?

Data Studio se integra con decenas de servicios de cómputo de macrodatos e inteligencia artificial de Alibaba Cloud, como MaxCompute, E-MapReduce, Hologres, Flink y PAI. Esta integración permite desarrollar procesos ETL inteligentes para almacenes de datos, lagos de datos y arquitecturas de lakehouse OpenLake. Sus capacidades principales incluyen:

Catálogo de datos: gestión de metadatos diseñada para entornos de lakehouse.
Flujo de trabajo: orquesta nodos de procesamiento de datos en tiempo real y por lotes, así como nodos de IA, en decenas de tipos de motor.
Entorno de desarrollo personal: desarrollo y depuración de nodos en Python, análisis interactivo con Notebook y gestión de código basada en git, integrado con almacenamiento NAS/OSS.
Notebook: herramienta interactiva para el desarrollo y análisis de datos. Permite ejecutar o depurar código SQL o Python en varios motores de datos y visualizar los resultados al instante.

Habilitar el nuevo Data Studio

Para habilitar el nuevo Data Studio, siga estos pasos:

Al crear un espacio de trabajo, seleccione Use Data Studio (New Version). Para más detalles, consulte Create a workspace.
En la versión anterior de DataStudio, haga clic en el botón DataStudio en la parte superior de la página. Luego, haga clic en Upgrade to New Version y siga las indicaciones para migrar sus datos al nuevo Data Studio.
El nuevo Data Studio está disponible en las siguientes regiones: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia).

Importante

Si encuentra problemas al usar el nuevo Data Studio, únase al grupo de soporte dedicado de DingTalk para la actualización al nuevo Data Studio.
Los datos del nuevo Data Studio y de la versión anterior están completamente separados y no se pueden compartir.
La actualización de la versión anterior a la nueva es irreversible. Una vez completada, no podrá volver a la versión anterior. Antes de cambiar, cree un espacio de trabajo de prueba con el nuevo Data Studio habilitado para comprobar que cumple con sus necesidades de negocio.
A partir del 19 de febrero de 2025, cuando una cuenta raíz crea un espacio de trabajo de DataWorks por primera vez en una región compatible, el nuevo Data Studio se habilita de forma predeterminada. La versión anterior dejará de estar available.

Acceder a Data Studio

Vaya a la página Workspaces en la consola de DataWorks. En la barra de navegación superior, seleccione la región deseada. Busque el espacio de trabajo correspondiente y elija Shortcuts > Data Studio en la columna Actions.

Nota

Esta opción solo aparece en los espacios de trabajo donde Use Data Studio (New Version) está habilitado. Para más detalles, consulte Enable the new Data Studio.
Data Studio solo funciona en el navegador Chrome versión 69 o posterior, desde una computadora de escritorio.

Funciones principales de Data Studio

Data Studio ofrece las siguientes funciones principales. Para obtener más información, consulte Appendix: Concepts Related to Data Development.

Tipo	Descripción
Gestión de flujos	DataWorks proporciona un modelo de desarrollo basado en Workflow. Los flujos de trabajo usan una interfaz visual basada en DAG para simplificar la gestión de canalizaciones de tareas complejas desde una perspectiva de negocio. Para obtener más información, consulte Recurring workflow orchestration, Event-triggered workflows y Manually triggered workflows. Nota En Data Studio, cada workspace tiene los siguientes límites en cuanto a nodos y objetos internos del flujo de trabajo: Nodos internos: cada flujo de trabajo admite hasta `400` nodos. Objetos (flujos de trabajo, nodos, archivos, tablas, recursos y funciones): los usuarios de DataWorks Enterprise Edition pueden crear hasta `200,000` objetos. Quienes cuentan con DataWorks Professional, Standard o Basic Edition pueden crear hasta `100,000` objetos. Si su espacio de trabajo alcanza estos límites, no podrá crear nuevos flujos de trabajo ni objetos.
Desarrollo de tareas	Mayor variedad de capacidades: Nodos de diversos motores con funcionalidad totalmente encapsulada. Nodos de uso general para lógica compleja combinados con nodos de motor. Por ejemplo, activadores de sistemas externos, comprobaciones de objetos de archivo, bifurcaciones condicionales, ejecución de bucles y transferencia de resultados. Admite tareas de procesamiento de flujos de Flink mediante Realtime Compute for Apache Flink. También permite el desarrollo colaborativo entre Flink y motores como MaxCompute y Hologres. Operaciones más sencillas: Constructor visual de flujos de trabajo: arrastre y suelte componentes para orquestar rápidamente tareas multimotor. Editor SQL inteligente con sugerencias de código, visualización de la estructura de operadores y verificación de permisos. Para consultar los tipos de nodo compatibles, consulte Node Development Overview.
Programación de tareas	Métodos de activación: admite activadores de sistemas externos, activadores por eventos y programación activada por tareas anteriores mediante el análisis automático del linaje de datos. Tipos de dependencia: admite dependencias dentro del mismo ciclo y entre ciclos distintos, además de dependencias mutuas entre diferentes ciclos de programación y tipos de tarea. Control de ejecución: le permite configurar si una tarea se puede volver a ejecutar, controlar el momento de programación de las tareas posteriores según las anteriores, establecer fechas de vigencia para tareas programadas y definir comportamientos de programación. Por ejemplo, ejecución simulada (omitir la ejecución sin bloquear las tareas posteriores) o congelación (omitir la ejecución y bloquear las tareas posteriores). Garantía de idempotencia: ofrece un mecanismo de reejecución con condiciones y número de reintentos personalizables. Para más detalles sobre la programación, consulte Node scheduling configuration.
Control de calidad	Publicación estandarizada de tareas con varios mecanismos de control de calidad: Revisión de código: requiere una code review manual antes de publicar para evitar que se programen procesos problemáticos en producción. Comprobaciones de validación: integra las governance item checks de gobernanza de datos y la lógica de validación personalizada de las extensiones para automatizar y personalizar los controles de envío y publicación. Data Quality: vincula las quality monitoring a los nodos de programación. Esto activa la validación de reglas tras finalizar la tarea y ayuda a detectar problemas de datos de inmediato.
Otros	Capacidades abiertas: amplia cobertura de openapi mediante Open Platform, con puntos de extensión integrados para suscribirse a los eventos de desarrollo de DataWorks. Control de acceso: gestiona los permisos de las funciones de la interfaz y los permisos de acceso a los datos. Consulte Workspace-level module permission control.

Interfaz de Data Studio

Consulte Data Studio feature guide para conocer la distribución de la interfaz y cómo usar cada módulo.

Flujo de trabajo de desarrollo de tareas

DataWorks admite tareas de sincronización en tiempo real, tareas programadas por lotes (incluidos trabajos de sincronización y transformación) y tareas de ejecución manual. Para conocer las capacidades de sincronización de datos, consulte el módulo Data Integration.

Los espacios de trabajo de DataWorks operan en standard mode or basic mode. A continuación se muestra cómo varía el flujo de trabajo de desarrollo de tareas según el modo.

Flujo de trabajo de desarrollo en un espacio de trabajo en modo estándar

Flujo de trabajo en modo básico

Flujo de trabajo básico: en el modo estándar, el desarrollo de tareas programadas incluye etapas como desarrollo, depuración, configuración de programación, publicación y operación y mantenimiento. Para conocer el proceso general de desarrollo, consulte Overview of the new Data Studio.
Control del flujo de trabajo: durante el desarrollo, combine las code review integradas, las comprobaciones predefinidas de data governance y la lógica de validación personalizada de las extensiones de Open Platform para asegurar que las tareas cumplan con los estándares.

Enfoques de desarrollo de datos

Data Studio le permite personalizar su proceso de desarrollo. Construya canalizaciones de datos mediante flujos de trabajo, o bien cree nodos de tarea manualmente y configure sus dependencias.

Para más detalles, consulte Workflows.

Tipos de nodo compatibles en Data Studio

Data Studio admite decenas de tipos de nodo, incluidos los de integración de datos, MaxCompute, Hologres, EMR, Flink, Python, Notebook y ADB. Muchos de ellos permiten la programación recurrente. Elija el tipo de nodo adecuado según sus necesidades de negocio. Para consultar la lista completa, consulte Node Types.

Apéndice: conceptos clave en el desarrollo de datos

Desarrollo de tareas

Concepto	Descripción
Flujo de trabajo	Enfoque de desarrollo visual basado en DAG que simplifica las canalizaciones de tareas complejas desde una perspectiva de negocio. Los flujos de trabajo permiten orquestar decenas de tipos de nodo, incluidos los de integración de datos, MaxCompute, Hologres, EMR, Flink, Python, Notebook y ADB, y ofrecen programación a nivel de flujo. Admiten tanto flujos recurrentes como activados por eventos.
Flujo de trabajo de ejecución manual	Conjunto de tareas, tablas, recursos y funciones para una necesidad de negocio específica. A diferencia de los flujos recurrentes, las tareas de estos flujos deben iniciarse manualmente y no siguen una programación.
Nodo de tarea	Unidad básica de ejecución en DataWorks. Data Studio proporciona varios tipos de nodo: de integración de datos para sincronización, de cómputo de motor para limpieza de datos (como ODPS SQL, Hologres SQL y EMR Hive) y de uso general para lógica compleja (como nodos de carga cero para gestionar múltiples nodos o nodos do-while para bucles). La combinación de estos nodos satisface diversas necesidades de procesamiento de datos.

Programación de tareas

Concepto	Descripción
Dependencia	Las dependencias definen el orden de ejecución entre tareas. Si el nodo B se ejecuta solo después de que el nodo A finaliza, A es la dependencia anterior de B (o B depende de A). En un DAG, las dependencias se representan como flechas entre nodos.
Nombre de salida	Es el nombre del punto de salida de una tarea. Dentro de un mismo inquilino (cuenta de Alibaba Cloud), esta entidad virtual conecta las tareas anteriores y posteriores cuando usted define dependencias. Al establecer dependencias entre tareas, use el nombre de salida y no el nombre ni el identificador del nodo. Una vez configurado, este nombre de salida se convierte en el nombre de entrada del nodo posterior.
Nombre de la tabla de salida	Configure el nombre de la tabla de salida para que coincida con la tabla de salida real de la tarea actual. Esto ayuda a que las tareas posteriores confirmen que usan los datos esperados. No modifique manualmente los nombres de tablas de salida generados automáticamente, ya que solo funcionan como identificadores. Estos no afectan la tabla real que produce su script SQL, pues la determina la propia lógica SQL. Nota El Output Name de un nodo debe ser único globalmente, pero su Output table name no tiene esta restricción.
Resource group de programación	Es el resource group que se usa para programar tareas.
Parámetros de programación	Los Scheduling parameters son variables en su código que reciben valores dinámicos durante la ejecución. Para acceder a información contextual, como la fecha o la hora en ejecuciones repetidas, defina variables con la sintaxis de parámetros de programación de DataWorks.
Marca de tiempo de datos	Fecha asociada a una actividad de negocio que indica cuándo se generaron los datos correspondientes. Este concepto es especialmente importante en escenarios de cómputo por lotes. Por ejemplo, en el sector minorista, la facturación de ventas del 20241010 suele calcularse en la madrugada del 20241011. El resultado corresponde a la facturación real del 20241010. En este caso, 20241010 es la marca de tiempo de datos.
Hora programada	Hora exacta, con precisión de minutos, que usted establece para ejecutar una tarea recurrente. Importante Llegar a la hora programada no garantiza la ejecución inmediata. DataWorks comprueba que las tareas anteriores hayan finalizado correctamente, que la hora programada haya pasado y que haya suficientes recursos de programación disponibles. Solo cuando se cumplen todas estas condiciones se activa la tarea.