Si desea ejecutar un trabajo de MaxCompute de forma periódica, utilice DataStudio en la consola de DataWorks para desarrollar el trabajo en un nodo con activación automática y configure los parámetros correspondientes. Estos parámetros incluyen las propiedades de tiempo y las dependencias de programación. Posteriormente, envíe el trabajo de MaxCompute al Operation Center de DataWorks para su programación periódica. Este tema describe cómo desarrollar un trabajo programado periódicamente en la consola de DataWorks.
Flujo de trabajo de desarrollo
La siguiente figura muestra el flujo de trabajo básico de desarrollo de un trabajo de MaxCompute en la consola de DataWorks. 
Un espacio de trabajo de DataWorks puede operar en modo básico o estándar. En el modo estándar, un espacio de trabajo de DataWorks se asocia con un proyecto de MaxCompute en el entorno de producción y otro en el entorno de desarrollo. La figura anterior utiliza un espacio de trabajo de DataWorks en modo estándar.
Tenga en cuenta lo a continuación:
Los distintos tipos de trabajo se ejecutan en diferentes tipos de nodos. La siguiente tabla describe los tipos de nodos disponibles.
|
Tipo de nodo |
Descripción |
|
Nodo ODPS SQL |
Ejecuta trabajos basados en SQL en MaxCompute |
|
Nodo ODPS Spark |
Ejecuta trabajos basados en Spark en MaxCompute |
|
Nodo PyODPS |
Ejecuta trabajos basados en Python en MaxCompute |
|
Nodo general |
Implementa lógica de trabajo compleja, como bucles y recorridos |
En DataStudio, puede crear tablas de MaxCompute, registrar funciones de MaxCompute y crear recursos de MaxCompute para mejorar la eficiencia del desarrollo.
Facturación
Cuando crea nodos de sincronización y procesamiento de datos relacionados con MaxCompute en DataStudio y habilita la programación periódica en Operation Center, se le cobran tanto los recursos de DataWorks como los de otros servicios de Alibaba Cloud.
Cargos por recursos de DataWorks
Su factura de DataWorks incluye los siguientes cargos. Para consultar la lista completa de elementos facturables, consulte Descripción general de la facturación.
|
Tipo de cargo |
Descripción |
|
Cargos por edición de DataWorks |
Active DataWorks antes de desarrollar nodos. Si utiliza una edición avanzada, como DataWorks Enterprise Edition, se le cobrará al adquirir dicha edición. |
|
Cargos por recursos de programación |
Una vez desarrollados los nodos, se requieren recursos de programación para ejecutarlos. Adquiera resource groups para programación según sus necesidades: resource groups exclusivos de suscripción o el resource group compartido de pago por uso para programación. |
|
Cargos por recursos de sincronización de datos |
Un nodo de sincronización de datos consume tanto recursos de programación como de sincronización. Adquiera resource groups para Data Integration según sus necesidades: resource groups exclusivos de suscripción o el resource group compartido de pago por uso para Data Integration (depuración). |
No se aplican cargos de programación cuando ejecuta nodos al hacer clic en Run o Run with Parameters en la barra de herramientas superior de la página de DataStudio.
No se aplican cargos de programación a los nodos con errores ni a los nodos de ejecución simulada.
Para obtener más detalles sobre cómo se calculan los cargos de programación, consulte Lógica de emisión de nodos de programación en DataWorks.
Cargos por otros servicios de Alibaba Cloud
Los siguientes cargos no están incluidos en su factura de DataWorks.
Estos cargos siguen la lógica de facturación de los respectivos servicios de Alibaba Cloud. Por ejemplo, para conocer los detalles de facturación del motor de cómputo de MaxCompute, consulte Elementos facturables de MaxCompute.
La ejecución de nodos en DataWorks puede generar cargos de otros servicios de Alibaba Cloud, incluidos, entre otros:
|
Tipo de cargo |
Descripción |
|
Cargos por base de datos |
La ejecución de nodos de sincronización de datos para leer o escribir en bases de datos puede generar cargos por base de datos. |
|
Cargos por cómputo y almacenamiento |
La ejecución de nodos en un motor de cómputo específico puede generar cargos por cómputo y almacenamiento. Por ejemplo, ejecutar un nodo ODPS SQL para crear una tabla de MaxCompute y escribir datos en ella puede generar cargos de cómputo y almacenamiento de MaxCompute. |
|
Cargos por servicio de red |
Establecer conexiones de red entre DataWorks y otros servicios puede generar cargos de red. Por ejemplo, usar Express Connect, Elastic IP Address (EIP) o EIP Bandwidth Plan para conectar DataWorks con otros servicios puede generar cargos de red. |
Gestión de permisos
DataWorks ofrece un sistema integral de gestión de permisos que abarca tanto permisos de producto como de módulo. En la consola de DataWorks, puede solicitar y procesar permisos sobre los recursos del motor de cómputo de MaxCompute.
Comprensión del modelo de identidad de ejecución
Los trabajos en DataWorks se ejecutan en nombre de una identidad de ejecución, y la identidad utilizada depende del entorno:
Entorno de desarrollo: De forma predeterminada, se utiliza la identidad personal del ejecutor del nodo. Los usuarios de RAM reciben automáticamente permisos para el proyecto de MaxCompute del entorno de desarrollo cuando se les asigna un rol de espacio de trabajo.
Entorno de producción: Se utiliza una cuenta de Alibaba Cloud como identidad de acceso de programación. Los usuarios de RAM no tienen permisos del entorno de producción de forma predeterminada y deben solicitar acceso a través de Security Center.
Esta separación implica que la cuenta personal de un usuario de RAM tiene acceso automático al entorno de desarrollo, pero debe solicitar explícitamente acceso al entorno de producción.
Permisos de acceso a datos
Utilice un nodo ODPS SQL o de consulta ad hoc para consultar datos en tablas de MaxCompute. Este tema utiliza un espacio de trabajo de DataWorks en modo estándar. En el modo básico, no se admite la gestión detallada de permisos ni el aislamiento entre los entornos de desarrollo y producción.
La siguiente tabla describe los permisos de los usuarios de RAM en MaxCompute después de agregarlos a un espacio de trabajo y asignarles roles de espacio de trabajo.
|
Tipo de permiso |
Descripción |
|
Permisos en un proyecto de MaxCompute en el entorno de desarrollo |
Después de asignar a un usuario de RAM un rol integrado de espacio de trabajo y asociar un proyecto de MaxCompute con el espacio de trabajo en el entorno de desarrollo, el usuario de RAM recibe automáticamente los permisos del rol asignado. De forma predeterminada, el usuario de RAM tiene permisos en el entorno de desarrollo, pero no en el de producción. |
|
Permisos en un proyecto de MaxCompute en el entorno de producción |
La identidad de acceso de programación tiene amplios permisos en el proyecto de MaxCompute de producción. Otros usuarios de RAM no tienen permisos de forma predeterminada. Para acceder a tablas de MaxCompute en el entorno de producción, vaya a Security Center para solicitar los permisos necesarios. DataWorks proporciona un procedimiento predeterminado de procesamiento de solicitudes y permite a los usuarios con permisos de gestión personalizarlo. |
Para obtener más información, consulte Gestionar permisos de datos en una instancia de motor de cómputo de MaxCompute.
Acceso a tablas entre proyectos
MaxCompute permite consultar tablas entre proyectos al especificar el nombre del proyecto en DataStudio. La siguiente tabla describe los métodos de acceso y las cuentas de ejecución utilizadas en cada entorno.
En la sección Compute Engine Information de la página Workspace Management , puede ver los proyectos de MaxCompute asociados con el espacio de trabajo y las cuentas utilizadas para configurar cada entorno. Para obtener más información, consulte Asociar un motor de cómputo de MaxCompute con un espacio de trabajo .
En el entorno de desarrollo, la identidad personal del ejecutor del nodo ejecuta los nodos de forma predeterminada. En el entorno de producción, la identidad de acceso de programación (una cuenta de Alibaba Cloud) ejecuta los nodos. Para obtener más información, consulte Asociar un motor de cómputo de MaxCompute con un espacio de trabajo .
| Código de ejemplo | Cuenta de ejecución en el entorno de desarrollo (DataStudio y Operation Center en el entorno de desarrollo) | Cuenta de ejecución en el entorno de producción (Operation Center en el entorno de producción) |
|---|---|---|
Acceder a tablas en el proyecto de MaxCompute del entorno de desarrollo: |
La cuenta personal de Alibaba Cloud del ejecutor del nodo. Si un usuario de RAM ejecuta el nodo, se utiliza la cuenta de dicho usuario. Si una cuenta de Alibaba Cloud ejecuta el nodo, se utiliza esa cuenta. | La identidad de acceso de programación. |
Acceder a tablas en el proyecto de MaxCompute del entorno de producción: |
La cuenta personal de Alibaba Cloud del ejecutor del nodo. Importante
Debido a los controles de seguridad sobre los datos de producción, las cuentas personales no pueden acceder a las tablas de producción de forma predeterminada. Vaya a Security Center para solicitar los permisos necesarios. |
La identidad de acceso de programación. |
Acceder a tablas mediante el proyecto del entorno actual: |
Si la instrucción se ejecuta en el entorno de desarrollo, se utiliza la cuenta personal de Alibaba Cloud del ejecutor del nodo para acceder a las tablas del entorno de desarrollo. | Si la instrucción se ejecuta en el entorno de producción, se utiliza la identidad de acceso de programación para acceder a las tablas del entorno de producción. |
Permisos de servicio y funciones
Antes de que un usuario de RAM desarrolle datos en DataWorks, asígnele un rol de espacio de trabajo para otorgarle los permisos necesarios. Para obtener más información, consulte Mejores prácticas para gestionar permisos de usuarios de RAM.
Utilice la autorización basada en directivas de RAM para gestionar permisos en módulos de servicio de DataWorks; por ejemplo, impedir que los usuarios accedan a DataMap o permitirles eliminar un espacio de trabajo.
Utilice el control de acceso basado en roles (RBAC) para gestionar permisos en módulos de espacio de trabajo (como operaciones de desarrollo en DataStudio) y módulos globales (como impedir el acceso a Data Security Guard).
