Si vous souhaitez exécuter périodiquement une tâche MaxCompute, utilisez DataStudio dans la console DataWorks pour développer la tâche sur un nœud déclenché automatiquement et configurez les paramètres associés, notamment les propriétés temporelles et les dépendances de planification. Ensuite, soumettez la tâche MaxCompute au centre d'opérations de DataWorks (Operation Center) pour une planification périodique. Cette rubrique explique comment développer une tâche planifiée périodiquement dans la console DataWorks.
Flux de travail de développement
L'illustration suivante présente le flux de travail de développement de base d'une tâche MaxCompute dans la console DataWorks. 
Un espace de travail DataWorks peut fonctionner en mode basique ou en mode standard. En mode standard, un espace de travail DataWorks est associé à un projet MaxCompute dans l'environnement de production et à un projet MaxCompute dans l'environnement de développement. L'illustration ci-dessus utilise un espace de travail DataWorks en mode standard.
Tenez compte des points suivants :
Les différents types de tâches s'exécutent sur des types de nœuds distincts. Le tableau suivant décrit les types de nœuds disponibles.
| Type de nœud | Description |
|---|---|
| Nœud ODPS SQL | Exécute des tâches basées sur SQL sur MaxCompute |
| Nœud ODPS Spark | Exécute des tâches basées sur Spark sur MaxCompute |
| Nœud PyODPS | Exécute des tâches basées sur Python sur MaxCompute |
| Nœud général | Implémente une logique de tâche complexe, telle que des boucles et des traversées |
Dans DataStudio, vous pouvez créer des tables MaxCompute, enregistrer des fonctions MaxCompute et créer des ressources MaxCompute afin d'améliorer l'efficacité du développement.
Facturation
Lorsque vous créez des nœuds de synchronisation et des nœuds de traitement des données liés à MaxCompute dans DataStudio et activez la planification périodique dans Operation Center, des frais sont facturés pour les ressources DataWorks ainsi que pour les ressources d'autres services Alibaba Cloud.
Frais de ressources DataWorks
Votre facture DataWorks inclut les frais suivants. Pour la liste complète des éléments facturables, consultez Présentation de la facturation.
| Type de frais | Description |
|---|---|
| Frais d'édition DataWorks | Activez DataWorks avant de développer des nœuds. Si vous utilisez une édition avancée, telle que DataWorks Enterprise Edition, des frais sont appliqués lors de l'achat de l'édition. |
| Frais de ressources de planification | Une fois les nœuds développés, des ressources de planification sont nécessaires pour les exécuter. Achetez des groupes de ressources pour la planification selon vos besoins : groupes de ressources dédiés par abonnement ou groupe de ressources partagé pour la planification avec paiement à l'utilisation. |
| Frais de ressources de synchronisation des données | Un nœud de synchronisation des données consomme à la fois des ressources de planification et des ressources de synchronisation. Achetez des groupes de ressources pour Data Integration selon vos besoins : groupes de ressources dédiés par abonnement ou groupe de ressources partagé pour Data Integration (débogage) avec paiement à l'utilisation. |
Aucun frais de planification ne s'applique lorsque vous exécutez des nœuds en cliquant sur Run ou Run with Parameters dans la barre d'outils supérieure de la page DataStudio.
Aucun frais de planification ne s'applique aux nœuds ayant échoué ou aux nœuds de test à blanc (dry-run).
Pour plus de détails sur le calcul des frais de planification, consultez Logique de diffusion des nœuds de planification dans DataWorks.
Frais pour d'autres services Alibaba Cloud
Les frais suivants ne sont pas inclus dans votre facture DataWorks.
Ces frais suivent la logique de facturation des services Alibaba Cloud respectifs. Par exemple, pour les détails de facturation du moteur de calcul MaxCompute, consultez Éléments facturables de MaxCompute.
L'exécution de nœuds dans DataWorks peut générer des frais provenant d'autres services Alibaba Cloud, notamment mais sans s'y limiter :
| Type de frais | Description |
|---|---|
| Frais de base de données | L'exécution de nœuds de synchronisation des données pour lire ou écrire dans des bases de données peut engendrer des frais de base de données. |
| Frais de calcul et de stockage | L'exécution de nœuds sur un moteur de calcul spécifique peut générer des frais de calcul et de stockage. Par exemple, l'exécution d'un nœud ODPS SQL pour créer une table MaxCompute et y écrire des données peut entraîner des frais de calcul et de stockage MaxCompute. |
| Frais de service réseau | L'établissement de connexions réseau entre DataWorks et d'autres services peut générer des frais réseau. Par exemple, l'utilisation d'Express Connect, d'Elastic IP Address (EIP) ou d'un plan de bande passante EIP pour connecter DataWorks à d'autres services peut entraîner des frais réseau. |
Gestion des autorisations
DataWorks propose un système complet de gestion des autorisations couvrant les permissions au niveau du produit et au niveau des modules. Dans la console DataWorks, vous pouvez demander et traiter les autorisations sur les ressources du moteur de calcul MaxCompute.
Comprendre le modèle d'identité d'exécution
Les tâches dans DataWorks s'exécutent au nom d'une identité d'exécution, qui varie selon l'environnement :
Environnement de développement : L'identité personnelle de l'exécuteur du nœud est utilisée par défaut. Les utilisateurs RAM reçoivent automatiquement les autorisations pour le projet MaxCompute de l'environnement de développement lorsqu'un rôle au niveau de l'espace de travail leur est attribué.
Environnement de production : Un compte Alibaba Cloud sert d'identité d'accès pour la planification. Les utilisateurs RAM ne disposent pas d'autorisations pour l'environnement de production par défaut et doivent demander l'accès via Security Center.
Cette séparation signifie que le compte personnel d'un utilisateur RAM a accès à l'environnement de développement automatiquement, mais doit explicitement demander l'accès à l'environnement de production.
Autorisations d'accès aux données
Utilisez un nœud ODPS SQL ou un nœud de requête ad hoc pour interroger les données dans les tables MaxCompute. Cette rubrique utilise un espace de travail DataWorks en mode standard. En mode basique, la gestion fine des autorisations et l'isolation entre les environnements de développement et de production ne sont pas prises en charge.
Le tableau suivant décrit les autorisations des utilisateurs RAM sur MaxCompute après leur ajout à un espace de travail et l'attribution de rôles au niveau de l'espace de travail.
| Type d'autorisation | Description |
|---|---|
| Autorisations sur un projet MaxCompute dans l'environnement de développement | Après avoir attribué un rôle intégré au niveau de l'espace de travail à un utilisateur RAM et associé un projet MaxCompute à l'espace de travail dans l'environnement de développement, l'utilisateur RAM reçoit automatiquement les autorisations du rôle mappé. Par défaut, l'utilisateur RAM dispose d'autorisations dans l'environnement de développement, mais pas dans l'environnement de production. |
| Autorisations sur un projet MaxCompute dans l'environnement de production | L'identité d'accès pour la planification dispose d'autorisations étendues sur le projet MaxCompute de production. Les autres utilisateurs RAM ne disposent pas d'autorisations par défaut. Pour accéder aux tables MaxCompute dans l'environnement de production, accédez à Security Center pour demander les autorisations requises. DataWorks fournit une procédure de traitement des demandes par défaut et permet aux utilisateurs disposant d'autorisations de gestion de la personnaliser. |
Pour plus d'informations, consultez Gérer les autorisations sur les données dans une instance de moteur de calcul MaxCompute.
Accès aux tables interprojets
MaxCompute vous permet d'interroger des tables entre projets en spécifiant le nom du projet dans DataStudio. Le tableau suivant décrit les méthodes d'accès et les comptes d'exécution utilisés dans chaque environnement.
Dans la section Compute Engine Information de la page Workspace Management , vous pouvez consulter les projets MaxCompute associés à l'espace de travail et les comptes utilisés pour configurer chaque environnement. Pour plus d'informations, consultez Associer un moteur de calcul MaxCompute à un espace de travail .
Dans l'environnement de développement, l'identité personnelle de l'exécuteur du nœud exécute les nœuds par défaut. Dans l'environnement de production, l'identité d'accès pour la planification (un compte Alibaba Cloud) exécute les nœuds. Pour plus d'informations, consultez Associer un moteur de calcul MaxCompute à un espace de travail .
| Exemple de code | Compte d'exécution dans l'environnement de développement (DataStudio et Operation Center dans l'environnement de développement) | Compte d'exécution dans l'environnement de production (Operation Center dans l'environnement de production) |
|---|---|---|
Accéder aux tables dans le projet MaxCompute de l'environnement de développement : |
Le compte Alibaba Cloud personnel de l'exécuteur du nœud. Si un utilisateur RAM exécute le nœud, le compte de l'utilisateur RAM est utilisé. Si un compte Alibaba Cloud exécute le nœud, ce compte est utilisé. | L'identité d'accès pour la planification. |
Accéder aux tables dans le projet MaxCompute de l'environnement de production : |
Le compte Alibaba Cloud personnel de l'exécuteur du nœud. Important
En raison des contrôles de sécurité sur les données de production, les comptes personnels ne peuvent pas accéder aux tables de production par défaut. Accédez à Security Center pour demander les autorisations requises. |
L'identité d'accès pour la planification. |
Accéder aux tables en utilisant le projet de l'environnement actuel : |
Si l'instruction s'exécute dans l'environnement de développement, le compte Alibaba Cloud personnel de l'exécuteur du nœud est utilisé pour accéder aux tables de l'environnement de développement. | Si l'instruction s'exécute dans l'environnement de production, l'identité d'accès pour la planification est utilisée pour accéder aux tables de l'environnement de production. |
Autorisations de service et de fonctionnalité
Avant qu'un utilisateur RAM ne développe des données dans DataWorks, attribuez-lui un rôle au niveau de l'espace de travail pour lui accorder les autorisations requises. Pour plus d'informations, consultez Bonnes pratiques pour la gestion des autorisations des utilisateurs RAM.
Utilisez l'autorisation basée sur les stratégies RAM pour gérer les autorisations sur les modules de service DataWorks, par exemple pour empêcher les utilisateurs d'accéder à DataMap ou pour autoriser les utilisateurs à supprimer un espace de travail.
Utilisez le contrôle d'accès basé sur les rôles (RBAC) pour gérer les autorisations sur les modules au niveau de l'espace de travail (tels que les opérations de développement DataStudio) et les modules au niveau global (tels que l'empêchement d'accès à Data Security Guard).
