DataWorks propose plusieurs types de nœuds MaxCompute ainsi que des configurations de planification flexibles pour le développement de tâches. Cette rubrique explique comment créer et gérer des nœuds MaxCompute.
Prérequis
Votre compte doit être ajouté à l'espace de travail avec le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator dispose d'autorisations étendues ; accordez-le avec prudence. Ajouter des membres à l'espace de travail.
Créer un nœud MaxCompute
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
-
Lier une ressource de calcul MaxCompute à l'espace de travail et créer un workflow.
Dans Data Studio, les workflows organisent le développement par moteur de calcul. Créez un workflow avant de créer un nœud.
-
L'exemple suivant utilise un nœud ODPS SQL.
-
Cliquez avec le bouton droit sur un workflow et choisissez . Vous pouvez également cliquer sur Create dans la barre de menu supérieure et suivre les instructions.
ImportantSi l'option n'est pas disponible, cliquez sur Computing Resource dans le volet de navigation de gauche pour vérifier qu'une ressource de calcul MaxCompute est liée. Liez la ressource et actualisez la page avant de créer des nœuds MaxCompute.
Dans la boîte de dialogue, saisissez un nom de nœud et cliquez sur OK. L'éditeur de nœud s'ouvre pour le développement et la configuration de la tâche.
-
Développer des tâches MaxCompute
Le tableau suivant décrit les types de nœuds MaxCompute pris en charge.
L'exécution d'une tâche MaxCompute affiche une estimation des coûts. MaxCompute facture ce montant, qui apparaît sur votre facture. Éléments et méthodes de facturation MaxCompute.
Une erreur d'estimation des coûts signifie généralement que la table n'existe pas ou que vous ne disposez pas des autorisations requises. Vous pouvez ignorer l'erreur et la traiter lors de l'exécution du nœud.
|
Type |
Scénario |
Guide |
|
ODPS SQL |
Développement de tâches SQL MaxCompute. |
|
|
SQL Snippet |
Développement de tâches SQL MaxCompute. Si plusieurs procédures SQL partagent une logique similaire mais font référence à des tables différentes ayant des structures identiques ou compatibles, vous pouvez abstraire la logique commune dans un modèle de script SQL et paramétrer les tables d'entrée et de sortie pour une réutilisation. |
|
|
PyODPS 3 |
Développement de tâches PyODPS MaxCompute. Le nœud PyODPS 3 est basé sur Python 3. |
|
|
PyODPS 2 |
Développement de tâches PyODPS MaxCompute. Le nœud PyODPS 2 est basé sur Python 2. |
|
|
ODPS Spark |
Développement de tâches Spark MaxCompute. |
|
|
ODPS Script |
Développement de tâches de script SQL MaxCompute. |
|
|
ODPS MR |
Développement de tâches MapReduce MaxCompute. |
Créer des tables, des ressources et des fonctions
En plus du développement de tâches, DataWorks prend en charge la gestion des tables, des ressources et des fonctions.
Fonctionnalités de table MaxCompute : utilisez l'interface graphique de DataWorks pour créer, consulter et gérer des tables. Créer et utiliser des tables MaxCompute et Gestion des tables.
-
Fonctionnalités de fonction et de ressource MaxCompute :
Les fonctions intégrées MaxCompute sont disponibles directement dans DataWorks. Utiliser les fonctions intégrées.
Vous pouvez créer une UDF en tant que ressource MaxCompute et l'enregistrer en tant que fonction pour une utilisation directe dans les tâches. Créer et utiliser des ressources MaxCompute et Créer et utiliser des fonctions définies par l'utilisateur.
-
Vous pouvez télécharger des packages de ressources locaux ou créer des ressources directement dans DataWorks.
Les types de ressources pris en charge incluent les fichiers texte, le code Python et les packages compressés (.zip, .tgz, .tar.gz, .tar et .jar). Les UDF et les jobs MapReduce peuvent lire ces ressources lors de l'exécution. Créer et utiliser des ressources MaxCompute.
Étapes suivantes
Après avoir développé un nœud, effectuez les opérations suivantes selon vos besoins :
Configuration de la planification : configurez les propriétés de planification périodique, telles que les paramètres de réexécution et les dépendances, pour les tâches qui s'exécutent régulièrement. Présentation de la configuration de la planification des tâches.
Débogage des tâches : testez et exécutez le code du nœud pour vérifier sa logique. Processus de débogage des tâches.
Déploiement des tâches : déployez les nœuds pour les exécuter périodiquement en fonction de leurs configurations de planification. Déployer des tâches.