DataStudio constitue l'espace de travail dédié au développement de code au sein de DataWorks. Cette rubrique décrit sa présentation ainsi que les fonctionnalités disponibles pour les workflows et les nœuds, afin que vous puissiez commencer immédiatement à concevoir vos pipelines de données.
Accéder à la page DataStudio
Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région cible. Dans le volet de navigation de gauche, choisissez Data Development and Governance > Data Development. Sélectionnez un espace de travail dans la liste déroulante, puis cliquez sur Go to Data Development.
Sur la page DataStudio, créez des workflows et des nœuds en fonction de vos besoins en matière de développement de données. Pour plus d'informations, consultez la rubrique Créer un workflow et Nœuds DataWorks.
Disposition de la page
La page DataStudio comprend cinq zones fonctionnelles.
| Zone | Fonctionnalités disponibles |
|---|---|
| 1 | Changez d'espace de travail, accédez à d'autres services DataWorks ou revenez à la page d'accueil de la console DataWorks. |
| 2 | Accédez aux modules DataStudio — Workflow planifié, Workflows déclenchés manuellement, Requête ponctuelle, etc. — depuis le volet de navigation de gauche. |
| 3 | Utilisez les raccourcis vers les fonctions inter-espaces (clonage inter-projet, Operation Center) et les fonctions courantes de DataWorks (notifications, aide, paramètres de l'espace de travail). |
| 4 | Ouvrez Settings pour gérer vos préférences personnelles, les modèles de code, les paramètres de planification par défaut et les configurations de sécurité. |
| 5 | Consultez les raccourcis clavier les plus utilisés dans l'éditeur. Pour la liste complète, consultez Raccourcis de l'éditeur. |
Zone 1 : Navigation entre espaces de travail et services
Depuis la zone 1, vous pouvez :
Changer d'espace de travail : Cliquez sur le nom de l'espace de travail pour basculer vers un autre espace de travail dans la région actuelle.
-
Accéder aux services DataWorks : Cliquez sur l'icône de navigation pour accéder à n'importe quel service DataWorks. Les services sont regroupés comme suit :
Data Integration : Data Integration et Upload and Download
Data Modeling : Data Warehouse Planning, Data Standard, Data Metric et Dimensional Modeling
Développement des données et exécution des tâches : DataStudio, Operation Center et Code Review
Data Governance : DataMap, Data Quality, Security Center, Data Security Guard et Data Asset Governance
Data Analysis : SQL Query, WebExcel et DataAnalysis
Data Service : DataService Studio
More : Deploy Center, Approval Center, DataWorks(Home), Migration Assistant, Global Member Management et Open Platform
Revenir à la page d'accueil de la console : Ouvrez le panneau de navigation et cliquez sur l'icône située dans le coin inférieur gauche.
Zone 2 : modules DataStudio
La zone 2 contient le volet de navigation de gauche. Cliquez sur l'icône de bascule pour afficher ou masquer les noms des modules.
Les modules disponibles sont les suivants :
| Module | À utiliser lorsque vous souhaitez... |
|---|---|
| Scheduled Workflow | Créer des nœuds déclenchés automatiquement à l'aide de différents moteurs de calcul et les déployer en production pour une exploitation et une maintenance planifiées. |
| Manually Triggered Workflows | Créer des nœuds qui s'exécutent à la demande plutôt que selon un planning. |
| Runtime Logs | Consulter les journaux d'exécution des nœuds des trois derniers jours dans DataStudio. |
| Ad Hoc Query | Tester rapidement du code sans le déployer en production. |
| Tenant Tables | Parcourir toutes les tables de production associées au compte Alibaba Cloud actuel. |
| Workspace Tables | Gérer les tables de manière visuelle ; les opérations disponibles dépendent du moteur de calcul utilisé pour créer la table. |
| Built-In Functions | Consulter la description de toutes les fonctions MaxCompute intégrées. |
| Recycle Bin | Gérer les nœuds, resources et fonctions supprimés depuis Scheduled Workflow ou Manually Triggered Workflows. |
| Snippets | Gérer des modèles de script SQL qui définissent une logique de traitement des données réutilisable avec des paramètres d'entrée et de sortie. |
| Operation History | Filtrer et consulter les historiques d'opération par type, opérateur ou période. |
| Operation Check | Filtrer et examiner les opérations par type et vérifier leur statut. |
| MaxCompute Resources | Gérer les resources MaxCompute et consulter leur historique d'opérations. |
| MaxCompute Functions | Gérer les fonctions MaxCompute et consulter leur historique d'opérations. |
Avant d'utiliser un moteur de calcul pour le développement de données, ajoutez une source de données correspondant à ce type de moteur dans DataWorks et associez la resource de calcul à DataStudio.
Si l'icône d'un module n'est pas visible, ajoutez-la depuis Settings > Personal Settings. Pour plus de détails, consultez la rubrique Personal settings.
Zone 3 : raccourcis et fonctionnalités courantes
La zone 3 offre un accès rapide aux opérations inter-workspaces et aux fonctionnalités partagées de DataWorks.
Opérations inter-workspaces :
Cross-project cloning : clonez et migrez des nœuds (nœuds de calcul et nœuds de synchronisation) entre workspaces.
Operation Center : effectuez l'exploitation et la maintenance des nœuds déployés. Basculez entre les environnements de développement et de production directement depuis Operation Center.
Fonctionnalités courantes de DataWorks :
| Fonctionnalité | Description |
|---|---|
| Notification Center | Recevez les dernières mises à jour de DataWorks. |
| Helps | Accédez à des guides sur des fonctionnalités spécifiques selon vos besoins. |
| Workspace Manage | Consultez les détails du workspace : informations de base, propriétés de planification, paramètres de sécurité, ainsi que les sources de données et clusters open source associés. Pour plus de détails, consultez la rubrique Create and manage workspaces. |
| Language switch | Changez la langue de la console (par exemple, de l'anglais au chinois). |
| Account information | Consultez les détails de votre compte et les statistiques sur l'état des nœuds dans la section Workbench. |
Zone 4 : Paramètres
Cliquez sur l'icône Settings de la zone 4 pour accéder à la page des paramètres. Les onglets suivants sont disponibles :
| Onglet | Éléments configurables |
|---|---|
| Personal Settings | Modules DataStudio, préférences de l'éditeur et paramètres généraux, tels que le thème DataWorks. |
| Template Management | Personnalisation des modèles de code pour vos workflows. |
| Scheduling Settings | Activation de la planification périodique et définition des propriétés de planification par défaut pour les nœuds déclenchés automatiquement. L'exécution planifiée des nœuds déclenchés automatiquement n'est effective qu'après l'activation de la planification périodique. |
| Security Settings and Others | Data Security : masquage des données sensibles dans les résultats des requêtes DataStudio. Code Review : exigence d'une revue de code avant le déploiement et affectation des réviseurs. |
Fonctionnalités du workflow
Lorsque vous accédez à DataStudio, le volet Workflow planifié s'affiche par défaut. Avant d'organiser vos opérations de développement de données, créez un workflow. Pour plus d'informations, consultez la rubrique Créer un workflow.
Le volet Workflow planifié comprend huit zones fonctionnelles.
Zone 1 : Solutions et workflows
Basculez entre les vues Solution et Business Flow. Cliquez sur l'icône de développement pour afficher toutes les solutions ou tous les workflows de l'espace de travail.
Solution : Conteneur regroupant plusieurs workflows. Un workflow peut appartenir à une ou plusieurs solutions. Les solutions peuvent être affichées sous forme de liste ou de cartes.
Business Flow : Le workflow constitue l'unité d'organisation de vos opérations de développement de données.
Zone 2 : Barre d'outils et arborescences
Actions de la barre d'outils :
| Action | Description |
|---|---|
| Refresh | Actualise le volet après la modification d'un workflow ou d'une solution. |
| Locate | Identifie le nœud dont l'onglet de configuration est actuellement ouvert. |
| Search Code | Recherche par mot-clé dans tous les nœuds des sections Workflow planifié, Workflows déclenchés manuellement, Requête ponctuelle et Corbeille. Cette fonctionnalité est utile pour identifier quel nœud écrit dans une table spécifique. |
| Batch Operation | Modifie simultanément les propriétés de plusieurs nœuds, resources ou fonctions : propriétaire, instance de moteur de calcul, groupe de resources pour la planification, paramètres de réexécution, type de planification, cycle de planification et délai d'expiration. |
| Import Data | Importe des données depuis un fichier local vers une table MaxCompute. |
| Create | Permet de créer rapidement un workflow, un nœud, une table, une resource ou une function. |
Arborescences :
L'arborescence affiche les nœuds, les resources et les functions organisés par solution et par workflow. Vous pouvez basculer entre trois vues :
All : Tous les objets de l'espace de travail actuel.
Owned by Me : Objets appartenant au compte actuel.
My Favorites : Objets ajoutés aux favoris par le compte actuel.
Recherche de nœuds :
Recherche exacte : Saisissez le nom d'un nœud ou l'identifiant de son créateur, puis cliquez sur l'icône de recherche.
Recherche par type de nœud : Cliquez sur l'icône de filtre pour limiter les résultats à des types de nœuds spécifiques.
Pour masquer les instances de moteur de calcul ou les dossiers de nœuds dans l'arborescence, sélectionnez Hide Engine Instances ou Hide Node Folders . Ces options s'appliquent uniquement aux workflows de la dernière version. Masquez les instances de moteur lorsqu'un moteur de calcul ne comporte qu'une seule instance ; masquez les dossiers de nœuds (tels que Data Analytics, Table, Resource et Function) lorsque vous n'en avez pas besoin.
Zone 3 : Arborescence des workflows
L'arborescence de la zone 3 répertorie tous les objets de chaque workflow.
Objets dans l'arborescence :
| Objet | Description |
|---|---|
| Workflow | Unité de développement métier. |
| Node | Plus petite unité de développement de code. Les types de nœuds incluent les nœuds de moteur, les nœuds d'algorithme, les nœuds Data Integration, les nœuds de base de données et les nœuds généraux. |
| Table | Tables gérées visuellement dans DataStudio. |
| Resource | Resources importées visuellement dans DataStudio. L'importation visuelle est prise en charge uniquement pour les moteurs de calcul MaxCompute, E-MapReduce (EMR) et Cloudera's Distribution including Apache Hadoop (CDH). |
| Function | Functions enregistrées visuellement dans DataStudio. L'enregistrement visuel est pris en charge uniquement pour les moteurs de calcul MaxCompute, EMR et CDH. |
Indicateurs d'état des nœuds :
Chaque nom de nœud affiche son état actuel via une icône :
Uncommitted : La version actuelle n'a pas été validée. Cliquez sur l'icône pour effectuer la validation.
Not deployed : Le nœud est validé mais pas encore déployé. Cliquez sur l'icône pour procéder au déploiement.
La date de la dernière modification apparaît après chaque nom de nœud. Double-cliquez sur le nom d'un workflow pour ouvrir son onglet de configuration (zones 5 à 8) et commencer le développement.
Zone 4 : Orchestration des groupes de ressources
Resource Group Orchestration vous permet de modifier simultanément les groupes de ressources utilisés pour la planification de plusieurs nœuds au sein d'un workflow. Cette fonctionnalité s'avère utile lorsque votre espace de travail contient plusieurs groupes de ressources et que vous devez rééquilibrer l'utilisation des ressources. Après avoir réaffecté les groupes de ressources, déployez les nœuds concernés afin d'appliquer la modification en production.
Zone 5 : Panneau de création de nœuds
Utilisez ce panneau pour créer rapidement des nœuds.
Common Nodes : affiche les types de nœuds fréquemment utilisés dans l'espace de travail actuel pour une sélection rapide.
Node Group : référence un ensemble de nœuds across workflows. Ajoutez les nœuds que vous utilisez souvent à un groupe de nœuds et réutilisez ce groupe dans d'autres workflows.
Quick node creation : faites glisser les nœuds depuis des sections telles que Data Integration, MaxCompute et EMR directement sur le canevas du workflow.
Zone 6 : Outils du canevas
Servez-vous de la barre d'outils du canevas pour ajuster l'affichage et la navigation dans le workflow.
| Outil | Description |
|---|---|
| Switch Layout | Basculez entre les dispositions Vertical, Horizontal et Grid. |
| Box | Sélectionnez plusieurs nœuds pour former un groupe et effectuer des opérations groupées. |
| Refresh | Actualisez le canevas après avoir modifié le workflow. |
| Format | Alignez horizontalement tous les nœuds sur le canevas. |
| Adapt | Ajustez la disposition entière du workflow à la taille du canevas. |
| Center | Centrez tous les nœuds sur le canevas. |
| 1:1 | Réinitialisez l'échelle du graphe acyclique dirigé (DAG) à 100 %. |
| Zoom In | Effectuez un zoom avant sur le canevas du workflow. |
| Zoom Out | Effectuez un zoom arrière sur le canevas du workflow. |
| Search | Recherchez un nœud par mot-clé. La correspondance floue est prise en charge. |
| Toggle Full Screen View | Affichez le workflow actuel en plein écran. |
| Hide Engine Information | Affichez ou masquez les informations du moteur affichées sur chaque nœud. |
Zone 7 : Onglets du volet droit
| Onglet | Description |
|---|---|
| Workflow Parameters | Attribuez simultanément des valeurs aux variables des nœuds ODPS SQL dans l'ensemble du workflow. |
| Change History | Consultez l'historique des opérations effectuées sur les nœuds du workflow actuel. |
| Versions | Affichez toutes les versions du workflow. Une nouvelle version est créée à chaque validation (commit) des nœuds. |
Zone 8 : Barre d'outils du workflow
| Action | Description |
|---|---|
| Submit | Validez un ou plusieurs nœuds mis à jour dans le workflow actuel vers la page de déploiement. |
| Run | Exécutez tous les nœuds du workflow actuel. |
| Stop | Arrêtez tous les nœuds en cours d'exécution dans le workflow actuel. |
| Deploy | Accédez à la page de déploiement pour examiner et déployer les nœuds du workflow actuel. |
| Operation Center | Accédez au Operation Center en production pour consulter les détails d'exploitation et de maintenance (O&M) des nœuds du workflow actuel. |
| View opened tabs | Consultez tous les onglets de configuration actuellement ouverts via la liste déroulante. |
| Close opened tabs | Fermez un ou plusieurs onglets de configuration ouverts. |
Menu contextuel des workflows
Cliquez avec le bouton droit sur le nom d'un workflow pour ouvrir le menu contextuel.
| Fonctionnalité | Description |
|---|---|
| Create Node | Créez un nœud. Le menu affiche les types de nœuds utilisés récemment et pré-remplit les champs Engine Instance et Node Type en se basant sur le dernier nœud utilisé de ce type. |
| Create Table | Créez une table. |
| Create Resource | Créez une resource. Cette option est prise en charge uniquement pour MaxCompute, CDH et EMR. |
| Create Function | Créez une fonction. Cette option est prise en charge uniquement pour MaxCompute, CDH et EMR. |
| Board | Accédez au canevas du workflow. |
| Change | Modifiez le nom, le propriétaire ou la description du workflow. |
| Delete | Supprimez le workflow et tous ses objets. Cette action est irréversible : procédez avec prudence. Deux options s'offrent à vous lorsqu'un objet ne peut pas être supprimé : Terminate the Delete Operation (par défaut) interrompt l'ensemble de l'opération ; Skip Current Object and Continue to Delete Other Objects ignore l'objet concerné et poursuit la suppression des autres éléments. |
| Batch Operation | Modifiez les propriétés de plusieurs nœuds, resources ou fonctions en une seule fois, y compris le propriétaire, l'instance de moteur de calcul et les paramètres de planification, puis validez ou déployez-les en lot. |
Fonctionnalités des nœuds
Les différents types de nœuds partagent des fonctionnalités similaires. La description ci-dessous utilise un nœud ODPS SQL comme exemple.
Zone 1 : Barre d'outils supérieure
| Action | Description |
|---|---|
| Save | Enregistrez le code et les configurations du nœud actuel. |
| Save as Ad-Hoc Query Node | Enregistrez le code actuel en tant que requête ad hoc, accessible depuis le volet Ad Hoc Query. Consultez la rubrique Créer une requête ad hoc. |
| Submit | Soumettez le nœud actuel. |
| Unlock | Soumettez le nœud et autorisez les autres utilisateurs à le modifier. |
| Steal Lock | Prenez le contrôle des droits de modification d'un nœud dont vous n'êtes pas propriétaire. |
| Run | Exécutez le nœud. Les valeurs des variables sont définies une fois et persistent entre les exécutions ; la modification du code ne les réinitialise pas. Si aucun groupe de ressources pour la planification n'est attribué, DataWorks vous invite à en sélectionner un. |
| Run with Parameters | Exécutez le nœud avec des valeurs de paramètres personnalisées. DataWorks vous demande les valeurs des variables à chaque clic sur cette icône, en remplaçant les valeurs initiales par celles que vous fournissez. Si aucun groupe de ressources pour la planification n'est attribué, DataWorks vous invite à en sélectionner un. |
| Stop | Arrêtez l'exécution du nœud. |
| Reload | Actualisez l'onglet de configuration et revenez au dernier état enregistré. |
| Perform Smoke Testing in Development Environment | Testez le nœud dans l'environnement de développement en simulant le remplacement des valeurs des paramètres de planification. Sélectionnez un horodatage de données : DataWorks remplace les valeurs correspondantes par celles que vous spécifiez. Enregistrez et soumettez toutes les modifications des paramètres de planification avant d'exécuter le test de fumée, sinon les nouvelles valeurs ne seront pas prises en compte. |
| View Log of Smoke Testing in Development Environment | Consultez les journaux d'exécution des nœuds testés dans l'environnement de développement. |
| Access Scheduling System in Development Environment | Accédez au Centre d'opérations dans l'environnement de développement pour les opérations d'O&M. Consultez la rubrique Afficher les instances déclenchées automatiquement. |
| Format Code | Formatez automatiquement le code pour éviter les lignes uniques excessivement longues. |
| Share | Partagez le nœud actuel avec d'autres utilisateurs. |
Zone 2 : Onglets du panneau latéral
Onglet Properties :
| Section | Éléments à configurer |
|---|---|
| General | Affichez le nom, l'ID et le type du nœud ; définissez le propriétaire et la description. |
| Scheduling Parameter | Ajoutez des paramètres de planification et configurez l'attribution dynamique des valeurs. |
| Schedule | Configurez les propriétés de planification temporelle après le déploiement : mode de génération des instances, cycle et heure de planification, comportement de réexécution et délai d'expiration. |
| Resource Group | Attribuez un groupe de ressources pour la planification au nœud. |
| Dependencies | Configurez les dépendances entre les nœuds. Consultez les rubriques Configurer les dépendances de planification intra-cycle et Configurer les dépendances de planification inter-cycles. |
| Input and Output Parameters | Transmettez la sortie d'un nœud ancêtre à un nœud descendant en utilisant l'attribution de paramètres basée sur le contexte. |
Autres onglets :
| Onglet | Description |
|---|---|
| Lineage | Affichez les dépendances et la lignée capturée automatiquement entre le nœud actuel et les autres nœuds. Vérifiez cet onglet avant de modifier ou de supprimer un nœud afin de comprendre l'impact en aval. |
| Versions | Affichez toutes les versions du nœud. Une version est créée à chaque soumission et déploiement du nœud. |
| Code Structure | Affichez la structure du code du nœud à l'aide des opérateurs SQL. |
États des versions de nœud :
| État | Signification |
|---|---|
| Yes | Soumis à l'environnement de développement ; aucun package de déploiement n'a encore été créé. |
| Deployed | Déployé en production. Consultez-le sur la page Tâches déclenchées automatiquement dans le Centre d'opérations. Voir la rubrique Afficher et gérer les tâches déclenchées automatiquement. |
| Not Deployed | Soumis à l'environnement de développement mais pas encore déployé en production. Une nouvelle soumission fait de la version précédente une version en attente. |
| The deployment is cancelled | Soumis, mais le déploiement a été annulé sur la page Créer une tâche de déploiement. |
Zone 3 : Éditeur SQL
Saisissez vos instructions SQL dans l'éditeur. Trois icônes sont à votre disposition :
Aller à la première ligne : accédez au début de l'éditeur.
Full screen : affichez l'éditeur en plein écran.
Run snippet : exécutez rapidement un extrait de code sélectionné pour le vérifier. Cette icône n'apparaît que lorsque vous cliquez sur une ligne de code. Consultez la rubrique Déboguer un extrait de code.
Zone 4 : Actions en haut à droite
| Action | Description |
|---|---|
| Deploy | Accédez à la page Create Deploy Task pour examiner les détails du déploiement ou effectuer des opérations de maintenance après le déploiement. |
| Operation Center | Accédez à Operation Center en production pour réaliser des opérations de maintenance. |
Menu contextuel des nœuds
Cliquez avec le bouton droit sur le nom d'un nœud pour ouvrir son menu contextuel.
| Fonctionnalité | description |
|---|---|
| Rename | Modifiez le nom du nœud. |
| Add to Favorites | Ajoutez le nœud à vos favoris. Vous pouvez consulter les nœuds favoris dans la section My Favorites du volet Workflow planifié. Pour retirer un nœud des favoris, cliquez dessus avec le bouton droit et sélectionnez Remove from Favorites. |
| Move | Déplacez le nœud vers un autre workflow. |
| Clone | Créez une copie du nœud conservant le même type, le même propriétaire et les mêmes propriétés de resource. Le clone reçoit un nouveau nom. |
| Afficher les versions précédentes | Consultez l'historique complet des versions du nœud, incluant l'auteur du commit, la date de validation, le type de modification, l'état et les remarques associées. |
| Afficher dans Operation Center | Accédez à Operation Center pour visualiser les détails du nœud. Si le nœud est déployé dans les deux environnements, sélectionnez View in Operation Center (Production Environment) ou View in Operation Center (Development Environment). |
| Soumettre pour revue de code | Soumettez le code du nœud pour révision. Les nœuds doivent passer la revue de code avant leur déploiement. |
| Delete | Supprimez le nœud ainsi que ses configurations de dépendance vis-à-vis des nœuds ancêtres et descendants. Si le nœud est déployé en production, créez et déployez également un package de déploiement depuis la page Create Deploy Task afin de le retirer de l'environnement de production. Consultez la rubrique Annuler le déploiement des nœuds. |