La console de gestion DataWorks est une plateforme visuelle dédiée à la configuration de l'environnement et à la gestion des ressources. Elle offre des capacités de gestion à deux niveaux. Au niveau global, vous configurez les rôles et les règles d'alerte pour l'ensemble du tenant. Au niveau de l'espace de travail, vous définissez des ressources de calcul dédiées, des sources de données et des développeurs pour chaque projet.
Concepts fondamentaux et architecture système
Familiarisez-vous avec l'architecture centrale et les relations entre entités dans DataWorks avant de commencer.
Concept clé : Espace de travail
Un espace de travail constitue l'unité logique de base dans DataWorks pour la gestion de projets, le contrôle d'accès et l'isolation des ressources. Toutes les activités, telles que le développement de données, l'exploitation et la maintenance des tâches ainsi que la gestion des membres, s'effectuent au sein d'un espace de travail.
Isolation : Les espaces de travail offrent une isolation forte. Les nœuds internes, les ressources et les membres sont totalement indépendants d'un espace de travail à l'autre.
Conteneur : Il héberge les modules fonctionnels comme le développement et l'intégration de données, tout en s'associant à des entités externes telles que les sources de données, les ressources de calcul et les groupes de ressources.
Analyse de l'architecture et des relations entre entités
La figure suivante illustre les dépendances et associations entre les entités principales de DataWorks :
Espace de travail : Situé au centre du diagramme d'architecture, il représente l'unité fondamentale de toutes les opérations. Les activités liées aux fonctionnalités telles que Data Development, Data Integration et Operation Center s'exécutent dans un espace de travail spécifique.
-
Groupe de ressources :
RemarqueNotez qu'un groupe de ressources dans DataWorks correspond à un ensemble de ressources de calcul acheté séparément pour l'exécution des tâches. Ce concept diffère totalement du groupe de ressources associé à un compte de gestion Alibaba Cloud, qui sert à isoler les ressources et à séparer les permissions.
Définition : Entité fournissant des ressources de calcul (CPU et mémoire) pour exécuter des tâches. Elle existe indépendamment des espaces de travail.
Relation : Association obligatoire. Comme illustré sur la droite de la figure, un groupe de ressources doit être rattaché à un ou plusieurs espaces de travail. Une fois cette association établie, les tâches de l'espace de travail, notamment celles d'intégration de données et les tâches planifiées de Data Development, obtiennent les ressources de calcul nécessaires à leur exécution.
-
Ressource de calcul :
Définition : Entité offrant l'environnement d'analyse syntaxique, de compilation et d'exécution pour le module Data Development, par exemple MaxCompute, Hologres ou EMR.
Relation : Dépendance de développement. Conformément à la flèche entrante pointant vers le module Data Development dans la figure, vous devez associer une ressource de calcul à un espace de travail. Les développeurs peuvent ensuite écrire, déboguer et soumettre du code (SQL, Spark, etc.) dans le module Data Development.
-
Source de données :
Définition : Ensemble d'informations de connexion permettant d'accéder à des stockages de données externes tels que MySQL, Oracle et OSS.
Relation : Dépendance d'intégration. Tel qu'indiqué par la flèche entrante vers le module Data Integration, une tâche d'intégration de données repose sur les sources de données préconfigurées dans l'espace de travail pour ses origines et destinations.
-
Image personnalisée :
Définition : Environnement packagé contenant un système d'exploitation spécifique, un environnement d'exécution et des bibliothèques tierces.
Relation : Association optionnelle. Comme montré sur la gauche de la figure, vous pouvez associer une image personnalisée lorsqu'un environnement de développement personnel (Studio) ou un type spécifique de nœud Data Development (comme un nœud PyODPS) nécessite des dépendances absentes de l'environnement standard, par exemple une version précise d'une bibliothèque Python. Il s'agit d'une fonctionnalité avancée.
-
Services globaux inter-espaces de travail :
Comme indiqué en haut de la figure, des modules tels que Data Governance et Data Map opèrent au-dessus du niveau de l'espace de travail. Ils fournissent des vues de données globales et des capacités de gestion au niveau du tenant. Leur système de permissions fonctionne indépendamment des espaces de travail individuels.
Remarques
Contrôle d'accès : Si certaines fonctionnalités ne sont pas visibles ou accessibles, contactez le propriétaire du compte Alibaba Cloud ou un administrateur pour vérifier que vous disposez des permissions requises. Pour plus d'informations, reportez-vous à Gestion des permissions des membres.
Isolation régionale : Les espaces de travail et les ressources DataWorks sont isolés par région. Avant toute opération, assurez-vous d'avoir sélectionné la bonne région pour vos ressources cibles dans la barre de navigation supérieure de la console.
Prise en main
Si vous configurez DataWorks pour la première fois, suivez le flux de travail standard ci-dessous afin de garantir un environnement complet et opérationnel.
Assurez-vous d'utiliser un compte Alibaba Cloud ou un utilisateur Resource Access Management (RAM) disposant de la permission AliyunDataWorksFullAccess. Dans le cas contraire, demandez à un administrateur d'accorder des permissions à un utilisateur RAM.
1. Créer un espace de travail
Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, basculez vers la région cible. Dans le volet de navigation de gauche, sélectionnez Workspace puis cliquez sur Create Workspace. Choisissez un mode d'espace de travail adapté à vos besoins. Le mode Standard est recommandé car il permet une isolation complète entre les environnements de développement, de test et de production.
Pour plus d'informations, reportez-vous à Créer un espace de travail .
2. Configurer et associer un groupe de ressources
Créer/Acheter un groupe de ressources : Dans le volet de navigation de gauche, accédez à Resource Group et achetez un groupe de ressources adapté à la charge de vos tâches, par exemple un Serverless Resource Group.
-
Associer à un espace de travail : Rattachez le groupe de ressources acheté à votre espace de travail. Cette étape est indispensable au bon fonctionnement des fonctionnalités essentielles telles que l'intégration de données, la planification des tâches et les services de données.
3. Ajouter des membres à un espace de travail
Accédez à la liste des espaces de travail, puis cliquez sur Details dans la colonne Actions de l'espace de travail cible pour ouvrir sa page de détails.
-
Ajoutez les membres de l'équipe projet (utilisateurs RAM) et attribuez-leur des rôles appropriés au niveau de l'espace de travail, tels que Workspace Administrator, Developer ou O&M personnel, afin de permettre le développement collaboratif et le contrôle d'accès.
Pour plus d'informations, reportez-vous à Ajouter des membres à un espace de travail .
4. Associer une ressource de calcul
Accédez à la liste Computing Resource sur la page de détails de l'espace de travail, puis associez une instance de ressource de calcul existante, telle qu'un projet MaxCompute, à l'espace de travail. Cette étape est un prérequis indispensable au développement de données.
5. Ajouter une source de données
Accédez à la page Data Sources depuis les détails de l'espace de travail, cliquez sur Add Data Source, configurez les informations de connexion pour la base de données source ou destination destinée à la synchronisation des données, puis testez la connexion.
Une fois ces cinq étapes terminées, votre espace de travail DataWorks est prêt pour le développement et les opérations de base. Vous pouvez désormais lancer l'intégration et le développement de données.
Présentation des fonctionnalités de la console de gestion
Vue d'ensemble et navigation
Le volet de navigation de gauche de la console constitue le point d'entrée de toutes les fonctionnalités de gestion. Il comprend la liste des espaces de travail, la liste des groupes de ressources, la gestion des images ainsi que les ressources et services achetés. Lors de votre connexion à la console DataWorks, la page de vue d'ensemble s'affiche par défaut. Celle-ci offre un accès rapide aux scénarios principaux de DataWorks, à vos espaces de travail fréquemment utilisés, aux mises à jour produit et à d'autres informations utiles.
Configuration globale
Les configurations suivantes s'appliquent au niveau du tenant et prennent effet pour tous les espaces de travail de la région actuelle.
-
Dans la barre de navigation, choisissez , ou cliquez sur le bouton de gestion dans la colonne Actions de la liste des espaces de travail pour ouvrir le Management Center.
-
Vous y consultez la configuration des alertes, les membres et rôles du tenant, ainsi que les extensions configurées pour ce dernier.
Module fonctionnel
Description et opérations principales
Configuration des alertes
Consultez et configurez les informations relatives aux contacts d'alerte DataWorks et définissez les limites d'alerte.
• Ressources d'alerte : Consultez l'utilisation des ressources d'alerte (SMS et appels téléphoniques) et définissez le nombre maximal d'alertes pouvant être envoyées par jour. L'envoi s'arrête automatiquement une fois cette limite atteinte.
Pour plus d'informations, reportez-vous à Consulter et définir les contacts d'alerte.
Membres et rôles du tenant
• Membres du tenant : Configurez les membres disposant de permissions pour les modules globaux, tels que Data Security Guard et Data Map.
• Rôles du tenant : Consultez ou personnalisez les rôles globaux et leurs permissions associées.Pour plus d'informations, reportez-vous à Contrôle d'accès aux modules globaux.
Extensions
Activez ou configurez des extensions depuis l'Open Platform pour valider et contrôler les flux de développement et d'exploitation & maintenance.
Pour plus d'informations, reportez-vous à Extensions.
Configuration des détails de l'espace de travail
Les configurations suivantes s'appliquent uniquement à l'espace de travail actuel.
Module fonctionnel | Description et opérations principales |
Configuration de l'espace de travail | Gérez les propriétés de base et les paramètres de sécurité de l'espace de travail, notamment l'autorisation ou non du téléchargement des résultats Pour plus d'informations, reportez-vous à Configurer un espace de travail. |
Source de données | Gérez de manière centralisée les informations de connexion source et destination pour la synchronisation des données dans l'espace de travail actuel. Pour plus d'informations, reportez-vous à Gestion des sources de données. |
Computing Resource | Associez et gérez les ressources de calcul de développement de données utilisées par l'espace de travail, telles que MaxCompute, Hologres et AnalyticDB. Pour plus d'informations, reportez-vous à Gestion des ressources de calcul. |
Gestion des clusters | Enregistrez et gérez des clusters CDH/CDP et EMR auto-hébergés. Configurez les fichiers d'authentification et les mappages de comptes. Cette option n'est visible que pour les espaces de travail n'utilisant pas le nouveau Data Studio. |
Workspace Members and Roles | Consultez les permissions des rôles prédéfinis, ou créez des rôles personnalisés en configurant leurs permissions fonctionnelles et leurs mappages vers les ressources de calcul. Ajoutez ou supprimez des membres de l'espace de travail et attribuez-leur des rôles prédéfinis ou personnalisés au niveau de l'espace de travail. Pour plus d'informations, reportez-vous à Contrôle des permissions des modules au niveau de l'espace de travail. |
Gestion des espaces de travail
Dans le volet de navigation de gauche de la console, cliquez sur Workspace. Vous pouvez consulter tous les espaces de travail du tenant actuel dans la région spécifiée, gérer les espaces de travail DataWorks auxquels vous appartenez, ou en créer de nouveaux.
Les utilisateurs Resource Access Management (RAM) ne voient que les espaces de travail auxquels ils ont été ajoutés. Pour qu'un utilisateur RAM puisse voir un espace de travail, vous devez l'y ajouter en tant que membre. Pour plus d'informations, reportez-vous à Ajouter un membre à un espace de travail.
Zone | Fonctionnalité | Description | Références |
1 | Sélectionner une région | Basculez la région DataWorks. La liste des espaces de travail change en fonction de la région sélectionnée. | - |
2 | Créer un espace de travail | Créez un nouvel espace de travail DataWorks. | |
3 | Consulter les informations de base d'un espace de travail | Consultez les informations de base de l'espace de travail, telles que son mode et son administrateur. Ces informations comprennent :
|
|
4 | Opérations associées | Consultez les métriques clés de l'espace de travail, naviguez rapidement vers des modules spécifiques ou effectuez d'autres opérations sur l'espace de travail.
| |
5 | Mettre à niveau la version | Mettez à niveau la version DataWorks que vous utilisez actuellement.
| Pour plus d'informations sur les différences entre les éditions du produit, reportez-vous à Fonctionnalités des différentes éditions DataWorks. |
Acheter un groupe de ressources exclusif | Achetez un groupe de ressources serverless. Après l'achat, cliquez sur Resource Groups dans le volet de navigation de gauche pour consulter les détails du groupe de ressources. |
Liste des groupes de ressources
Dans le volet de navigation de gauche, cliquez sur Resource Group. Vous pouvez acheter les ressources nécessaires, consulter les détails des ressources achetées dans une région spécifique et les gérer.
Zone | Fonctionnalité | Description | Références |
1 | Créer un groupe de ressources | Crée un nouveau groupe de ressources Serverless. | |
2 | Consulter les informations de base d'un groupe de ressources | Consultez les informations de base d'un groupe de ressources, telles que son état d'exécution, sa date d'expiration et son utilisation.
| |
3 | |||
4 | Opérations de base sur un groupe de ressources | Consultez les informations détaillées d'un groupe de ressources et effectuez des opérations de modification.
Remarque La modification d'un groupe de ressources prend un certain temps. Patientez jusqu'à la fin du processus. |
pour effectuer des opérations telles que scale-out, scale-in, renewal, unsubscribe, quota management, billing method conversion et modifying the upper limit for concurrent data scheduling.Service de grands modèles
Dans le volet de navigation de gauche de la console, cliquez sur Large Model Management pour ouvrir la page du service de grands modèles. Ce service offre une solution intégrée pour un déploiement efficace, une communication sécurisée et une invocation pratique. Vous pouvez facilement déployer des modèles à l'aide de groupes de ressources Serverless DataWorks et invoquer directement de grands modèles depuis des tâches d'intégration et de développement de données. Pour plus d'informations, reportez-vous à Gestion du service de grands modèles.
Gestion des images
Dans le volet de navigation de gauche, cliquez sur Image Management. Cette page vous permet de consulter les images officielles DataWorks. Si des tâches exécutées sur un groupe de ressources Serverless nécessitent un environnement de développement spécifique (dépendances tierces, par exemple), vous pouvez créer une image personnalisée intégrant les paquets et dépendances requis. Ensuite, lors de l'exécution des tâches, spécifiez le groupe de ressources Serverless comme ressource d'exécution et l'image personnalisée comme environnement d'exécution. Pour plus d'informations, reportez-vous à Image personnalisée.
Ressources et services achetés
Dans le volet de navigation de gauche de la console, cliquez sur Purchased Resources and Services. Sur cette page, consultez les détails de vos services DataWorks et groupes de ressources (abonnement et paiement à l'utilisation), ainsi que leurs factures et règles de facturation correspondantes. Vous pouvez également renouveler, mettre à niveau, rétrograder ou vous désabonner de services. Pour plus d'informations, reportez-vous à Consulter les détails de la facture et à Présentation de la facturation.