How to create and deploy packages for cross-workspace deployment - DataWorks

DataWorks vous permet d'ajouter plusieurs objets, tels que des nœuds, des fonctions, des ressources et des composants, à un package de déploiement et de les déployer en une seule fois. Cette rubrique explique comment créer et déployer un package de déploiement pour un déploiement inter-workspace.

Cas d'utilisation

Le déploiement inter-workspace est principalement utilisé pour déployer des objets tels que des nœuds, des fonctions, des ressources et des composants depuis un workspace en mode basique vers un autre workspace situé dans la même région et sous le même compte Alibaba Cloud. Vous pouvez également utiliser cette fonctionnalité pour isoler les environnements de développement et de production pour les workspaces en mode basique. Pour plus d'informations, consultez la section Annexe : Comment isoler le développement de la production en mode basique.

Remarque

Afin de garantir l'exécution correcte des tâches dans le workspace de destination après le déploiement, lisez attentivement la section Logique de modification lors de la publication avant de procéder. Assurez-vous de bien comprendre la logique de mappage entre les workspaces source et de destination.

Limites

Autorisations

Créer un environnement de déploiement : seuls les membres disposant du rôle Workspace Administrator peuvent créer et configurer un environnement de déploiement.
Déployer des tâches dans l'environnement de production du workspace source : les membres disposant des rôles Operator, Deployer ou Workspace Administrator peuvent déployer des tâches dans l'environnement de production du workspace source via Data Studio.
Créer un package de déploiement : les membres disposant du rôle Development peuvent créer un package de déploiement dans Deployment Center.
Déployer un package de déploiement : les membres disposant des rôles Operator, Deployer ou Workspace Administrator dans les workspaces source et de destination peuvent déployer un package de déploiement.

Pour plus d'informations sur l'ajout de membres à un workspace et l'attribution d'autorisations, consultez la section Gérer les autorisations sur les services au niveau du workspace.

Limites liées à l'environnement

Le tableau suivant décrit les exigences environnementales pour le déploiement d'objets d'un workspace source vers un workspace de destination.

Workspace source		Workspace de destination
Mode du workspace	Version de Data Studio	Mode basique New Data Studio	Mode basique Legacy Data Studio	Mode standard New Data Studio	Mode standard Legacy Data Studio
Mode basique	New Data Studio	Pris en charge	Non pris en charge	Pris en charge	Non pris en charge
Mode basique	Legacy Data Studio	Non pris en charge	Pris en charge	Non pris en charge	Pris en charge
Mode standard	-	Non pris en charge	Non pris en charge	Non pris en charge	Non pris en charge

Autres limites

La fonctionnalité Cross-workspace Deployment sert à déployer des objets entre différents workspaces au sein du même compte Alibaba Cloud et de la même région. Le déploiement inter-régions n'est pas pris en charge. Si vous devez déployer des objets entre différentes régions, utilisez Deploy Center.

Processus de déploiement

Procédure

Toutes les opérations de déploiement inter-workspace sont effectuées dans le workspace source.

Étape 1 : Créer un environnement de déploiement

Lorsque vous déployez des nœuds du workspace source vers le workspace de destination, ce dernier constitue un environnement de déploiement entièrement nouveau. Par conséquent, vous devez mapper les informations telles que les instances de moteur, les groupes de ressources et les dépendances de la source vers la destination. Une fois le mappage configuré, le système remplace automatiquement l'environnement utilisé par les nœuds déployés par les informations d'environnement mappées lors du déploiement d'un package, sans nécessiter de configuration supplémentaire dans le workspace de destination.

Remarque

Seuls les membres disposant du rôle Workspace Administrator peuvent créer et configurer un environnement de déploiement.

1. Accéder à Deployment Center

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un workspace dans la liste déroulante et cliquez sur Go to Management Center.
Dans le coin supérieur gauche de la page, cliquez sur l'icône et choisissez All Products > More > Deployment Center pour accéder à Deployment Center.

2. Configurer l'environnement de déploiement

Sur la page Deployment Center, cliquez sur Deployment Environment Management dans le volet de navigation de gauche.

Cliquez sur Create Deployment Environment et configurez les informations relatives à l'environnement.

Configurez les informations de base de l'environnement.

Paramètre	Description
Environment Name	Nom du nouvel environnement de déploiement.
Deployment Type	Dans ce scénario, sélectionnez Cross-workspace Deployment.
Workspace de destination	Sélectionnez le workspace de destination pour le déploiement inter-workspace.
Deployment Object Owner	Spécifie le propriétaire de chaque nœud du package de déploiement une fois celui-ci déployé dans le workspace de destination. Valeurs possibles : Default : DataWorks définit par préférence le propriétaire du nœud dans le workspace source comme propriétaire principal. Si le propriétaire n'est pas membre du workspace de destination, le système attribue l'exécuteur du package de déploiement (l'utilisateur qui déploie le package) en tant que propriétaire du nœud. Deployment Package Creator : DataWorks définit l'utilisateur ayant créé le package de déploiement comme propriétaire du nœud. Deployment Package Executor : DataWorks définit l'utilisateur effectuant l'opération de déploiement (déployant le package cible) comme propriétaire du nœud.

Configurez les Computing Resource Mappings.
Configurez le mappage entre les ressources de calcul du workspace source et celles du workspace de destination. Une fois le mappage établi, le système déploie les nœuds, ressources, fonctions, composants et autres contenus associés depuis la ressource de calcul source vers la ressource de calcul de destination mappée lors du déploiement des tâches.
Remarque

Au moins une Computing Resource in Source Workspace doit être conservée dans la section Computing Resource Mappings, et un mappage vers la destination doit être configuré pour celle-ci.

Déterminez si vous devez mapper les ressources de calcul source dans le workspace de destination en fonction de vos besoins métier réels.
|
**Paramètre**
|
**Description**
| | --- | --- | |
**Computing Resource in Source Workspace**
|
Affiche toutes les ressources de calcul associées au workspace source.
| |
**Computing Resource Type**
|
Type de ressource de calcul associée au workspace source.
| |
**Computing Resource in Destination Workspace**
|
Sélectionnez la ressource de calcul de destination vers laquelle la ressource de calcul du workspace source est mappée.

Vous pouvez accéder à la page **Deployment Center** > > > **Deployment Environment Management** du workspace de destination et cliquer sur **View Workspace Environment Information** dans le coin supérieur droit pour afficher les informations sur les ressources de calcul.
| |
**Ignore Mapping**
|
Lorsque cette fonctionnalité est activée, le workspace de destination ne mappe pas la ressource de calcul correspondante du workspace source, et les nœuds, ressources, fonctions, composants et autres contenus sous la ressource de calcul source ne seront pas inclus dans le package de déploiement.

Lorsque les nœuds, ressources, fonctions, composants et autres contenus sous une instance de moteur dans le workspace source n'ont pas besoin d'être déployés, vous pouvez activer **Ignore Mapping** pour l'instance de moteur.
|

Configurez les Computing Resource in Source Workspace.

Configurez le mappage entre les groupes de ressources du workspace source et ceux du workspace de destination. Une fois le mappage établi, le système utilise le groupe de ressources de destination mappé au lieu du groupe de ressources source pour exécuter les tâches pendant le déploiement.

Remarque

DataWorks prend uniquement en charge le mappage entre des groupes de ressources de même type.
Lorsque vous mappez des groupes de ressources Data Integration, assurez-vous que la liste d'autorisation, la connectivité réseau et les autres configurations du groupe de ressources Data Integration de destination sont cohérentes avec celles du groupe source. Sinon, les tâches Data Integration risquent de ne pas s'exécuter correctement. Pour plus d'informations sur la configuration de la connectivité réseau, consultez Vue d'ensemble.

Paramètre	Description
Computing Resource Type	Affiche tous les groupes de ressources associés au workspace source.
Computing Resource in Destination Workspace	Type de groupe de ressources associé au workspace source.
Deployment Center	Sélectionnez le groupe de ressources de destination vers lequel le groupe de ressources du workspace source est mappé. Vous pouvez accéder à la page Deployment Environment Management > View Workspace Environment Information du workspace de destination et cliquer sur Ignore Mapping dans le coin supérieur droit pour afficher les informations sur les groupes de ressources.
Ignore Mapping	Lorsque cette fonctionnalité est activée, le workspace de destination ne mappe pas le groupe de ressources correspondant du workspace source, et le groupe de ressources source est toujours utilisé lors du déploiement des tâches. Remarque Les groupes de ressources par défaut et partagés ne prennent pas en charge la fonctionnalité Resource Group Mappings. Lorsque le workspace source possède plus de groupes de ressources que le workspace de destination, vous pouvez activer Resource Group in Source Workspace pour les groupes supplémentaires. Une fois cette fonctionnalité activée, le groupe de ressources source est toujours utilisé pour exécuter les tâches pendant le déploiement.

Configurez les Resource Group Type.
Cette section affiche les noms de tous les projets en amont présentant des dépendances inter-projets dans le workspace source. Vous pouvez configurer le projet cible vers lequel chaque projet est mappé. Une fois le mappage établi, le système définit le projet cible comme dépendance en amont des nœuds déployés dans le workspace de destination, générant ainsi de nouvelles relations de dépendance en amont et en aval.
Remarque

La section Resource Group in Destination Workspace affiche par défaut les dépendances mises à jour automatiquement sur une base T+1. Pour afficher les dépendances en temps réel, cliquez sur Deployment Center.

Si vous configurez un mappage de dépendance inter-projet vers un nouveau projet, DataWorks modifie la dépendance du nœud en fonction du mappage. Assurez-vous que le workspace mappé permet d'ajouter correctement des dépendances. Pour les scénarios courants où l'ajout de dépendances est impossible, consultez Erreur de validation du nœud : nom de sortie de l'ancêtre dépendant introuvable.

Après configuration des mappages de dépendances pour les tâches du moteur MaxCompute (telles que ODPS SQL et ODPS Spark), le système met également à jour le code de la tâche en conséquence.
|
**Paramètre**
|
**Description**
| | --- | --- | |
**Source Project Name**
|
Affiche les noms de tous les projets présentant des dépendances inter-projets dans le workspace source.
| |
**Property**
|
Catégorie du projet.
| |
**Destination Project Name**
|
Sélectionnez le projet cible vers lequel le projet source est mappé.
| |
**Ignore Mapping**
|
Lorsque cette fonctionnalité est activée, le système ignore le mappage de dépendance pour ce projet pendant le déploiement et continue d'utiliser le projet source comme projet de dépendance inter-projet. Les relations de dépendance en amont et en aval des nœuds déployés restent inchangées.
|
Configurez les Deployment Environment Management.

Configurez le mappage entre les sources de données du workspace source et celles du workspace de destination. Une fois le mappage établi, les sources de données utilisées dans les tâches déployées sont remplacées par les sources de données de destination mappées lors du déploiement.
|
**Paramètre**
|
**Description**
| | --- | --- | |
**Source Name**
|
Affiche toutes les sources de données du workspace source.
| |
**Data Source Type**
|
Type de source de données.
| |
**Destination Name**
|
Sélectionnez la source de données de destination vers laquelle la source de données source est mappée.
| |
**Ignore Mapping**
|
Lorsque cette fonctionnalité est activée, le système ignore cette source de données pendant le déploiement et ne la mappe pas au workspace de destination.
|
Configurez les View Workspace Environment Information.

Synchronisez les configurations de paramètres du workspace source vers le workspace de destination. Pendant le déploiement, le système référence les paramètres configurés ici (y compris les paramètres de workflow et de planification) dans le workspace de destination. Vous pouvez définir les noms et valeurs des paramètres à l'aide de l'interface visuelle ou d'expressions. Pour plus d'informations sur la configuration des paramètres, consultez Formats des paramètres de planification.

Remarque
Assurez-vous que les noms de paramètres sont uniques pour chaque déploiement. Évitez d'attribuer le même paramètre à différentes tâches.
Cliquez sur Ignore Mapping pour créer l'environnement de déploiement.

Étape 2 : Déployer les tâches dans l'environnement de production du workspace source

En prenant pour exemple un workspace en mode basique utilisant Data Studio (nouvelle version), cette étape nécessite de déployer les tâches dans l'environnement de production du workspace actuel (workspace source). Après le déploiement, le système transfère le package de déploiement généré vers la section Ignore Mapping de Deployment Center pour le déploiement inter-workspace ultérieur.

Remarque

Seuls les membres disposant des rôles Operator, Deployer ou Ignore Mapping peuvent effectuer des opérations de déploiement.
Lors de l'utilisation d'un workspace en mode basique avec DataStudio (ancienne version), recherchez les nœuds, fonctions et autres objets à déployer dans Data Studio, puis cliquez sur Dependency Mappings () dans la barre d'outils supérieure.

Dans Data Studio, recherchez les nœuds, fonctions et autres objets à déployer, puis cliquez sur Dependency Mappings dans la barre d'outils supérieure pour lancer le processus de déploiement.
Pendant le processus de déploiement, cliquez sur Start Production Deployment pour déployer les objets dans l'environnement de production du workspace source.

Le processus de déploiement comprend trois étapes : Package Build, Production Checker et Deploy to Production. Une fois chaque étape terminée, l'état s'affiche comme Completed. Vous pouvez cliquer sur View Details pour consulter les informations d'exécution.

Étape 3 : Créer un package de déploiement

Remarque

Les membres disposant du rôle Refresh Dependencies. peuvent créer un package de déploiement dans Deployment Center. Si vous disposez du rôle Source Project Name , vous n'avez pas besoin de créer manuellement un package de déploiement. Après avoir sélectionné les objets à déployer, vous pouvez les déployer directement en lot, et le système génère automatiquement un package de déploiement.

Utilisez un membre disposant du rôle Property pour accéder à Deployment Center du workspace source.

Vous pouvez accéder à n'importe quel module DataWorks, cliquer sur l'icône dans le coin supérieur gauche de la page, puis choisir All Products > Destination Project Name > Ignore Mapping pour accéder à Deployment Center.
Dans le volet de navigation de gauche, cliquez sur Data Source Mappings pour afficher les objets générés à déployer. Dans la colonne Source Name , cliquez sur Data Source Type pour les objets souhaités. Après avoir ajouté des objets, le nombre d'objets à déployer s'affiche sur le bouton Destination Name .
Remarque
- Vous pouvez également sélectionner plusieurs objets à déployer et cliquer sur Ignore Mapping en bas de la page.
- Lors de l'utilisation de New Data Studio, si vous avez cliqué sur Terminate Deployment pendant le processus de déploiement dans Data Studio, les objets correspondants à déployer ne s'affichent plus ici.
Après avoir ajouté des objets au package de déploiement, cliquez sur Parameter Mappings pour vérifier si les objets du package correspondent à vos attentes. Vous pouvez cliquer sur Create pour supprimer les objets indésirables du package de déploiement.

Remarque
Actuellement, seuls les objets provenant de Legacy Data Studio peuvent être consultés. Les objets provenant de New Data Studio ne sont pas encore visibles.
Sur la page Nodes to Deploy , cliquez sur Workspace Administrator et suivez les instructions à l'écran pour créer le package de déploiement.

Remarque
Si vous disposez du rôle Commit , le bouton Deploy ne s'affiche pas. À la place, le bouton Development s'affiche, vous permettant de déployer directement les objets.

Étape 4 : Déployer le package de déploiement

Remarque

L'opérateur intervenant à cette étape doit disposer des rôles Operator, Deployer ou Workspace Administrator dans les workspaces source et de destination.

Utilisez un membre disposant des rôles Operator, Deployer ou Development pour accéder à Deployment Center du workspace source.

Vous pouvez accéder à n'importe quel module DataWorks, cliquer sur l'icône dans le coin supérieur gauche de la page, puis choisir All Products > More > Deployment Center pour accéder à Deployment Center.
Dans le volet de navigation de gauche, cliquez sur Nodes to Deploy pour afficher les packages de déploiement générés.
Dans la colonne Actions, cliquez sur Actions pour le package de déploiement cible et suivez les instructions à l'écran pour terminer le déploiement.
Remarque
- Pendant le déploiement inter-workspace, les membres disposant des rôles Operator, Deployer ou Add to Deployment Package peuvent modifier le groupe de ressources utilisé par les tâches déployées dans le workspace de destination.
- Pour les nœuds générant des instances le lendemain (T+1), le déploiement prend effet comme suit :
  - Si le déploiement est effectué avant 22 h 00, il prend effet le lendemain.
  - Si le déploiement est effectué après 22 h 00, il prend effet le surlendemain.
- Pour les nœuds générant des instances immédiatement, le déploiement prend effet comme suit :
  - Les instances dont l'heure planifiée est supérieure à 10 minutes après l'heure du déploiement sont générées ou mises à jour normalement.
  - Les instances dont l'heure planifiée se situe dans les 10 minutes suivant l'heure du déploiement, ou les instances déployées après 22 h 00, prennent effet le surlendemain.

Étape 5 : Consulter le résultat du déploiement

Une fois le package de déploiement créé et déployé, vous pouvez consulter le résultat du déploiement sur la page View Deployment Package du workspace actuel.

Sur la page Deployment Packages , vérifiez que la colonne Deployment Status affiche Deployed , ce qui indique que le déploiement inter-workspace est terminé.
Une fois le déploiement réussi, vous pouvez accéder au Operation Center du workspace de destination pour afficher les tâches déployées.