How to create and deploy a deployment package for cross-cloud deployment - DataWorks

Cas d'utilisation

Cette fonctionnalité s'adresse aux espaces de travail utilisant legacy Data Studio afin de migrer des objets tels que les nœuds, les fonctions, les ressources et les composants d'un espace de travail source vers un espace de travail de destination, qu'ils se trouvent sur des comptes, des régions ou des plateformes cloud différents (par exemple, Alibaba Finance Cloud ou Alibaba Gov Cloud).

Remarque

Afin de garantir la bonne exécution des tâches dans l'espace de travail de destination, consultez la rubrique Logique de modification du déploiement pour comprendre la logique de mise en correspondance entre les espaces de travail source et de destination avant de poursuivre.

Limites

Exigences en matière d'autorisations

Vous devez disposer d'autorisations pour les espaces de travail source et de destination afin d'effectuer un déploiement inter-cloud. Pour plus d'informations sur l'ajout de membres à un espace de travail et l'attribution d'autorisations, consultez la rubrique Gérer les autorisations pour les modules au niveau de l'espace de travail.

Exigences relatives à l'environnement

Le tableau suivant décrit les exigences environnementales pour un déploiement inter-cloud d'un espace de travail source vers un espace de travail de destination.

Espace de travail source		Espace de travail de destination
Mode de l'espace de travail	Version de Data Studio	Mode basique New Data Studio	Mode basique legacy Data Studio	Mode standard New Data Studio	Mode standard legacy Data Studio
mode basique	New Data Studio	Non pris en charge	Non pris en charge	Non pris en charge	Non pris en charge
mode basique	legacy Data Studio	Non pris en charge	Pris en charge	Non pris en charge	Pris en charge
mode standard	New Data Studio	Non pris en charge	Non pris en charge	Non pris en charge	Non pris en charge
mode standard	legacy Data Studio	Non pris en charge	Pris en charge	Non pris en charge	Pris en charge

Processus de déploiement

Remarque

Pour un déploiement inter-cloud, après avoir créé un package de déploiement, vous devez le télécharger manuellement sur votre machine locale, puis l'importer dans l'espace de travail de destination pour le déployer.

Procédure dans l'espace de travail source

Étape 1 : Créer un environnement de déploiement

Lorsque vous déployez des nœuds depuis l'espace de travail source vers l'espace de travail de destination, ce dernier constitue un environnement de déploiement entièrement nouveau. Par conséquent, vous devez mettre en correspondance des informations telles que les instances de moteur, les groupes de ressources et les dépendances entre la source et la destination. Une fois cette mise en correspondance configurée, le système remplace automatiquement l'environnement utilisé par les nœuds déployés par les informations d'environnement mises en correspondance lors du déploiement d'un package de déploiement, sans nécessiter de configuration supplémentaire dans l'espace de travail de destination.

Remarque

Seuls les membres disposant du rôle Workspace Administrator peuvent créer et configurer un environnement de déploiement.

1. Accédez à Deployment Center

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.
Dans le coin supérieur gauche de la page, cliquez sur l'icône et choisissez All Products > More > Deployment Center pour accéder à Deployment Center.

2. Configurez l'environnement de déploiement

Sur la page Deployment Center, cliquez sur Deployment Environment Management dans le volet de navigation de gauche.

Cliquez sur Create Deployment Environment et configurez les informations relatives à l'environnement.

Configurez les informations de base de l'environnement.

Paramètre

Description

Environment Name

Nom du nouvel environnement de déploiement.

Deployment Type

Pour ce scénario, sélectionnez Cross-cloud Deployment.

Espace de travail de destination

Saisissez le nom de l'espace de travail de destination.

Configurez les Computing Resource Mappings.

Configurez la mise en correspondance entre les ressources de calcul de l'espace de travail source et celles de l'espace de travail de destination. Une fois la mise en correspondance configurée, le système déploie les nœuds, les ressources, les fonctions, les composants et autres contenus connexes depuis la ressource de calcul source vers la ressource de calcul de destination mise en correspondance lorsque vous déployez des tâches.

Remarque

Au moins une Computing Resource in Source Workspace doit être conservée dans la section Computing Resource Mappings, et une mise en correspondance avec la destination doit être configurée pour celle-ci.
Déterminez si vous devez mettre en correspondance les ressources de calcul source dans l'espace de travail de destination en fonction de vos besoins métier réels.

Paramètre

Description

Computing Resource in Source Workspace

Affiche toutes les ressources de calcul associées à l'espace de travail source.

Computing Resource Type

Type de ressource de calcul associé à l'espace de travail source.

Computing Resource in Destination Workspace

Sélectionnez la ressource de calcul de destination vers laquelle la ressource de calcul de l'espace de travail source est mappée.

Vous pouvez accéder à la page Deployment Center > Deployment Environment Management de l'espace de travail de destination et cliquer sur View Workspace Environment Information dans le coin supérieur droit pour afficher les informations sur les ressources de calcul.

Ignore Mapping

Lorsque cette fonctionnalité est activée, l'espace de travail de destination ne mappe pas la ressource de calcul correspondante de l'espace de travail source, et les nœuds, ressources, fonctions, composants et autres contenus sous la ressource de calcul source ne seront pas inclus dans le package de déploiement.

Lorsque les nœuds, ressources, fonctions, composants et autres contenus sous une instance de moteur dans l'espace de travail source n'ont pas besoin d'être déployés, vous pouvez activer Ignore Mapping pour l'instance de moteur.

Configurez les Resource Group Mappings.

Mappez les groupes de ressources de l'espace de travail source vers l'espace de travail de destination. Lorsque vous déployez une tâche, le système utilise le groupe de ressources de destination mis en correspondance au lieu du groupe de ressources source pour exécuter la tâche.

Remarque

DataWorks prend uniquement en charge la mise en correspondance entre des groupes de ressources de même type.
Lors de la mise en correspondance d'un groupe de ressources Data Integration, assurez-vous que ses configurations, telles que les listes d'autorisation et la connectivité réseau, correspondent à celles du groupe de ressources source. Sinon, les tâches Data Integration risquent de ne pas s'exécuter comme prévu. Pour plus d'informations sur les configurations de connectivité réseau, consultez la rubrique Présentation des solutions de connexion réseau.

Paramètre	Description
Resource Group in Source Workspace	Affiche tous les groupes de ressources liés à l'espace de travail source.
Resource Group Type	Type du groupe de ressources lié à l'espace de travail source.
Unique Resource Group Identifier in Destination Workspace	Sélectionnez le groupe de ressources de destination auquel mapper le groupe de ressources source. Vous devez saisir l'ID du groupe de ressources. Vous pouvez accéder à la page Deployment Center > Deployment Environment Management de l'espace de travail de destination et cliquer sur View Workspace Environment Information dans le coin supérieur droit pour afficher les informations sur les groupes de ressources.
Ignore Mapping	Si vous activez cette option, la mise en correspondance pour ce groupe de ressources est ignorée et les tâches déployées continueront d'utiliser le groupe de ressources de l'espace de travail source. Remarque Les groupes de ressources par défaut et le groupe de ressources partagé ne prennent pas en charge la fonctionnalité Ignore Mapping. Si l'espace de travail source comporte plus de groupes de ressources que l'espace de travail de destination, vous pouvez activer Ignore Mapping pour les groupes de ressources supplémentaires. Lors du déploiement d'une tâche, celle-ci continuera d'utiliser le groupe de ressources source.

Configurez les Dependency Mappings.

Cette section affiche les noms de tous les projets en amont présentant des dépendances inter-projets dans l'espace de travail source. Vous pouvez configurer le projet cible vers lequel chaque projet est mappé. Une fois la mise en correspondance configurée, le système définit le projet cible comme dépendance en amont des nœuds déployés dans l'espace de travail de destination en fonction de la mise en correspondance, générant ainsi de nouvelles relations de dépendance en amont et en aval.

Remarque

La section Dependency Mappings affiche les dépendances qui sont automatiquement mises à jour sur une base T+1 par défaut. Pour afficher les dépendances en temps réel, cliquez sur Refresh Dependencies..
Si vous configurez une mise en correspondance de dépendance inter-projets vers un nouveau projet, DataWorks modifie la dépendance du nœud en fonction de la mise en correspondance. Assurez-vous que l'espace de travail mappé permet l'ajout correct des dépendances. Pour connaître les scénarios courants où les dépendances ne peuvent pas être ajoutées, consultez la rubrique Erreur de validation du nœud : Nom de sortie de l'ancêtre dépendant introuvable.
Après la configuration des mises en correspondance des dépendances pour les tâches du moteur MaxCompute (telles que ODPS SQL et ODPS Spark), le système met également à jour le code de la tâche en conséquence.

Paramètre

Description

Source Project Name

Affiche les noms de tous les projets présentant des dépendances inter-projets dans l'espace de travail source.

Property

Catégorie du projet.

Destination Project Name

Sélectionnez le projet cible vers lequel le projet source est mappé.

Ignore Mapping

Lorsque cette fonctionnalité est activée, le système ignore la mise en correspondance des dépendances pour ce projet lors du déploiement et continue d'utiliser le projet source comme projet de dépendance inter-projets. Les relations de dépendance en amont et en aval des nœuds déployés restent inchangées.

Configurez les Parameter Mappings.

Synchronisez les configurations de paramètres de l'espace de travail source vers l'espace de travail de destination. Lors du déploiement, le système référence les paramètres configurés ici (y compris les paramètres de workflow et les paramètres de planification) vers l'espace de travail de destination. Vous pouvez définir les noms et les valeurs des paramètres à l'aide de l'interface visuelle ou d'expressions. Pour plus d'informations sur la configuration des paramètres, consultez la rubrique Formats des paramètres de planification.

Remarque
Assurez-vous que les noms des paramètres sont uniques pour chaque déploiement. Évitez d'attribuer le même paramètre à différentes tâches.
Cliquez sur Create pour créer l'environnement de déploiement.

Étape 2 : Valider un nœud

Sur la page d'édition du nœud dans Data Studio, cliquez sur le bouton Commit () dans la barre d'outils supérieure.

Étape 3 : Créer un package de déploiement

Après avoir accédé à n'importe quel module DataWorks, cliquez sur l'icône dans le coin supérieur gauche de la page et sélectionnez All Products > More > Deployment Center pour ouvrir Deployment Center.
Dans le volet de navigation de gauche, cliquez sur Nodes to Deploy pour afficher les objets prêts à être déployés. Dans la colonne Actions d'un objet, cliquez sur Add to Deployment Package. Après avoir ajouté un objet, le nombre d'objets dans le package s'affiche sur le bouton View Deployment Package.

Remarque
Vous pouvez également sélectionner plusieurs objets et cliquer sur Batch Add to Deployment Package en bas de la page.
Après avoir ajouté des objets au package de déploiement, cliquez sur View Deployment Package pour confirmer que les objets inclus dans le package sont corrects. Vous pouvez cliquer sur Remove pour supprimer les objets indésirables du package.

Remarque
Actuellement, vous ne pouvez afficher que les objets provenant de legacy Data Studio. Les objets de New Data Studio ne peuvent pas être affichés.
Sur la page Pending Deployment, cliquez sur Deployment Package Creation et suivez les instructions à l'écran pour créer le package.

Étape 4 : Télécharger le package de déploiement

À l'aide d'un compte disposant du rôle Operator ou Workspace Administrator, accédez au Deployment Center de l'espace de travail source.

Vous pouvez entrer dans n'importe quel module DataWorks, cliquer sur l'icône dans le coin supérieur gauche de la page, et sélectionner All Products > More > Deployment Center pour ouvrir Deployment Center.
Dans le volet de navigation de gauche, cliquez sur Deployment Packages pour afficher les packages de déploiement générés.
Dans la colonne Actions du package de déploiement cible, cliquez sur Download pour télécharger le package sur votre machine locale.

Remarque
Un package de déploiement n'est conservé que pendant 30 jours après sa création. Téléchargez-le rapidement, car les packages expirés ne peuvent pas être téléchargés et doivent être recréés.

Après avoir téléchargé le package de déploiement, vous devez l'importer dans l'espace de travail de destination pour le déployer.

Procédure dans l'espace de travail de destination

Étape 1 : Importer le package de déploiement

Accédez à la page Deployment Center de l'espace de travail de destination. Dans le volet de navigation de gauche, cliquez sur Nodes to Deploy pour accéder à la page Nodes to Deploy.
Dans le coin supérieur droit de la page, cliquez sur Import Deployment Package pour ouvrir le panneau d'importation.

Remarque
Si vous ne trouvez pas ce bouton sur la page Nodes to Deploy, vérifiez si votre espace de travail a New Data Studio activé. Les espaces de travail avec New Data Studio activé ne prennent pas en charge le déploiement inter-cloud.

Vous pouvez importer un package depuis un fichier local ou depuis Object Storage Service (OSS).

Un message d'avertissement en haut de la boîte de dialogue indique qu'un premier déploiement écrase toute tâche portant le même nom dans le même répertoire. Vous devez confirmer cela pour continuer. Le formulaire requiert un Nom du package de déploiement et une description facultative.
- Fichier local : Importez directement le package de déploiement téléchargé. Vous pouvez utiliser cette méthode si le package fait 30 Mo ou moins.
  
  Remarque
  La taille maximale du fichier pour un import de fichier local est de 30 Mo.
- Import OSS : Vous devez d'abord importer le package de déploiement téléchargé vers OSS, puis obtenir son adresse de stockage. Vous devez utiliser cette méthode si la taille du package dépasse 30 Mo.
  
  Pour importer le package de déploiement vers OSS, consultez Télécharger des objets. Pour obtenir l'adresse de stockage OSS, consultez Obtenir l'URL d'un objet.

Étape 2 : Déployer le package

Une fois le package importé, cliquez sur Preview Deployment Package pour consulter l'environnement et la liste des objets. Si les informations sont correctes, cliquez sur Deploy.

Important

Le premier déploiement d'une tâche écrase toute tâche existante dans l'espace de travail de destination portant le même nom. Confirmez qu'il s'agit bien de l'action souhaitée avant de continuer.

Étape 3 : Afficher les résultats du déploiement

Après le déploiement du package de déploiement inter-cloud, vous pouvez accéder à la page Deployment Packages de l'espace de travail de destination pour afficher les résultats du déploiement.
Si le déploiement réussit, vous pouvez accéder au Centre d'opérations de l'espace de travail de destination pour afficher les tâches déployées.