Achetez un groupe de ressources exclusif pour la planification adapté à votre charge de travail, puis configurez la liaison VPC et les paramètres de liste d'autorisation avant utilisation.
Si vous n'aviez activé DataWorks dans aucune région avant le 10 juin 2024, vous ne pouvez acheter et utiliser que des groupes de ressources serverless après l'activation. Vous ne pouvez pas acheter ni utiliser les groupes de ressources hérités. Les utilisateurs existants de DataWorks qui souhaitent passer aux groupes de ressources serverless peuvent consulter la rubrique Passer des groupes de ressources hérités.
DataWorks ne recommande plus les groupes de ressources exclusifs pour la planification
**DataWorks ne recommande plus les groupes de ressources exclusifs pour la planification. Nous vous recommandons d'utiliser les groupes de ressources serverless.** Les groupes de ressources serverless regroupent les fonctionnalités principales des groupes de ressources hérités (groupes de ressources exclusifs pour la planification, groupes de ressources exclusifs pour Data Integration, groupes de ressources exclusifs pour Data Service et groupes de ressources partagés) en un seul groupe de ressources, avec lequel vous pouvez synchroniser des données, planifier et exécuter des tâches, ainsi qu'appeler et gérer des services API.
Prérequis
-
Consultez les spécifications, les limites de simultanéité et la tarification dans la rubrique Facturation des groupes de ressources exclusifs pour la planification. Planifiez les spécifications de votre groupe de ressources et la durée de l'abonnement en fonction de vos besoins métier.
Consultez les cas d'utilisation des groupes de ressources exclusifs pour la planification.
Remarques
(Facultatif) Vous devez comprendre la connectivité réseau et les configurations de liste d'autorisation si le groupe de ressources exclusif pour la planification doit interagir avec des sources de données ou d'autres environnements réseau, par exemple pour accéder à une base de données auto-gérée ou à une adresse interne via un script Shell, ou si vous utilisez des moteurs tels qu'EMR ou CDH qui nécessitent un groupe de ressources exclusif pour la planification. Consultez la rubrique Connectivité réseau et configurations de liste d'autorisation.
Si vous souhaitez uniquement atténuer les retards de tâches dus à la contention des ressources dans les groupes de ressources de planification partagés et que vous n'avez pas besoin de connectivité à la base de données, ignorez les étapes de configuration réseau. Vous pouvez acheter un groupe de ressources exclusif dans n'importe quelle zone de disponibilité sans configurer les paramètres réseau.
Les groupes de ressources exclusifs peuvent accéder à Internet par défaut, mais via une bande passante partagée sans garantie de performance. Si vos tâches dépendent fortement de l'accès à Internet, utilisez plutôt un groupe de ressources serverless.
Limitations
Seul un compte Alibaba Cloud ou un utilisateur RAM disposant des autorisations AliyunBSSOrderAccess et AliyunDataWorksFullAccess peut acheter des groupes de ressources.
Seul un administrateur d'espace de travail peut associer un groupe de ressources à un espace de travail ou modifier l'association.
Les autorisations détaillées sont répertoriées dans la rubrique Politiques de contrôle des autorisations des groupes de ressources.
Vous pouvez également créer des politiques personnalisées pour affiner l'accès. Consultez la rubrique Créer une politique personnalisée et accorder des autorisations.
Un groupe de ressources exclusif pour la planification de type
4c8gprend en charge la liaison d'un maximum de2VPC. Les groupes de ressources exclusifs pour la planification d'autres spécifications prennent en charge la liaison d'un maximum de3VPC.Le VPC que vous sélectionnez lors de l'achat d'un groupe de ressources exclusif pour la planification est le VPC principal et ne peut pas être dissocié. Vous ne pouvez dissocier que les VPC supplémentaires que vous liez après l'achat. Pour modifier le VPC principal, désabonnez-vous du groupe de ressources actuel et rachetez-le en sélectionnant le nouveau VPC lors de l'achat.
Les groupes de ressources exclusifs seront obsolètes à l'avenir. Si vous n'avez jamais activé DataWorks dans aucune région, vous ne pouvez acheter et utiliser que des groupes de ressources serverless après l'activation, et vous ne pouvez pas acheter ni utiliser les groupes de ressources hérités. Consultez les notes de version des groupes de ressources serverless.
Les tâches exécutées sur un groupe de ressources exclusif pour la planification peuvent créer jusqu'à
100fichiers au moment de l'exécution, et chaque fichier ne peut pas dépasser150MBen taille.
Étape 1 : Acheter un groupe de ressources
Les groupes de ressources exclusifs pour la planification utilisent la facturation par abonnement et doivent être achetés séparément.
Seuls les utilisateurs disposant des autorisations AliyunBSSOrderAccess et AliyunDataWorksFullAccess peuvent acheter des groupes de ressources.
Connectez-vous à la console DataWorks.
-
Dans le volet de navigation de gauche, cliquez sur Resource Group pour accéder à la page Resource Groups. Dans l'onglet Exclusive Resource Group, cliquez sur Create Resource Group for Scheduling of Old Version. Sur la page d'achat, configurez les paramètres clés suivants en fonction de vos besoins métier.
Paramètre
Description
Région
Sélectionnez la région où vous souhaitez utiliser ce groupe de ressources exclusif.
RemarqueLes groupes de ressources exclusifs ne peuvent pas être utilisés entre différentes régions. Par exemple, un groupe de ressources dans la région Chine (Shanghai) ne peut être utilisé que par des espaces de travail situés en Chine (Shanghai).
Exclusive Resource Group Type
Définissez ce paramètre sur Exclusive Resources for Scheduling.
Exclusive Resources for Scheduling
Sélectionnez les spécifications du groupe de ressources. Différentes spécifications ont des coûts et des limites de simultanéité différents. Consultez la rubrique Facturation des groupes de ressources exclusifs pour la planification.
Resources
Le nombre de machines dans le groupe de ressources. Sélectionnez au moins deux machines pour une haute disponibilité en production.
Billing Cycle
Facturation par abonnement. Sélectionnez Auto Renewal pour éviter toute interruption de service. Vous pouvez gérer le renouvellement automatique ultérieurement sur la page Renewals d'Alibaba Cloud. Consultez la rubrique Renouveler un groupe de ressources exclusif.
Resource Name
Définissez un nom unique pour le groupe de ressources au sein du locataire. Des noms dupliqués provoquent une erreur lors de la confirmation.
RemarqueUn locataire est un compte Alibaba Cloud, qui peut avoir plusieurs utilisateurs RAM.
-
Cliquez sur Default Resource Group et suivez les instructions à l'écran pour effectuer le paiement et acheter le groupe de ressources exclusif pour la planification.
Après l'achat, DataWorks initialise le groupe de ressources exclusif. Lorsque le statut passe à « en cours d'exécution », le groupe de ressources apparaît dans la console.
RemarqueL'initialisation d'un groupe de ressources exclusif prend environ 20 minutes. Attendez que le statut passe à Buy Now.
Une fois le groupe de ressources prêt, associez-le à un espace de travail avant de l'utiliser dans les configurations de tâches.
Étape 2 : Associer à un espace de travail
Seul un administrateur d'espace de travail peut associer un groupe de ressources à un espace de travail ou modifier l'association.
Un groupe de ressources exclusif pour la planification doit être associé à un espace de travail avant utilisation. Un groupe de ressources peut être associé à plusieurs espaces de travail, mais uniquement au sein de la même région. Par exemple, un groupe de ressources en Chine (Shanghai) ne peut être associé qu'à des espaces de travail situés en Chine (Shanghai).
Connectez-vous à la console DataWorks.
Sur la page Running, cliquez sur l'onglet Resource Groups, puis cliquez sur Exclusive Resource Group dans la ligne du groupe de ressources cible.
Sur la page Associate Workspace, cliquez sur Associate Workspace dans la ligne de l'espace de travail cible pour associer le groupe de ressources exclusif à l'espace de travail.
Étape 3 : Configurer les paramètres réseau
Lier un VPC
Vous devez comprendre la connectivité réseau et les configurations de liste d'autorisation si le groupe de ressources exclusif pour la planification doit interagir avec des sources de données ou d'autres environnements réseau, par exemple pour accéder à une base de données auto-gérée ou à une adresse interne via un script Shell, ou si vous utilisez des moteurs tels qu'EMR ou CDH qui nécessitent un groupe de ressources exclusif pour la planification, vous devez également configurer la liaison VPC et les paramètres de liste d'autorisation comme décrit ci-dessous.
Un groupe de ressources exclusif est déployé dans un VPC géré par DataWorks. Liez votre propre VPC au groupe de ressources pour activer la connectivité à vos sources de données.
Un groupe de ressources exclusif pour la planification de type 4c8g prend en charge la liaison d'un maximum de 2 VPC. Les autres spécifications prennent en charge jusqu'à 3 VPC.
Connectez-vous à la console DataWorks.
-
Sur la page Bind, cliquez sur l'onglet Resource Groups, puis cliquez sur Exclusive Resource Group dans la ligne du groupe de ressources cible pour accéder à la page de liaison.
Avant la liaison, utilisez votre compte Alibaba Cloud (seul le compte Alibaba Cloud dispose des autorisations requises) pour compléter l'autorisation RAM permettant à DataWorks d'accéder à vos ressources cloud. Sur la page Cloud Resource Access Authorization, sélectionnez le rôle AliyunDataWorksAccessingENIRole et cliquez sur Confirm Authorization Policy.
-
Lie un VPC.
-
Sur la page Network Settings, cliquez sur VPC Binding dans le coin supérieur gauche. Dans la boîte de dialogue Add Binding, configurez les paramètres en fonction de votre environnement réseau.
RemarquePour les cas d'utilisation impliquant des instances Alibaba Cloud ou des instances ECS auto-gérées, la solution de connectivité réseau et la configuration dépendent du fait que l'espace de travail DataWorks et la source de données appartiennent au même compte principal.
Paramètre
Même compte et même région
Comptes ou régions différents
Add VPC Binding
Si votre source de données et votre groupe de ressources exclusif se trouvent dans le même compte Alibaba Cloud, nous vous recommandons de sélectionner le VPC où réside la source de données.
S'ils ne se trouvent pas dans le même compte Alibaba Cloud, suivez les instructions pour le scénario où ils se trouvent dans des régions différentes.
Si votre source de données et votre groupe de ressources exclusif se trouvent dans des régions différentes ou sous des comptes principaux différents, sélectionnez un VPC dans le compte actuel qui est connecté au réseau de la source de données. Par exemple, si la source de données ne se trouve pas dans un VPC Alibaba Cloud, vous pouvez cliquer sur VPC pour créer un VPC pour le groupe de ressources exclusif. Une fois le VPC créé, sélectionnez le nouveau VPC ou un VPC déjà connecté au réseau de la base de données cible.
RemarqueSi l'espace de travail DataWorks et la source de données se trouvent dans des régions différentes ou sous des comptes principaux différents, vous devez également utiliser un service tel que VPN Gateway ou Express Connect pour connecter le VPC lié au groupe de ressources exclusif au VPC où se trouve la source de données. Vous devez également ajouter manuellement une route pointant vers l'adresse IP de la base de données cible pour assurer la connectivité entre les réseaux. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
Create VPC
Sélectionnez la zone où se trouve la base de données.
Sélectionnez une zone déjà connectée au réseau de la base de données cible.
Zone
Si vous sélectionnez le VPC où réside la source de données, nous vous recommandons de sélectionner le vSwitch associé à la source de données.
RemarqueAprès avoir lié n'importe quel vSwitch dans le VPC de la source de données, une route est automatiquement ajoutée à l'ensemble du bloc CIDR du VPC pour assurer la connectivité réseau du groupe de ressources exclusif pour Data Integration au sein de ce VPC.
Sélectionnez un vSwitch déjà connecté au réseau de la base de données cible. Si aucun vSwitch n'est disponible, cliquez sur vSwitch pour en créer un pour le groupe de ressources exclusif. Une fois le vSwitch créé, sélectionnez-le ici.
Cliquez sur Create VSwitch pour terminer la liaison VPC.
RemarqueSi la source de données et le groupe de ressources exclusif se trouvent dans des régions différentes ou sous des comptes principaux différents, vous devez lier un VPC, puis ajouter une règle de route pointant vers l'adresse IP de la base de données cible.
-
-
Facultatif : Configurez un mappage nom d'hôte-IP.
Si votre source de données est accessible par nom d'hôte plutôt que par adresse IP, configurez un mappage nom d'hôte-IP. Sinon, les tests de connectivité échoueront lors de l'ajout de la source de données.
-
Cliquez sur Determine. Sur la page, cliquez sur Hostname-to-IP Mapping dans le coin supérieur gauche. Dans la boîte de dialogue Add, configurez les paramètres suivants.
Paramètre
Description
Create Hostname-to-IP Mapping
Saisissez l'adresse IP réelle de la source de données.
IP Address
Saisissez le domaine hôte utilisé par la source de données pour l'accès externe. S'il existe plusieurs domaines hôtes, saisissez chacun d'eux sur une nouvelle ligne.
-
Pour ajouter plusieurs mappages, cliquez à nouveau sur Hostname.
RemarqueL'adresse IP et les domaines hôtes d'un nouveau mappage ne doivent pas dupliquer une adresse IP ou un domaine hôte existant dans les mappages précédents.
Un seul mappage prend en charge une relation un-à-plusieurs entre une adresse IP et des domaines hôtes. Une adresse IP peut être mappée à plusieurs domaines hôtes, mais un domaine hôte ne peut être mappé qu'à une seule adresse IP.
-
Ajouter une liste d'autorisation
Si le groupe de ressources et la source de données se trouvent dans la même zone de disponibilité mais partagent le même VPC et le même vSwitch et ne peuvent toujours pas se connecter, la source de données peut avoir des restrictions de liste d'autorisation. Ajoutez les entrées suivantes à la liste d'autorisation de la source de données.
-
Réseau interne : Ajoutez le bloc CIDR du vSwitch utilisé lors de la liaison du groupe de ressources à un VPC à la liste d'autorisation de la source de données.
Après avoir lié le VPC, accédez à la page . Cliquez sur Exclusive Resource Group pour le groupe de ressources cible, puis cliquez sur l'onglet Network Settings pour afficher le VPC Binding. Trouvez l'adresse du bloc CIDR dans la colonne vSwitch CIDR Block.
Internet : Ajoutez l'vSwitch CIDR Block du groupe de ressources à la liste d'autorisation de la source de données. Trouvez l'EIP Address sur la page Basic Information du groupe de ressources.
Étape 4 : Tester la connectivité réseau
Après avoir terminé la configuration réseau, testez la connectivité entre le groupe de ressources et la source de données.
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Management Center Go to .
Sur la page de gestion de l'espace de travail, cliquez sur Management Center dans le volet de navigation de gauche pour ouvrir la page des sources de données.
Cliquez sur Data Sources dans la colonne Edit de la source de données cible.
-
Sur la page de modification de la source de données, cliquez sur Operation à côté du groupe de ressources de planification cible. Si le statut de connectivité est Test Connectivity, la connexion est réussie.
Dans la section Connection Settings, cliquez sur l'onglet Data Scheduling pour afficher la liste des groupes de ressources et le statut de connectivité pour les environnements de développement et de production. Cliquez sur Finish Editing pour enregistrer.
RemarqueL'interface de configuration varie selon le type de source de données.
Si la source de données possède des environnements de développement et de production distincts, testez la connectivité dans chaque environnement séparément.
Différents environnements réseau peuvent nécessiter des configurations spécifiques. Consultez la rubrique Solutions de connectivité réseau.
Opérations supplémentaires
Afficher l'utilisation et la surveillance du groupe de ressources
Vérifiez l'utilisation du groupe de ressources et le statut de mise en file d'attente dans la console DataWorks, ou utilisez la surveillance intelligente d'Operation Center pour suivre la consommation des ressources et les instances en file d'attente. Si une tâche prend trop de temps à s'exécuter, vérifiez si les ressources ont été entièrement consommées. Consultez la rubrique Afficher l'utilisation du groupe de ressources. Consultez également la rubrique Surveillance du groupe de ressources.
Utiliser O&M Assistant pour exécuter des commandes sur un groupe de ressources
Utilisez O&M Assistant pour exécuter des commandes sur un groupe de ressources exclusif pendant le développement, par exemple pour installer des packages PyODPS tiers.
Modifier la zone de disponibilité d'un groupe de ressources
Pour modifier la zone de disponibilité d'un groupe de ressources, effectuez les étapes suivantes :
Connectez-vous à la console DataWorks.
Dans le volet de navigation de gauche, cliquez sur Connectable. Sur la page Resource Group, cliquez sur l'onglet Resource Groups, et trouvez le groupe de ressources dont l'Exclusive Resource Group est Purpose.
Dans la colonne Data Scheduling du groupe de ressources cible, cliquez sur l'icône
, et sélectionnez Operation pour ouvrir la boîte de dialogue Change Zone.Dans la boîte de dialogue Change Zone for Resource Group, sélectionnez la Change Zone for Resource Group et les Current Zone du groupe de ressources à modifier, puis sélectionnez la Machines cible et le New Zone.
Cliquez sur Number of Machines to Use pour terminer la modification de la zone de disponibilité du groupe de ressources.
La modification de la zone de disponibilité peut entraîner des changements réseau :
Bloc CIDR du groupe de ressources : Chaque zone de disponibilité possède un bloc CIDR indépendant. Si la zone de disponibilité change, le bloc CIDR change en conséquence.
IP de l'interface réseau principale du groupe de ressources : L'IP de l'interface réseau principale change toujours. Une nouvelle IP est attribuée dans le bloc CIDR de la zone de disponibilité cible.
Interface réseau élastique liée au groupe de ressources : Si le bloc CIDR du vSwitch figure dans la liste d'autorisation, aucune mise à jour n'est nécessaire. Toutefois, si la liste d'autorisation contient directement l'IP de l'ENI, mettez à jour la liste d'autorisation après le changement de zone.
Annexe : Changer le groupe de ressources de planification
Vous pouvez changer le groupe de ressources utilisé par les tâches de plusieurs manières.
|
Environnement |
Opérations de changement prises en charge |
Point d'entrée de l'interface |
|
Changer le groupe de ressources de l'environnement de production |
Changement par lot |
Important
Les nœuds virtuels, les workflows et les tâches Machine Learning Platform for AI (PAI) ne prennent pas en charge les changements de groupe de ressources. Ne sélectionnez pas ces types de tâches. |
|
Changer le groupe de ressources de l'environnement de développement |
|
Accédez à la page Change Resource Group for Scheduling et configurez comme suit :
|
|
Changer le groupe de ressources de débogage de Data Studio |
Changement de tâche unique |
Accédez à la page d'édition de code d'un nœud unique dans Change Resource Group for Scheduling, et cliquez sur le bouton |
, sélectionnez les tâches pour lesquelles vous souhaitez changer le groupe de ressources, puis cliquez sur 
dans la barre d'outils pour changer le groupe de ressources de planification utilisé pour le débogage du code.