Purchase an exclusive resource group for scheduling - DataWorks

Achetez un groupe de ressources exclusif pour la planification adapté à votre charge de travail, puis configurez la liaison VPC et les paramètres de liste d'autorisation avant utilisation.

Important

Si vous n'aviez activé DataWorks dans aucune région avant le 10 juin 2024, vous ne pouvez acheter et utiliser que des groupes de ressources serverless après l'activation. Vous ne pouvez pas acheter ni utiliser de groupes de ressources hérités. Les utilisateurs existants de DataWorks qui doivent passer aux groupes de ressources serverless peuvent consulter la rubrique Passer des groupes de ressources hérités.

DataWorks ne recommande plus les groupes de ressources exclusifs pour la planification

DataWorks ne recommande plus les groupes de ressources exclusifs pour la planification. Nous vous recommandons d'utiliser des groupes de ressources serverless. Les groupes de ressources serverless regroupent les fonctionnalités principales des groupes de ressources hérités (groupes de ressources exclusifs pour la planification, groupes de ressources exclusifs pour Data Integration, groupes de ressources exclusifs pour Data Service et groupes de ressources partagés) en un seul groupe de ressources, avec lequel vous pouvez synchroniser des données, planifier et exécuter des tâches, ainsi qu'appeler et gérer des services API.

Prérequis

Consultez les spécifications, les limites de simultanéité et la tarification dans la rubrique Facturation des groupes de ressources exclusifs pour la planification. Planifiez les spécifications de votre groupe de ressources et la durée de l'abonnement en fonction de vos besoins métier.
Consultez les Cas d'utilisation des groupes de ressources exclusifs pour la planification.

Remarques

(Facultatif) Vous devez comprendre la connectivité réseau et les configurations de liste d'autorisation si le groupe de ressources exclusif pour la planification doit interagir avec des sources de données ou d'autres environnements réseau, par exemple pour accéder à une base de données gérée par vous-même ou à une adresse interne via un script Shell, ou si vous utilisez des moteurs tels qu'EMR ou CDH qui nécessitent un groupe de ressources exclusif pour la planification. Consultez la rubrique Connectivité réseau et configurations de liste d'autorisation.

Remarque

Si vous souhaitez uniquement atténuer les retards de tâches dus à la contention des ressources dans les groupes de ressources de planification partagés et que vous n'avez pas besoin de connectivité à la base de données, ignorez les étapes de configuration réseau. Vous pouvez acheter un groupe de ressources exclusif dans n'importe quelle zone de disponibilité sans configurer les paramètres réseau.
Les groupes de ressources exclusifs peuvent accéder à Internet par défaut, mais via une bande passante partagée sans garantie de performance. Si vos tâches dépendent fortement de l'accès à Internet, utilisez plutôt un groupe de ressources serverless.

Limites

Seul un compte Alibaba Cloud ou un utilisateur RAM disposant des autorisations AliyunBSSOrderAccess et AliyunDataWorksFullAccess peut acheter des groupes de ressources.
Seul un administrateur d'espace de travail peut associer un groupe de ressources à un espace de travail ou modifier l'association.
Les autorisations détaillées sont répertoriées dans la rubrique Politiques de contrôle des autorisations des groupes de ressources.
Vous pouvez également créer des politiques personnalisées pour affiner l'accès. Consultez la rubrique Créer une politique personnalisée et accorder des autorisations.
Un groupe de ressources exclusif pour la planification de type 4c8g prend en charge la liaison jusqu'à 2 VPC. Les groupes de ressources exclusifs pour la planification d'autres spécifications prennent en charge la liaison jusqu'à 3 VPC.
Les groupes de ressources exclusifs seront dépréciés à l'avenir. Si vous n'avez jamais activé DataWorks dans aucune région, vous ne pouvez acheter et utiliser que des groupes de ressources serverless après l'activation, et vous ne pouvez pas acheter ni utiliser de groupes de ressources hérités. Consultez les Notes de version du groupe de ressources serverless.
Les tâches exécutées sur un groupe de ressources exclusif pour la planification peuvent créer jusqu'à 100 fichiers au moment de l'exécution, et chaque fichier ne peut pas dépasser 150MB en taille.

Étape 1 : Acheter un groupe de ressources

Les groupes de ressources exclusifs pour la planification utilisent la facturation par abonnement et doivent être achetés séparément.

Remarque

Seuls les utilisateurs disposant des autorisations AliyunBSSOrderAccess et AliyunDataWorksFullAccess peuvent acheter des groupes de ressources.

Connectez-vous à la console DataWorks.

Dans le volet de navigation de gauche, cliquez sur Resource Group pour accéder à la page Resource Groups. Dans l'onglet Exclusive Resource Group, cliquez sur Create Resource Group for Scheduling of Old Version. Sur la page d'achat, configurez les paramètres clés suivants en fonction de vos besoins métier.

Paramètre	Description
Région	Sélectionnez la région dans laquelle vous souhaitez utiliser ce groupe de ressources exclusif. Remarque Les groupes de ressources exclusifs ne peuvent pas être utilisés entre différentes régions. Par exemple, un groupe de ressources dans la région Chine (Shanghai) ne peut être utilisé que par des espaces de travail situés en Chine (Shanghai).
Exclusive Resource Group Type	Définissez ce paramètre sur Exclusive Resources for Scheduling.
Exclusive Resources for Scheduling	Sélectionnez les spécifications du groupe de ressources. Différentes spécifications ont des coûts et des limites de simultanéité différents. Consultez la rubrique Facturation des groupes de ressources exclusifs pour la planification.
Resources	Le nombre de machines dans le groupe de ressources. Sélectionnez au moins deux machines pour la haute disponibilité en production.
Billing Cycle	Facturation par abonnement. Sélectionnez Auto Renewal pour éviter toute interruption de service. Vous pourrez gérer le renouvellement automatique ultérieurement sur la page Renewals d'Alibaba Cloud. Consultez la rubrique Renouveler un groupe de ressources exclusif.
Resource Name	Définissez un nom unique pour le groupe de ressources au sein du locataire. Des noms en double provoquent une erreur lors de la confirmation. Remarque Un locataire est un compte Alibaba Cloud, qui peut comporter plusieurs utilisateurs RAM.

Cliquez sur Default Resource Group et suivez les instructions à l'écran pour effectuer le paiement et acheter le groupe de ressources exclusif pour la planification.

Après l'achat, DataWorks initialise le groupe de ressources exclusif. Lorsque le statut passe à « en cours d'exécution », le groupe de ressources apparaît dans la console.

Remarque
L'initialisation d'un groupe de ressources exclusif prend environ 20 minutes. Attendez que le statut passe à Buy Now.

Une fois le groupe de ressources prêt, associez-le à un espace de travail avant de l'utiliser dans les configurations de tâches.

Étape 2 : Associer à un espace de travail

Remarque

Seul un administrateur d'espace de travail peut associer un groupe de ressources à un espace de travail ou modifier l'association.

Un groupe de ressources exclusif pour la planification doit être associé à un espace de travail avant utilisation. Un groupe de ressources peut être associé à plusieurs espaces de travail, mais uniquement au sein de la même région. Par exemple, un groupe de ressources en Chine (Shanghai) ne peut être associé qu'à des espaces de travail situés en Chine (Shanghai).

Connectez-vous à la console DataWorks.
Sur la page Running, cliquez sur l'onglet Resource Groups, puis cliquez sur Exclusive Resource Group dans la ligne du groupe de ressources cible.
Sur la page Associate Workspace, cliquez sur Associate Workspace dans la ligne de l'espace de travail cible pour associer le groupe de ressources exclusif à l'espace de travail.

Étape 3 : Configurer les paramètres réseau

Lier un VPC

Vous devez comprendre la connectivité réseau et les configurations de liste d'autorisation si le groupe de ressources exclusif pour la planification doit interagir avec des sources de données ou d'autres environnements réseau, par exemple pour accéder à une base de données gérée par vous-même ou à une adresse interne via un script Shell, ou si vous utilisez des moteurs tels qu'EMR ou CDH qui nécessitent un groupe de ressources exclusif pour la planification. Vous devez également configurer la liaison VPC et les paramètres de liste d'autorisation comme décrit ci-dessous.

Un groupe de ressources exclusif est déployé dans un VPC géré par DataWorks. Liez votre propre VPC au groupe de ressources pour activer la connectivité vers vos sources de données.

Important

Un groupe de ressources exclusif pour la planification de type 4c8g prend en charge la liaison jusqu'à 2 VPC. Les autres spécifications prennent en charge jusqu'à 3 VPC.

Connectez-vous à la console DataWorks.
Sur la page Bind, cliquez sur l'onglet Resource Groups, puis cliquez sur Exclusive Resource Group dans la ligne du groupe de ressources cible pour accéder à la page de liaison.

Avant la liaison, utilisez votre compte Alibaba Cloud (seul le compte Alibaba Cloud dispose des autorisations requises) pour effectuer l'autorisation RAM permettant à DataWorks d'accéder à vos ressources cloud. Sur la page Cloud Resource Access Authorization, sélectionnez le rôle AliyunDataWorksAccessingENIRole et cliquez sur Confirm Authorization Policy.

LieZ un VPC.

Sur la page Network Settings, cliquez sur VPC Binding dans le coin supérieur gauche. Dans la boîte de dialogue Add Binding, configurez les paramètres en fonction de votre environnement réseau.

Remarque

Pour les cas d'utilisation impliquant des instances Alibaba Cloud ou des instances ECS gérées par vous-même, la solution de connectivité réseau et la configuration dépendent du fait que l'espace de travail DataWorks et la source de données appartiennent ou non au même compte principal.

Paramètre	Même compte et même région	Comptes ou régions différents
Add VPC Binding	Si votre source de données et votre groupe de ressources exclusif se trouvent dans le même compte Alibaba Cloud, nous vous recommandons de sélectionner le VPC où réside la source de données. S'ils ne se trouvent pas dans le même compte Alibaba Cloud, suivez les instructions pour le scénario où ils se trouvent dans des régions différentes.	Si votre source de données et votre groupe de ressources exclusif se trouvent dans des régions différentes ou sous des comptes principaux différents, sélectionnez un VPC dans le compte actuel qui est connecté au réseau de la source de données. Par exemple, si la source de données ne se trouve pas dans un VPC Alibaba Cloud, vous pouvez cliquer sur VPC pour créer un VPC pour le groupe de ressources exclusif. Une fois le VPC créé, sélectionnez le nouveau VPC ou un VPC déjà connecté au réseau de la base de données cible. Remarque Si l'espace de travail DataWorks et la source de données se trouvent dans des régions différentes ou sous des comptes principaux différents, vous devez également utiliser un service tel que VPN Gateway ou Express Connect pour connecter le VPC lié au groupe de ressources exclusif au VPC où se trouve la source de données. Vous devez également ajouter manuellement une route pointant vers l'adresse IP de la base de données cible pour garantir la connectivité entre les réseaux. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
Create VPC	Sélectionnez la zone où se trouve la base de données.	Sélectionnez une zone déjà connectée au réseau de la base de données cible.
Zone	Si vous sélectionnez le VPC où réside la source de données, nous vous recommandons de sélectionner le vSwitch associé à la source de données. Remarque Après avoir lié n'importe quel vSwitch dans le VPC de la source de données, une route est automatiquement ajoutée à l'ensemble du bloc CIDR du VPC pour garantir la connectivité réseau du groupe de ressources exclusif pour Data Integration au sein de ce VPC.	Sélectionnez un vSwitch déjà connecté au réseau de la base de données cible. Si aucun vSwitch n'est disponible, cliquez sur vSwitch pour en créer un pour le groupe de ressources exclusif. Une fois le vSwitch créé, sélectionnez-le ici.

Cliquez sur Create VSwitch pour terminer la liaison VPC.

Remarque

Si la source de données et le groupe de ressources exclusif se trouvent dans des régions différentes ou sous des comptes principaux différents, vous devez lier un VPC, puis ajouter une règle de route pointant vers l'adresse IP de la base de données cible.

Facultatif : Configurez un mappage nom d'hôte-IP.

Si votre source de données est accessible par nom d'hôte plutôt que par adresse IP, configurez un mappage nom d'hôte-IP. Sinon, les tests de connectivité échoueront lorsque vous ajouterez la source de données.
1. Cliquez sur Determine. Sur la page, cliquez sur Hostname-to-IP Mapping dans le coin supérieur gauche. Dans la boîte de dialogue Add, configurez les paramètres suivants.
  |
  **Paramètre**
  |
  **Description**
  | | --- | --- | |
  **IP Address**
  |
  Saisissez l'adresse IP réelle de la source de données.
  | |
  **Hostname**
  |
  Saisissez le domaine d'hôte utilisé par la source de données pour l'accès externe. S'il existe plusieurs domaines d'hôte, saisissez chacun d'eux sur une nouvelle ligne.
  |
2. Pour ajouter plusieurs mappages, cliquez à nouveau sur Create Hostname-to-IP Mapping.
  Remarque
  - L'adresse IP et les domaines d'hôte dans un nouveau mappage ne doivent pas dupliquer une adresse IP ou un domaine d'hôte existant dans les mappages existants.
  - Un mappage unique prend en charge une relation un-à-plusieurs entre une adresse IP et des domaines d'hôte. Une adresse IP peut être mappée à plusieurs domaines d'hôte, mais un domaine d'hôte ne peut être mappé qu'à une seule adresse IP.

Ajouter une liste d'autorisation

Si le groupe de ressources et la source de données se trouvent dans la même zone de disponibilité mais partagent le même VPC et le même vSwitch et ne peuvent toujours pas se connecter, la source de données peut avoir des restrictions de liste d'autorisation. Ajoutez les entrées suivantes à la liste d'autorisation de la source de données.

Réseau interne : ajoutez le bloc CIDR du vSwitch utilisé lors de la liaison du groupe de ressources à un VPC à la liste d'autorisation de la source de données.

Après avoir lié le VPC, accédez à la page IP Address > Hostname. Cliquez sur Add pour le groupe de ressources cible, puis cliquez sur l'onglet Resource Groups pour afficher le Exclusive Resource Group. Trouvez l'adresse du bloc CIDR dans la colonne vSwitch CIDR Block.
Internet : ajoutez l'Network Settings du groupe de ressources à la liste d'autorisation de la source de données. Trouvez l'EIP Address sur la page Basic Information du groupe de ressources.

Étape 4 : Tester la connectivité réseau

Après avoir terminé la configuration réseau, testez la connectivité entre le groupe de ressources et la source de données.

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur VPC Binding > vSwitch CIDR Block dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur EIP Address More.
2. Sur la page de gestion de l'espace de travail, cliquez sur Management Center dans le volet de navigation de gauche pour ouvrir la page des sources de données.
Cliquez sur Go to dans la colonne Management Center de la source de données cible.
Sur la page de modification de la source de données, cliquez sur Data Sources à côté du groupe de ressources de planification cible. Si le statut de connectivité est Edit, la connexion est réussie.

Dans la section Connection Settings, cliquez sur l'onglet Data Scheduling pour afficher la liste des groupes de ressources et le statut de connectivité pour les environnements de développement et de production. Cliquez sur Finish Editing pour enregistrer.
Remarque
- L'interface de configuration varie selon le type de source de données.
- Si la source de données possède des environnements de développement et de production distincts, testez la connectivité dans chaque environnement séparément.
- Différents environnements réseau peuvent nécessiter des configurations spécifiques. Consultez la rubrique Solutions de connectivité réseau.

Opérations supplémentaires

Consulter l'utilisation et la surveillance du groupe de ressources

Vérifiez l'utilisation du groupe de ressources et le statut de mise en file d'attente dans la console DataWorks, ou utilisez la surveillance intelligente d'Operation Center pour suivre la consommation de ressources et les instances en file d'attente. Si une tâche prend trop de temps à s'exécuter, vérifiez si les ressources ont été entièrement consommées. Consultez la rubrique Consulter l'utilisation du groupe de ressources. Consultez également la rubrique Surveillance du groupe de ressources.

Utiliser O&M Assistant pour exécuter des commandes sur un groupe de ressources

Utilisez O&M Assistant pour exécuter des commandes sur un groupe de ressources exclusif pendant le développement, par exemple pour installer des packages PyODPS tiers.

Modifier la zone de disponibilité d'un groupe de ressources

Pour modifier la zone de disponibilité d'un groupe de ressources, effectuez les étapes suivantes :

Connectez-vous à la console DataWorks.
Dans le volet de navigation de gauche, cliquez sur Operation. Sur la page Test Connectivity, cliquez sur l'onglet Connectable, et recherchez le groupe de ressources dont l'Resource Group est Resource Groups.
Dans la colonne Exclusive Resource Group du groupe de ressources cible, cliquez sur l'icône , et sélectionnez Purpose pour ouvrir la boîte de dialogue Data Scheduling.
Dans la boîte de dialogue Operation, sélectionnez la Change Zone et les Change Zone for Resource Group du groupe de ressources à modifier, puis sélectionnez la Change Zone for Resource Group et le Current Zone cibles.
Cliquez sur Machines pour terminer la modification de la zone de disponibilité du groupe de ressources.

La modification de la zone de disponibilité peut entraîner des changements réseau :

Bloc CIDR du groupe de ressources : chaque zone de disponibilité possède un bloc CIDR indépendant. Si la zone de disponibilité change, le bloc CIDR change en conséquence.
IP de l'interface réseau principale du groupe de ressources : l'IP de l'interface réseau principale change toujours. Une nouvelle IP est attribuée dans le bloc CIDR de la zone de disponibilité cible.
Interface réseau élastique liée au groupe de ressources : si le bloc CIDR du vSwitch figure dans la liste d'autorisation, aucune mise à jour n'est nécessaire. Toutefois, si la liste d'autorisation contient directement l'IP de l'ENI, mettez à jour la liste d'autorisation après le changement de zone.

Annexe : Changer le groupe de ressources de planification

Vous pouvez changer le groupe de ressources utilisé par les tâches de plusieurs manières.

Environnement	Opérations de changement prises en charge	Point d'entrée de l'interface
Changer le groupe de ressources de l'environnement de production	Changement par lot	Dans le volet de navigation de gauche de New Zone, cliquez sur Number of Machines to Use > OK. Sélectionnez les tâches pour lesquelles vous souhaitez changer le groupe de ressources, puis cliquez sur Operation Center dans la barre d'outils inférieure pour changer le groupe de ressources par lot. Important Les nœuds virtuels, les workflows et les tâches Machine Learning Platform for AI (PAI) ne prennent pas en charge les changements de groupe de ressources. Ne sélectionnez pas ces types de tâches.
Changer le groupe de ressources de l'environnement de développement	Changement de tâche unique Changement par lot	Accédez à la page Auto Triggered Task O&M et configurez comme suit : Changement de tâche unique Accédez à la page de modification du nœud cible. Vous pouvez changer le groupe de ressources dans Auto Triggered Task > Change Resource Group for Scheduling. Changement par lot Cliquez sur l'icône , sélectionnez les tâches pour lesquelles vous souhaitez changer le groupe de ressources, puis cliquez sur Datastudio > Scheduling Settings dans la barre d'outils inférieure pour changer le groupe de ressources par lot.
Changer le groupe de ressources de débogage de Data Studio	Changement de tâche unique	Accédez à la page de modification du code d'un nœud unique dans Resource Group, et cliquez sur le bouton dans la barre d'outils pour changer le groupe de ressources de planification utilisé pour le débogage du code.