Avant de migrer d'un groupe de ressources DataWorks hérité vers un groupe de ressources serverless, évaluez la consommation de ressources de vos tâches existantes et choisissez un groupe de ressources serverless doté d'une capacité adéquate. Cette rubrique présente des exemples d'estimation des unités de calcul (CU), les impacts potentiels et les instructions de migration étape par étape.
Nouveaux groupes de ressources
DataWorks prend en charge des groupes de ressources dédiés pour Data Integration, la planification et DataService Studio, mais chacun doit être acheté et configuré séparément. Groupes de ressources serverless unifient ces trois fonctionnalités au sein d'un seul groupe de ressources, ce qui simplifie la gestion et améliore la cohérence opérationnelle.
Groupes de ressources serverless par rapport aux groupes de ressources hérités
Les groupes de ressources hérités existent en variantes exclusives et publiques, chacune étant associée à une seule fonctionnalité.
|
Fonctionnalité |
Groupe de ressources serverless |
Groupes de ressources hérités |
|
Portée |
Fonctionne avec toutes les fonctionnalités DataWorks |
Nécessite des achats séparés pour chaque fonctionnalité |
|
Facturation |
Paiement à l'utilisation et abonnement |
Exclusif : abonnement uniquement. Public : paiement à l'utilisation uniquement |
|
Mise à l'échelle |
Mise à l'échelle des CU sans affecter les tâches en cours d'exécution |
La mise à l'échelle (mise à niveau/rétrogradation des spécifications ou ajout/suppression de nœuds) interrompt les tâches en cours d'exécution |
|
Achat minimum |
2 CU ; mise à l'échelle par incréments de 1 CU |
Un nœud avec 4 vCPU et 8 Go de mémoire ; mise à l'échelle par incréments de nœud complet |
|
Sécurité réseau |
Liaison à votre VPC avec un contrôle réseau total |
Endpoints publics gérés par DataWorks partagés entre les locataires |
|
Statut de développement |
Développement actif en tant que type de resource standard |
En cours de retrait ; aucune nouvelle fonctionnalité prévue |
Facturation
Avant le changement, consultez la section Facturation des groupes de ressources hérités.
Après le changement, consultez la section Facturation des groupes de ressources serverless.
Procédure
Étape 1 : Identifier les tâches dans le groupe de ressources
Data Integration
Sur la page Data Integration :
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.
Dans le volet de navigation de gauche, cliquez sur Synchronization Task. Dans la zone Task List, cliquez sur Expand et filtrez par Resource Group pour trouver le groupe de ressources Data Integration que vous souhaitez changer.
Sur la page Data Studio :
Accédez à la page Workspaces dans la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Trouvez l'espace de travail souhaité et choisissez dans la colonne Actions.
À côté de Project Directory, cliquez sur l'icône
pour ouvrir la page des opérations groupées pour les nœuds.Utilisez le Filter pour trouver le groupe de ressources que vous souhaitez changer, et sélectionnez les types de nœuds associés : Real-time Synchronization et Offline Synchronization.
Sur l'ancienne page Data Development :
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Dans le volet de navigation de gauche, cliquez sur DataStudio. Trouvez le flux métier cible, faites un clic droit dessus et sélectionnez Batch Operation.
Définissez Node Type sur Batch Sync et Real-time Synchronization. Pour Resource Group for Data Integration, sélectionnez le groupe de ressources Data Integration que vous souhaitez changer.
Tâches de planification
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.
Dans le volet de navigation de gauche, choisissez et utilisez le filtre Resource Group for Scheduling pour trouver le groupe de ressources à changer.
DataService Studio
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to DataService Studio.
Dans le volet de navigation de gauche, cliquez sur Service Development, puis cliquez sur l'icône
pour accéder à la page Batch Operation. Filtrez par Resource Group pour trouver le groupe de ressources DataService Studio que vous souhaitez changer.
Étape 2 : Estimer la taille requise
Après le passage à un groupe de ressources serverless, des frais de calcul vous seront facturés pour les tâches de calcul de données telles que PyODPS2 et EMR Hive.
Avant le changement, évaluez la consommation de ressources de vos tâches de synchronisation, de planification et de DataService Studio existantes afin de déterminer la taille appropriée du groupe de ressources serverless.
Data Integration
Synchronisation par lots
Concurrence d'une tâche de synchronisation par lots | Spécifications recommandées | Spécifications minimales |
<4 | 0,5 CU | 0,5 CU |
>=4 |
|
Synchronisation en temps réel
Type de tâche de synchronisation | Spécifications recommandées | Spécifications minimales | |
Synchronisation en temps réel MySQL | 1 base de données | 2 CU | Spécifications minimales pour exécuter une tâche de synchronisation en temps réel : 1 CU |
2 à 5 bases de données | 2 CU | ||
6 bases de données ou plus | 2 CU | ||
Synchronisation en temps réel Kafka | 1 CU | ||
Autres tâches en temps réel à table unique | 1 CU | ||
Synchronisation en temps réel de la base de données entière | - | Spécifications minimales pour exécuter une tâche de synchronisation de base de données entière : 2 CU | |
Planification des tâches
Un groupe de ressources serverless prend en charge un maximum de 200 instances simultanées. Vous n'avez pas besoin de prendre en compte les spécifications en CU pour le groupe de ressources serverless. La concurrence par défaut est de 50. Vous pouvez définir la limite de concurrence de planification des tâches à 200 sur la page des détails du groupe de ressources.
DataService Studio
Nombre maximal de requêtes par seconde (QPS) | Spécifications minimales | Disponibilité du service (SLA) |
500 | 4 CU | 99,95 % |
1000 | 8 CU | |
2000 | 16 CU |
Calcul de données
Chaque tâche de calcul de données dispose d'une allocation de CU par défaut. Pour plus d'informations, consultez la section Types de tâches et consommation de CU.
Étape 3 : Acheter un groupe de ressources serverless
Sur la base de la taille estimée à l'étape précédente, achetez un groupe de ressources serverless. Pour obtenir des instructions, consultez la section Utiliser un groupe de ressources serverless.
Étape 4 : Passer au groupe serverless
-
Changer le groupe de ressources pour Data Integration
RemarqueAprès le passage à un groupe de ressources serverless, DataWorks définit automatiquement le nombre recommandé de CU en fonction de votre configuration de tâche d'origine. Si vous devez définir manuellement le nombre de CU pour le groupe de ressources, consultez les recommandations de l'étape Étape 2 : Estimer la taille requise.
-
Changer le groupe de ressources pour les tâches de planification
RemarqueUne partie du quota du groupe de ressources est allouée à la configuration des CU pour les tâches optimisées pour le calcul selon que le calcul des tâches a lieu ou non au sein d'un groupe de ressources DataWorks. Lorsque vous changez le groupe de ressources de planification, le groupe de ressources utilisé pour le calcul des tâches est également mis à jour.
-
Changer le groupe de ressources pour DataService Studio
RemarqueAvant le changement, vous devez définir un quota pour DataService Studio. Si vous ne définissez pas de quota, vous ne pourrez pas sélectionner le groupe de ressources serverless lors du changement. Pour savoir comment définir un quota, consultez la section Allouer un quota de CU à une tâche.
Étapes suivantes
Après le passage au groupe de ressources serverless, vous pouvez résilier l'abonnement au groupe de ressources hérité si vous n'en avez plus besoin. Pour obtenir des instructions, consultez la section Référence générale : Résiliation d'un produit par abonnement.