Avant de migrer d'un groupe de ressources DataWorks hérité vers un groupe de ressources serverless, évaluez la consommation de ressources de vos tâches existantes et sélectionnez un groupe de ressources serverless disposant d'une capacité suffisante. Cette rubrique présente des exemples d'estimation des unités de calcul (CU), les impacts potentiels et les instructions de migration étape par étape.
Nouveaux groupes de ressources
DataWorks prend en charge des groupes de ressources dédiés pour Data Integration, la planification et DataService Studio, mais chacun doit être acheté et configuré séparément. Groupes de ressources serverless unifient ces trois fonctionnalités au sein d'un seul groupe de ressources, ce qui simplifie la gestion et améliore la cohérence opérationnelle.
Groupes de ressources serverless par rapport aux groupes de ressources hérités
Les groupes de ressources hérités existent en variantes exclusives et publiques, chacune étant associée à une seule fonctionnalité.
|
Fonctionnalité |
Groupe de ressources serverless |
Groupes de ressources hérités |
|
Portée |
Fonctionne avec toutes les fonctionnalités DataWorks |
Nécessite des achats distincts pour chaque fonctionnalité |
|
Facturation |
Paiement à l'utilisation et abonnement |
Exclusif : abonnement uniquement. Public : paiement à l'utilisation uniquement |
|
Mise à l'échelle |
Ajustez les CU sans affecter les tâches en cours d'exécution |
La mise à l'échelle (mise à niveau ou rétrogradation des spécifications, ajout ou suppression de nœuds) interrompt les tâches en cours d'exécution |
|
Achat minimum |
2 CU ; mise à l'échelle par incréments de 1 CU |
Un nœud avec 4 vCPU et 8 Go de mémoire ; mise à l'échelle par incréments de nœud complet |
|
Sécurité réseau |
Liaison à votre VPC avec un contrôle réseau total |
Endpoints publics gérés par DataWorks partagés entre les locataires |
|
Statut de développement |
Développement actif en tant que type de ressource standard |
En cours de retrait ; aucune nouvelle fonctionnalité prévue |
Facturation
Avant le basculement, consultez la section Facturation des groupes de ressources hérités.
Après le basculement, consultez la section Facturation des groupes de ressources serverless.
Procédure
Étape 1 : Identifier les tâches dans le groupe de ressources
Data Integration
Sur la page Data Integration :
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Integration.
Dans le volet de navigation de gauche, cliquez sur Synchronization Task. Dans la zone Task List, cliquez sur Expand et filtrez par Resource Group pour trouver le groupe de ressources Data Integration que vous souhaitez remplacer.
Sur la page Data Studio :
Accédez à la page Workspaces dans la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Trouvez l'espace de travail souhaité et choisissez dans la colonne Actions.
À côté de Project Directory, cliquez sur l'icône
pour ouvrir la page des opérations par lot pour les nœuds.Utilisez le filtre Filter pour trouver le groupe de ressources que vous souhaitez remplacer, et sélectionnez les types de nœuds associés : Real-time Synchronization et Offline Synchronization.
Sur l'ancienne page Data Development :
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Dans le volet de navigation de gauche, cliquez sur DataStudio. Trouvez le flux métier cible, faites un clic droit dessus et sélectionnez Batch Operation.
Définissez Node Type sur Batch Sync et Real-time Synchronization. Pour Resource Group for Data Integration, sélectionnez le groupe de ressources Data Integration que vous souhaitez remplacer.
Tâches de planification
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.
Dans le volet de navigation de gauche, choisissez et utilisez le filtre Resource Group for Scheduling pour trouver le groupe de ressources à remplacer.
DataService Studio
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to DataService Studio.
Dans le volet de navigation de gauche, cliquez sur Service Development, puis cliquez sur l'icône
pour accéder à la page Batch Operation. Filtrez par Resource Group pour trouver le groupe de ressources DataService Studio que vous souhaitez remplacer.
Étape 2 : Estimer la taille requise
Après le basculement vers un groupe de ressources serverless, des frais de calcul vous seront facturés pour les tâches de calcul de données telles que PyODPS2 et EMR Hive.
Avant le basculement, évaluez la consommation de ressources de vos tâches de synchronisation, de planification et de DataService Studio existantes afin de déterminer la taille appropriée du groupe de ressources serverless.
Data Integration
Synchronisation par lot
|
Concurrence d'une tâche de synchronisation par lot |
Spécifications recommandées |
Spécifications minimales |
|
<4 |
0,5 CU |
0,5 CU |
|
>=4 |
|
Synchronisation en temps réel
|
Type de tâche de synchronisation |
Spécifications recommandées |
Spécifications minimales |
|
|
Synchronisation en temps réel MySQL |
1 base de données |
2 CU |
Spécifications minimales pour exécuter une tâche de synchronisation en temps réel : 1 CU |
|
2 à 5 bases de données |
2 CU |
||
|
6 bases de données ou plus |
2 CU |
||
|
Synchronisation en temps réel Kafka |
1 CU |
||
|
Autres tâches en temps réel sur table unique |
1 CU |
||
|
Synchronisation en temps réel de la base de données entière |
- |
Spécifications minimales pour exécuter une tâche de synchronisation de base de données entière : 2 CU |
|
Planification des tâches
Un groupe de ressources serverless prend en charge un maximum de 200 instances simultanées. Vous n'avez pas besoin de prendre en compte les spécifications en CU pour le groupe de ressources serverless. La concurrence par défaut est de 50. Vous pouvez définir la limite de concurrence de planification des tâches à 200 sur la page des détails du groupe de ressources.
DataService Studio
|
Nombre maximal de requêtes par seconde (QPS) |
Spécifications minimales |
Disponibilité du service (SLA) |
|
500 |
4 CU |
99,95 % |
|
1000 |
8 CU |
|
|
2000 |
16 CU |
Calcul de données
Chaque tâche de calcul de données dispose d'une allocation de CU par défaut. Pour plus d'informations, consultez la section Types de tâches et consommation de CU.
Étape 3 : Acheter un groupe de ressources serverless
Sur la base de la taille estimée à l'étape précédente, achetez un groupe de ressources serverless. Pour obtenir des instructions, consultez la section Utiliser un groupe de ressources serverless.
Étape 4 : Basculer vers le groupe serverless
-
Remplacer le groupe de ressources pour Data Integration
RemarqueAprès le basculement vers un groupe de ressources serverless, DataWorks définit automatiquement le nombre recommandé de CU en fonction de votre configuration de tâche d'origine. Si vous devez définir manuellement le nombre de CU pour le groupe de ressources, consultez les recommandations de l'étape Étape 2 : Estimer la taille requise.
-
Remplacer le groupe de ressources pour les tâches de planification
RemarqueUne partie du quota du groupe de ressources est allouée à la configuration des CU pour les tâches optimisées pour le calcul selon que le calcul des tâches a lieu au sein d'un groupe de ressources DataWorks. Lorsque vous modifiez le groupe de ressources de planification, le groupe de ressources utilisé pour le calcul des tâches est également mis à jour.
-
Remplacer le groupe de ressources pour DataService Studio
RemarqueAvant le basculement, vous devez définir un quota pour DataService Studio. Si vous ne définissez pas de quota, vous ne pourrez pas sélectionner le groupe de ressources serverless lors du basculement. Pour savoir comment définir un quota, consultez la section Allouer un quota de CU à une tâche.
Étapes suivantes
Après avoir basculé vers le groupe de ressources serverless, vous pouvez résilier l'abonnement au groupe de ressources hérité si vous n'en avez plus besoin. Pour obtenir des instructions, consultez la section Référence générale : Résiliation d'un produit sous abonnement.