Scheduled scaling (Beta) - Hologres - Centre de documentation Alibaba Cloud

Les instances d'entrepôt virtuel Hologres prennent en charge la mise à l'échelle planifiée, qui vous permet de créer des plans d'élasticité ajustant automatiquement les ressources de calcul lors des pics de trafic. Cette fonctionnalité améliore la stabilité des instances, optimise l'utilisation des ressources et réduit les coûts. Cette rubrique explique comment utiliser la fonctionnalité de mise à l'échelle planifiée.

Cas d'utilisation

Imaginons qu'une équipe plateforme de données utilise l'entrepôt virtuel init_warehouse pour exécuter des tâches ETL volumineuses, importer des données en masse à haut débit et ingérer des données en quasi temps réel, tandis que les équipes métier A et B utilisent respectivement les entrepôts warehouse 1 et warehouse 2 pour leurs requêtes. Voici quelques scénarios typiques justifiant le recours à la mise à l'échelle planifiée :

Pour l'ingestion de données en quasi temps réel et en temps réel, continuez d'utiliser l'entrepôt virtuel init_warehouse. Si le volume de données reste stable tout au long de la journée, aucun plan d'élasticité n'est nécessaire. En revanche, si un pic d'écriture prévisible et récurrent survient durant une fenêtre horaire spécifique (généralement inférieure à 16 heures), créez un plan d'élasticité afin de provisionner des ressources élastiques supplémentaires pendant cette période.
Pour les requêtes des équipes métier, maintenez l'utilisation d'entrepôts virtuels distincts afin de garantir l'isolation des charges de travail. Si le volume de requêtes est stable, aucun plan d'élasticité n'est requis. Si les demandes de requêtes suivent un cycle quotidien prévisible, configurez un plan d'élasticité pour ajouter des ressources élastiques supplémentaires durant les heures de pointe.
Pour les tâches ETL volumineuses et les importations de données en masse à haut débit, nous recommandons d'utiliser les ressources Serverless Computing. Serverless Computing fournit des ressources de calcul à la demande sans nécessiter de provisionnement anticipé. Cette approche améliore la stabilité de l'instance, réduit les erreurs de mémoire insuffisante (OOM) et vous ne payez que ce que vous consommez. Pour plus d'informations, consultez la rubrique Serverless Computing. Pour savoir comment l'utiliser, reportez-vous à la section Utiliser Serverless Computing.

Concepts clés

Pour les définitions des ressources de calcul au niveau de l'instance et au niveau de l'entrepôt virtuel, consultez la rubrique Terminologie.

L'exemple suivant illustre la configuration des ressources d'une instance :

Catégorie	Détails des ressources
Instance	96 UC réservées, dont 64 UC allouées et 32 UC non allouées.
	32 UC élastiques.
	Ressources de calcul totales : 96 + 32 = 128 UC.
Entrepôt virtuel init_warehouse	32 UC réservées et 16 UC élastiques, soit un total de 48 UC.

Facturation

Ressources réservées de l'instance : ressources de calcul dédiées à votre instance d'entrepôt virtuel, facturées selon la méthode de facturation de votre instance (abonnement ou paiement à l'utilisation).
Ressources élastiques de l'instance : ressources de calcul supplémentaires provisionnées par la fonctionnalité de mise à l'échelle planifiée. Le coût est calculé comme suit : Coût = Utilisation réelle des ressources élastiques (UC-heures) × Prix unitaire. Pour connaître les prix unitaires spécifiques, consultez la rubrique Présentation de la facturation. La facturation s'effectue à l'heure et les frais sont automatiquement déduits de votre compte.
Remarque
- Le système enregistre l'utilisation des ressources élastiques chaque minute. À la fin de chaque heure, il calcule l'utilisation totale de cette heure, convertit les unités, génère une facture et déduit automatiquement les frais de votre compte.
- Les ressources élastiques de l'instance sont provisionnées indépendamment des ressources non allouées de l'instance. Même si votre instance dispose de ressources réservées non allouées, la mise à l'échelle planifiée provisionne de nouvelles ressources élastiques au lieu d'utiliser les ressources non allouées.

Limites

La mise à l'échelle planifiée est disponible uniquement pour les instances d'entrepôt virtuel. Elle n'est pas prise en charge pour les instances à usage général ni pour les réplicas en lecture seule.
La mise à l'échelle planifiée est prise en charge à partir de Hologres v2.2.21.

Disponibilité régionale :

La fonctionnalité de mise à l'échelle planifiée est actuellement en aperçu public. Pour demander l'accès, utilisez votre compte principal Alibaba Cloud pour remplir le formulaire Demande d'aperçu public de la mise à l'échelle planifiée Hologres.

Région	Disponibilité	Description
Chine (Hangzhou), Chine (Shanghai), Chine (Pékin) et Chine (Shenzhen)	Prise en charge	Vous pouvez utiliser cette fonctionnalité directement après l'approbation de votre demande.
Cloud financier Chine (Shanghai), Cloud gouvernemental Chine (Pékin), Cloud financier Chine (Shenzhen), Japon (Tokyo), Malaisie (Kuala Lumpur), Indonésie (Jakarta) et Mexique	Non pris en charge	Les demandes d'essai ne sont pas disponibles.
Chine (Chengdu), Chine (Hong Kong), Singapour, Allemagne (Francfort), États-Unis (Silicon Valley), États-Unis (Virginie) et Émirats arabes unis (Dubaï)	Disponible sur demande via un ticket	Pour demander l'accès, procédez comme suit : Remplissez le formulaire de demande : Demande d'aperçu public de la mise à l'échelle planifiée Hologres. Soumettez un ticket pour le traitement ultérieur de votre demande.

Notes d'utilisation

Autorisations requises pour la mise à l'échelle planifiée :
- Pour créer un plan d'élasticité, vous devez utiliser un compte principal Alibaba Cloud ou un utilisateur RAM disposant de l'autorisation AliyunHologresWarehouseFullAccess. Cette autorisation accorde un accès en lecture seule à la console Hologres ainsi que des droits de configuration pour la fonctionnalité de mise à l'échelle planifiée. Pour les instructions d'autorisation, consultez la rubrique Accorder des autorisations à un utilisateur RAM.
- Le compte doit disposer des autorisations Superuser sur l'instance pour créer un plan d'élasticité et garantir le succès de chaque opération de mise à l'échelle planifiée. Pour les instructions d'autorisation, reportez-vous à la section Accorder des autorisations de développement à un utilisateur RAM pour une instance.
Avertissement
Si l'autorisation Superuser est révoquée pour le compte ayant créé un plan d'élasticité, toutes les opérations de mise à l'échelle planifiées suivantes échoueront. Pour éviter les échecs liés aux modifications d'autorisations, nous vous recommandons d'utiliser un compte d'exploitation dédié pour gérer les plans d'élasticité.
Les opérations de mise à l'échelle peuvent affecter les requêtes et les écritures en cours d'exécution :
- Dans Hologres v2.2, les opérations de montée en puissance (scale-out) et de réduction (scale-in) planifiées entraînent une brève interruption d'environ 15 secondes pour les requêtes et les écritures sur l'entrepôt virtuel.
- À partir de Hologres v3.0, les opérations de montée en puissance n'interrompent pas les requêtes ni les écritures, bien que l'état de l'entrepôt virtuel indique « Traitement ». Les opérations de réduction provoquent toujours une interruption d'environ 15 secondes.
- À partir de Hologres v3.1, les opérations de réduction n'affectent pas la plupart des requêtes et des écritures. Toutefois, si une requête ou une écriture de longue durée nécessitant plus de 60 minutes pour se terminer est en cours lorsqu'une réduction est déclenchée, la tâche échouera 60 minutes après le début de l'opération de mise à l'échelle.
Une fois qu'un plan d'élasticité est configuré pour un entrepôt virtuel :
- Vous ne pouvez pas arrêter ni supprimer l'entrepôt virtuel, ni réduire manuellement ses ressources.
- Vous ne pouvez augmenter les ressources de l'entrepôt virtuel que via la console Hologres. L'exécution manuelle de la commande hg_alter_warehouse pour augmenter les ressources n'est pas prise en charge.
- Vous ne pouvez créer de nouveaux entrepôts virtuels que via la console Hologres. L'exécution manuelle de la commande hg_create_warehouse n'est pas prise en charge.
Les ressources élastiques pour la mise à l'échelle planifiée sont des ressources facturées selon le modèle de paiement à l'utilisation et leur disponibilité n'est pas garantie. Nous vous recommandons de configurer des alertes Cloud Monitor pour les événements d'échec de mise à l'échelle, comme décrit dans la section Surveillance et alertes pour la mise à l'échelle planifiée.

Procédure

Gestion des ressources de l'entrepôt virtuel

Accédez à la page Virtual Warehouse Management.
1. Connectez-vous à la console Hologres et sélectionnez une région dans la barre de navigation supérieure.
2. Dans le volet de navigation de gauche, cliquez sur Instances, puis cliquez sur l'Instance ID cible.
3. Dans le volet de navigation de gauche de la page des détails de l'instance, cliquez sur Virtual Warehouse Management.
Consultez l'utilisation des ressources de l'instance d'entrepôt virtuel.

Dans l'onglet Virtual Warehouse Resource Management, vous pouvez visualiser l'utilisation des ressources de votre instance d'entrepôt virtuel, y compris les ressources réservées de l'instance (allouées et non allouées) ainsi que les ressources élastiques de l'instance.
Gérez les ressources de l'entrepôt virtuel.
- Cliquez sur Create Virtual Warehouse. Dans la boîte de dialogue Create Virtual Warehouse, saisissez un Virtual Warehouse Name et spécifiez la Virtual Warehouse Resource pour créer un nouvel entrepôt virtuel.
- Pour un entrepôt virtuel dont l'Status est défini sur Running, vous pouvez effectuer les opérations Modify Configuration, Restart, Stop et Rebalance. Pour plus d'informations sur le rééquilibrage, consultez la rubrique Rééquilibrage des shards (Rebalance).
  
  Remarque
  Vous ne pouvez pas Stop l'entrepôt virtuel init_warehouse par défaut d'une instance.

Plans d'élasticité

Chronologie

Accédez à la page Virtual Warehouse Management et cliquez sur l'onglet Virtual Warehouse Scaling Plan.
Dans la liste déroulante Instance/Virtual Warehouse, sélectionnez une instance ou un entrepôt virtuel spécifique pour afficher la chronologie de son plan d'élasticité. La chronologie présente les futures opérations de mise à l'échelle planifiées, et non les métriques historiques des ressources.

Configuration

Dans l'onglet Virtual Warehouse Scaling Plan, cliquez sur l'icône située à gauche de l'entrepôt virtuel cible, puis cliquez sur + Add Time Period. Configurez les heures de début et de fin de la période active quotidienne, définissez la quantité de ressources de calcul élastiques, puis cliquez sur Save dans la colonne Actions pour appliquer les modifications.
Vous pouvez Edit ou Delete un plan d'élasticité existant.

Important

La quantité de ressources de calcul élastiques ne peut pas dépasser la quantité de ressources de calcul réservées.
Chaque entrepôt virtuel prend en charge un maximum de cinq périodes élastiques.
Lorsque vous supprimez un plan d'élasticité, l'état de l'entrepôt virtuel passe temporairement à « Traitement », même si le nombre de ressources ne change pas. Les opérations de lecture et d'écriture ne sont pas affectées pendant cette période.

Lorsque vous enregistrez un plan d'élasticité, si la modification affecte le montant actuel des ressources élastiques, Hologres effectue immédiatement l'opération de mise à l'échelle correspondante. Consultez les exemples suivants :

Exemple 1

Supposons qu'il soit 16 h 00. Vous ajoutez un nouveau plan d'élasticité à l'entrepôt virtuel A, qui dispose de 64 UC réservées :

Si la période active est définie de 15 h 00 à 18 h 00 avec 32 UC élastiques, les ressources de calcul totales de l'entrepôt virtuel A seront immédiatement augmentées à 96 UC dès l'enregistrement.
Exemple 2
Supposons qu'il soit 16 h 00. Vous modifiez un plan d'élasticité existant pour l'entrepôt virtuel A, qui dispose de 64 UC réservées :
- Avant la modification : la période active est de 15 h 00 à 18 h 00 avec 32 UC élastiques.
- Après la modification : la période active est de 17 h 00 à 18 h 00 avec 32 UC élastiques.
Dès l'enregistrement, les ressources de calcul totales de l'entrepôt virtuel A seront immédiatement réduites de 96 UC à 64 UC.

Surveillance et alertes pour la mise à l'échelle planifiée

Vous pouvez surveiller l'exécution des plans d'élasticité de plusieurs manières.

Journaux d'exécution des plans d'élasticité

Accédez à la page Virtual Warehouse Management et cliquez sur l'onglet Elastic Event Execution Logs.
Sélectionnez une plage horaire pour afficher l'historique d'exécution des plans d'élasticité passés. Cet onglet contient les sous-onglets Scheduled Scaling et Auto Scaling. Vous pouvez filtrer par plage de dates. Le tableau affiche des informations telles que Execution Time, Virtual Warehouse, Execution Status, Event Type, Reserved Compute Resources et Target Elastic Compute Resources.

Métriques de surveillance

Dans la section des métriques de surveillance de la console Hologres, vous pouvez consulter la métrique Warehouse_timed_elastic_cores(Count), qui représente le nombre de cœurs provisionnés par la mise à l'échelle planifiée. Vous pouvez configurer des règles d'alerte pour cette métrique selon vos besoins. Pour plus d'informations, consultez la rubrique Métriques de surveillance.

Événements Cloud Monitor

Toutes les opérations de mise à l'échelle effectuées par les plans d'élasticité Hologres sont enregistrées en tant qu'événements dans Cloud Monitor.

Accédez au Centre d'événements de Cloud Monitor. Dans l'onglet System Event, sélectionnez Hologres dans la section Event Monitoring pour surveiller les événements de mise à l'échelle planifiée. Les noms des événements sont les suivants :
- Instance:Warehouse:TimedElastic:Start : une opération de mise à l'échelle planifiée pour un entrepôt virtuel a démarré.
- Instance:Warehouse:TimedElastic:Finish : une opération de mise à l'échelle planifiée pour un entrepôt virtuel est terminée.
- Instance:Warehouse:TimedElastic:Failed : une opération de mise à l'échelle planifiée pour un entrepôt virtuel a échoué.

Vous pouvez configurer des notifications et des alertes basées sur ces événements Cloud Monitor. Pour plus d'informations, consultez la rubrique Utiliser les événements système pour les alertes.

Voici un exemple d'événement d'échec de mise à l'échelle :

{
    "Status": "Failed",
    "InstanceName": "<instance_id>",
    "ResourceId": "<instance_resource_id>",
    "Content": {
        "ScaleType": "ScaleDown",
        "ScheduleId": "xxxxxx",
        "TimedElasticCPU": 0,
        "WarehouseId": "2",
        "WarehouseName": "<warehouse_name>"
    },
    "Product": "hologres",
    "Time": 1722852008000,
    "Level": "WARN",
    "RegionId": "<region>",
    "Id": "<event_id>",
    "GroupId": "0",
    "Name": "Instance:Warehouse:TimedElastic:Failed"
}

ActionTrail

Les opérations effectuées dans la console Hologres, telles que la modification d'un plan d'élasticité, ainsi que les opérations de mise à l'échelle qui en résultent, sont enregistrées dans ActionTrail. Pour plus d'informations, consultez la rubrique Journaux d'audit des événements.