Elasticsearch:Migrate self-managed Elasticsearch data to Alibaba Cloud

Elasticsearch auto-géré

• Un cluster Elasticsearch auto-géré est déployé sur ECS. Ce cluster sert de source pour la migration.

  Remarque

  Le groupe de sécurité de l'instance ECS doit avoir une liste d'autorisation configurée pour des blocs CIDR spécifiques afin d'autoriser l'accès à l'instance ECS via les ports 9200 et 9300.

  • Port 9200 : Port HTTP API d'Elasticsearch, utilisé pour les interactions entre les clients (navigateurs, applications, Kibana, etc.) et le cluster Elasticsearch.

  • Port 9300 : Port de la couche de transport TCP d'Elasticsearch, utilisé pour la communication entre les nœuds au sein du cluster.

• Des réplicas ont été créés pour les index du cluster Elasticsearch auto-géré.

• Vous devez disposer d'un fichier P12 déchiffré. Le fichier P12, qui stocke les clés publiques et privées ainsi qu'un certificat numérique, garantit que les nœuds peuvent communiquer correctement pendant le processus de migration des données.

• (Facultatif) Si l'authentification n'est pas activée sur votre cluster Elasticsearch auto-géré, vous devez activer X-Pack Security (c'est-à-dire définir xpack.security.enabled: true) afin de garantir la sécurité des données pendant la migration.

Alibaba Cloud Elasticsearch

Vous devez disposer d'un cluster Alibaba Cloud Elasticsearch. Ce cluster sert de cible pour la migration. Pour assurer une migration fluide, vérifiez que le cluster cible répond aux exigences suivantes :

• Il est déployé en mode Cloud-native Control Architecture (v3).

• Il se trouve dans la même région et le même VPC que l'instance ECS où votre cluster Elasticsearch auto-géré est déployé.

• Nous vous recommandons d'utiliser la même version que celle de votre cluster Elasticsearch auto-géré.

  Remarque

  Si vous devez effectuer une migration de données entre différentes versions, contactez l'équipe de support technique d'Alibaba Cloud Elasticsearch.

• Les spécifications de l'instance et le nombre de nœuds doivent être supérieurs ou égaux à ceux du cluster Elasticsearch auto-géré.

• Nous vous recommandons d'utiliser le même nom d'utilisateur et le même mot de passe que ceux du cluster Elasticsearch auto-géré.

• Si vous avez installé des plugins personnalisés sur votre instance Elasticsearch auto-gérée, tels que le plugin elasticsearch-knn pour les recherches de similarité, vous devez également installer les mêmes plugins sur votre instance Alibaba Cloud Elasticsearch. Pour plus d'informations sur la gestion des plugins, consultez la rubrique Configuration des plugins.

• Les fonctionnalités du cluster cible, telles que la configuration du cluster et les dictionnaires, doivent répondre à vos besoins métier, et le cluster doit être accessible via le réseau.

Étape 1 : Créer une tâche de migration

1. Accédez à la page de migration en ligne.

   1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

   2. Dans le volet de navigation de gauche, cliquez sur Elastic Stack Cloud Native PaaS > Online Migration Tool pour accéder à la page de migration en ligne.

2. Cliquez sur Create pour créer une tâche de migration et configurer ses paramètres.

   Paramètre	Description
   Type	Sélectionnez Data Migration from Self-managed Elasticsearch Cluster pour migrer les données d'un cluster Elasticsearch auto-géré vers Alibaba Cloud Elasticsearch.
   Destination Cluster	L'instance Alibaba Cloud Elasticsearch cible. Sélectionnez une instance située dans la même région que l'instance ECS qui héberge votre cluster auto-géré. Après avoir sélectionné une instance, saisissez son Virtual Switch ID comme indiqué. Remarque Vous ne pouvez sélectionner qu'une instance déployée en mode Cloud-native Control Architecture (v3). Si aucune instance appropriée n'est disponible, créez une instance Alibaba Cloud Elasticsearch selon vos besoins. Un vSwitch est utilisé pour l'isolation réseau et le contrôle d'accès. Vous pouvez trouver l'ID en consultant les informations de base de l'instance.
   VPC of Self-managed Elasticsearch Cluster	L'ID du VPC de votre cluster Elasticsearch auto-géré.
   IP Address of ECS Instance for Self-managed Elasticsearch Cluster	L'adresse IP de l'instance ECS qui héberge l'un des nœuds de votre cluster Elasticsearch auto-géré. Remarque Le groupe de sécurité de l'instance ECS doit avoir une liste d'autorisation configurée pour des blocs CIDR spécifiques afin d'autoriser l'accès à l'instance ECS via les ports 9200 et 9300. Port 9200 : Port HTTP API d'Elasticsearch, utilisé pour les interactions entre les clients (navigateurs, applications, Kibana, etc.) et le cluster Elasticsearch. Port 9300 : Port de la couche de transport TCP d'Elasticsearch, utilisé pour la communication entre les nœuds au sein du cluster.
   .p12 File of Self-managed Elasticsearch Cluster	Suivez les instructions à l'écran pour télécharger le fichier P12 déchiffré.Un fichier P12 stocke une clé publique, une clé privée et un certificat numérique. Il est utilisé pour garantir une communication correcte entre les nœuds lors du processus ultérieur de migration des données.
   Username of Self-managed Elasticsearch Cluster	Le nom d'utilisateur utilisé pour se connecter au cluster Elasticsearch auto-géré.
   Password of Self-managed Elasticsearch Cluster	Le mot de passe utilisé pour se connecter au cluster Elasticsearch auto-géré.

3. Cliquez sur OK pour créer la tâche.

Étape 2 : Configurer et exécuter la tâche de migration

Suivez les instructions à l'écran pour configurer la tâche de migration et terminer la migration des données.

1. Effectuez les vérifications de migration et configurez l'intégration.

   Dans l'onglet Configure Source and Destination Clusters, suivez les étapes ci-dessous pour réaliser le test de faisabilité et configurer l'intégration de la tâche de migration.

   1. Test de faisabilité : Avant de démarrer la migration, le système vérifie automatiquement la connectivité réseau, la compatibilité des versions et l'adéquation des ressources entre les clusters source et cible afin de garantir que la migration est sûre et viable.

      Remarque

      Si le test de faisabilité échoue, modifiez les configurations concernées selon les instructions affichées.

   2. Intégration de la configuration : Le système détecte automatiquement les paramètres de configuration du cluster source (tels que le nombre de réplicas de shards, les politiques de sharding et les paramètres d'autorisations utilisateur) et les applique au cluster cible.

      Remarque

      Cette étape prend environ 20 minutes.

2. Effectuez la migration des données.

   Dans l'onglet Migrate Data, réalisez successivement l'intégration des clusters, la migration des réplicas, la migration des nœuds maîtres et la migration des shards primaires.

   Actions	Description	Remarques
   Intégration des clusters	Le système fusionne le cluster source et le cluster cible en un seul grand cluster. Après la fusion, Total nodes in the cluster = Nodes in the source cluster + Nodes in the target cluster.	Après l'intégration des clusters, Kibana pour le cluster cible est temporairement indisponible. Pendant la migration des données, vous pouvez continuer à utiliser Kibana sur le cluster source jusqu'à ce que le basculement du service soit terminé.
   Migration des réplicas	Le système migre les shards de réplica d'index des nœuds du cluster source vers les nœuds du cluster cible.	En cas d'échec inattendu ou si la migration affecte votre charge de travail, vous pouvez effectuer un retour arrière. Après un retour arrière, la tâche de migration en cours est abandonnée et ne peut pas être reprise. Vous devez créer une nouvelle tâche pour poursuivre.
   Migration des nœuds maîtres	Le système migre le nœud maître du cluster fusionné du cluster source vers le cluster cible.	Une fois la migration du nœud maître démarrée, la modification prend effet immédiatement. Le retour arrière n'est pris en charge dans aucun scénario. Procédez avec prudence.
   Migration des shards primaires	Le système migre les shards primaires, qui stockent les données originales, des nœuds du cluster source vers les nœuds du cluster cible.	Une fois la migration des shards primaires démarrée, le retour arrière n'est pris en charge dans aucun scénario. Procédez avec prudence.

3. Effectuez le basculement du service et l'isolation réseau.

   Basculez vos services vers le cluster cible et utilisez l'isolation réseau pour mettre hors service le cluster source.

   1. Basculement du service.

      Dans l'onglet Switch Business, suivez les instructions à l'écran pour rediriger toutes les requêtes de lecture et d'écriture de vos applications métier de l'endpoint du cluster source vers l'endpoint du cluster cible. Le cluster cible assure désormais tous les services.

   2. Isolation réseau.

      Une fois le basculement du service terminé, vous devez initier une demande d'isolation réseau. Cela empêche les nœuds du cluster source de rejoindre à nouveau le cluster cible, mettant ainsi effectivement le cluster source hors service.

      Remarque

      Lorsque le message Take Offline Self-managed Cluster Node s'affiche, suivez les instructions pour mettre hors service les nœuds ECS du cluster auto-géré ou arrêter le processus ES (nous vous recommandons d'utiliser la commande kill -15 <ES_process_PID> pour mettre le processus hors service). Une fois l'opération terminée, le système poursuit le processus d'isolation réseau. Ce processus devrait prendre environ 20 minutes. Veuillez patienter.

4. Terminez la migration.

   Une fois l'isolation réseau réussie, la tâche de migration est terminée. Vous pouvez cliquer sur Go to Cluster List pour afficher les détails de l'instance.

Étape 3 : Valider les données

Après la migration, accédez au cluster Alibaba Cloud Elasticsearch cible via la console Kibana et exécutez des opérations de requête ou d'écriture pour vérifier que le cluster fonctionne comme prévu.

Supprimer une tâche de migration

L'outil de migration en ligne ne permet pas actuellement de supprimer vous-même une tâche de migration dans la console Alibaba Cloud Elasticsearch. Si vous devez supprimer une tâche de migration, soumettez un ticket via la console de gestion Alibaba Cloud ou contactez le support en ligne ; le support technique d'Alibaba Cloud supprimera la tâche pour vous.

Lors de la soumission du ticket, fournissez les informations suivantes :

• L'ID de l'instance de votre cluster Alibaba Cloud Elasticsearch.

• L'ID de la tâche de migration que vous souhaitez supprimer.