Elasticsearch:Réplication de données Elasticsearch entre régions

Étape 1 : Connecter les VPC interrégionaux avec CEN

Utilisez Cloud Enterprise Network (CEN) pour établir une connexion interrégionale entre les VPC des clusters leader et follower. Pour les étapes détaillées, consultez la rubrique Connecter des VPC dans différentes régions.

Étape 2 : Obtenir l'adresse IP privée du cluster leader

1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

2. Sur la page Basic Information du cluster leader, repérez le champ Internal Endpoint et copiez le nom de domaine privé.

3. À partir d'une instance ECS située dans le même VPC, exécutez la commande suivante pour résoudre l'adresse IP privée du cluster leader :

   ping <Private domain name of the leader cluster>

   Notez l'adresse IP résolue pour une utilisation ultérieure.

Étape 3 : Créer un NLB et un groupe de serveurs

Créez une instance NLB dans le VPC du cluster follower pour transférer le trafic vers le cluster leader.

1. Connectez-vous à la console Network Load Balancer (NLB).

2. Créez un groupe de serveurs.

   1. Dans le volet de navigation de gauche, cliquez sur ServerGroup.

   2. Cliquez sur Create Server Group et configurez les paramètres suivants :

      Parameter	Description
      Server Group Type	Sélectionnez IP type.
      Forwarding Port	Activez Multi-port Forwarding.
      Health Check	Définissez le port sur 9300.

   3. Dans le groupe de serveurs créé, cliquez sur Add Backend Server. Ajoutez l'adresse IP privée du cluster leader obtenue à l'étape 2. Conservez le port par défaut.

3. Créez une instance NLB et un écouteur.

   La page d'achat NLB ne permet pas de créer un écouteur avec la fonctionnalité full-port. Par conséquent, commencez par créer une instance NLB sans écouteur. Ensuite, sur la page des détails de l'instance, créez un écouteur et activez la fonctionnalité full-port.

   Si vous disposez déjà d'une instance NLB, créez directement un écouteur. Sinon, créez d'abord une instance NLB.

   1. Dans le volet de navigation de gauche, cliquez sur Cluster, puis sélectionnez ou créez une instance NLB.

   2. Accédez à la page des détails de l'instance, cliquez sur l'onglet Listener, puis cliquez sur Create Listener.

   3. Activez la fonctionnalité Full-port et définissez la plage de ports de l'écouteur sur 9200-9300.

   4. Pour ServerGroup, sélectionnez le IP type et le groupe de serveurs créé à l'étape précédente.

Étape 4 : Configurer PrivateLink

Utilisez PrivateLink pour établir une connexion réseau depuis le VPC géré du cluster follower vers le cluster leader.

1. Connectez-vous à la console PrivateLink.

2. Créez un service de point de terminaison.

   1. Dans le volet de navigation de gauche, cliquez sur Endpoint Service.

   2. Cliquez sur Create Endpoint Service et configurez les paramètres suivants :

      Parameter	Description
      Service resource type	Sélectionnez NLB.
      Service Resource	Sélectionnez l'instance NLB que vous avez créée ou utilisée à l'étape 3.
      Zone	Sélectionnez la zone de disponibilité où se trouve l'instance NLB.
      Automatically Accept Endpoint Connections	Sélectionnez Yes.

3. Ajoutez une connexion privée dans le cluster follower.

   1. Connectez-vous à la console Alibaba Cloud Elasticsearch et accédez à la page des détails de l'instance du cluster follower.

   2. Dans le volet de navigation de gauche, choisissez Configuration and Management > Security Settings.

   3. Dans la section Network Settings, cliquez sur Configure Private Connection.

   4. Cliquez sur Add Private Connection et sélectionnez le service de point de terminaison créé à l'étape précédente.

   5. Attendez que le statut de la connexion passe à Connected.

4. Obtenez le nom de domaine PrivateLink.

   Une fois la connexion établie, retournez dans la console PrivateLink. Sur l'onglet Endpoint Connection Status du service de point de terminaison, affichez la connexion de point de terminaison créée automatiquement. Il s'agit du nom de domaine PrivateLink que vous utiliserez pour configurer le cluster distant.

Étape 5 : Configurer la réplication inter-clusters (CCR)

1. Connectez-vous à Kibana pour le cluster follower. Pour les étapes détaillées, consultez la rubrique Se connecter à la console Kibana via Internet (architecture de déploiement v2/v3).

   Sur la page des détails de l'instance du cluster follower, cliquez sur Data Visualization dans le volet de navigation de gauche, puis cliquez sur Go to Kibana.

2. Ajoutez un cluster distant.

   1. Dans le volet de navigation de gauche de Kibana, cliquez sur Stack Management.

   2. Dans la section Data, cliquez sur Remote Clusters.

   3. Cliquez sur Add a remote cluster et configurez les paramètres suivants :

      Parameter	Description
      name	Saisissez l'ID de l'instance du cluster leader.
      Proxy mode	Activez le mode proxy.
      Proxy address	Saisissez le nom de domaine du point de terminaison PrivateLink obtenu lors de la configuration de la connexion privée pour le cluster follower, au format <domain-name>:9300. Le nom de domaine s'affiche sur la page Security de l'instance du cluster follower, sous Configure Private Connection.

   4. Cliquez sur save et confirmez que le statut de la connexion est Connected.

3. Configurez un mode de réplication CCR.

   La CCR prend en charge deux modes :

   Mode	Description
   Follower indices	Réplique un index unique et spécifié.
   Auto-follow patterns	Réplique automatiquement les index correspondant à un modèle de nom spécifié. Ce mode convient à la synchronisation en masse. Après la création d'un modèle auto-follow, les nouveaux index créés sur le cluster leader sont automatiquement synchronisés avec le cluster follower. Les index existants ne sont pas synchronisés automatiquement. Pour synchroniser un index existant, vous devez créer manuellement un index follower sur le cluster follower.

   L'exemple suivant utilise un modèle auto-follow :

   1. Dans Stack Management, cliquez sur Cross-Cluster Replication.

   2. Sélectionnez l'onglet Auto-follow patterns et cliquez sur Create an auto-follow pattern.

   3. Pour Remote cluster, sélectionnez le cluster distant ajouté à l'étape précédente. Pour Index patterns, saisissez * pour répliquer tous les index. Pour répliquer uniquement des index spécifiques, saisissez un modèle de nom d'index, tel que logs-*.

   4. Cliquez sur Create.

Étape 6 : Vérifier la synchronisation des données

Vérifier la synchronisation des index existants

Les index qui existaient dans le cluster leader avant la création du modèle auto-follow ne sont pas répliqués automatiquement. Vous devez créer manuellement des index followers dans Kibana du cluster follower en accédant à Stack Management > Cross-Cluster Replication > Follower Indices.

Après avoir créé l'index follower, exécutez la commande suivante dans Kibana du cluster follower pour vérifier que les données sont synchronisées :

GET /<index_name>/_search

Si le résultat renvoyé est cohérent avec celui du cluster leader, les données existantes ont été synchronisées.

Vérifier la synchronisation des nouvelles données

1. Dans Kibana du cluster leader, créez un nouvel index et écrivez-y un document :

   PUT /test-increment-index
   
   POST /test-increment-index/_doc
   {
       "title": "increment test",
       "content": "This is a test document for CCR incremental sync."
   }

2. Dans Kibana du cluster follower, interrogez l'index :

   GET /test-increment-index/_search

   Si le document renvoyé correspond au document source, la synchronisation en temps réel est réussie.