Sélection de la méthode de migration Elasticsearch - Elasticsearch

Alibaba Cloud Elasticsearch prend en charge plusieurs méthodes de migration des données, notamment Logstash, reindex, Object Storage Service (OSS) et Data Online Migration. Vous pouvez migrer des données entre des instances Alibaba Cloud Elasticsearch, migrer des données depuis un cluster Elasticsearch autogéré ou un service tiers. Cette rubrique compare les scénarios d'application et les limites de chaque méthode pour vous aider à choisir l'option la plus adaptée.

Important

En octobre 2020, Alibaba Cloud Elasticsearch a mis à niveau son architecture réseau. Les instances créées avant cette date utilisent l'ancienne architecture réseau, tandis que celles créées en octobre 2020 ou après utilisent la nouvelle. Les opérations inter-clusters, telles que le réindexage distant, la recherche inter-clusters et la réplication inter-clusters, ne sont pas prises en charge entre des instances utilisant des architectures réseau différentes. Pour effectuer ces opérations, assurez-vous que les deux instances partagent la même architecture réseau. Pour les instances situées dans la région Chine (Zhangjiakou) et dans les régions internationales, la date exacte de la mise à niveau de l'architecture réseau peut varier. Pour vérifier la connectivité réseau nécessaire aux opérations inter-clusters, soumettez un ticket afin de contacter le support technique d'Alibaba Cloud Elasticsearch. Pour consulter l'architecture réseau d'une instance, connectez-vous à la console Alibaba Cloud Elasticsearch et repérez la section Basic Information sur la page Control Architecture Type. L'indication Cloud-native Control Architecture (v3) correspond à la nouvelle architecture réseau, tandis que Basic Control Architecture (v2) indique l'ancienne architecture.
Ne migrez pas les index système. Ces index sont préfixés par un point (.), comme .monitoring, .kibana ou .security. Leur migration risque de provoquer une défaillance de Kibana.
Data Transmission Service (DTS) ne prend pas en charge la synchronisation des données entre deux instances Elasticsearch.
La durée de la migration dépend du volume de données à transférer, du nombre d'index et de la charge des clusters source et cible. Il est impossible d'estimer précisément la durée à l'avance. Pour un même volume de données, les snapshots OSS sont généralement plus rapides que les autres méthodes. Avant de lancer la migration effective, effectuez un test avec un petit nombre d'index afin d'évaluer la fenêtre de migration globale.

Migration entre instances Alibaba Cloud Elasticsearch

Méthode de migration	Scénarios applicables	Limites	Exemple
Snapshot OSS	Migration de jeux de données volumineux (échelle Go, To ou Po). Transfert de données de snapshot entre instances appartenant au même compte Alibaba Cloud ou à des comptes différents, au sein d'une même région ou entre régions. Remarque Pour une migration interrégionale, combinez les commandes de snapshot et de restauration d'Elasticsearch avec la fonctionnalité réplication inter-régions (CRR) d'OSS.	La migration complète via un snapshot OSS n'entraîne aucune interruption de service. En revanche, la migration incrémentielle peut nécessiter l'arrêt des écritures sur l'instance source. Lors de la restauration des données incrémentielles sur le nouveau cluster, vous devez fermer l'index. Pour utiliser la fonctionnalité de référentiel OSS inter-clusters d'Alibaba Cloud Elasticsearch, les instances source et cible doivent respecter les conditions suivantes : Elles se trouvent dans la même région. Elles appartiennent au même compte Alibaba Cloud ou au même utilisateur RAM. La version de l'instance source doit être inférieure ou égale à celle de l'instance cible. Pour plus d'informations sur la compatibilité des versions, consultez les matrices de compatibilité. Lorsque vous utilisez une API pour migrer des données de snapshot entre comptes, vous devez employer le même AccessKey pour la source et la cible. Plus précisément, lors de l'ajout du référentiel, utilisez l'AccessKey du compte propriétaire du bucket Object Storage Service (OSS). La faisabilité de la méthode par snapshot OSS dépend principalement de la région du bucket OSS plutôt que du compte propriétaire des instances. Les exigences de même région et de même compte mentionnées précédemment s'appliquent uniquement à la fonctionnalité de référentiel OSS inter-clusters disponible dans la console. Pour les scénarios inter-comptes, vous pouvez ajouter le référentiel via une API en utilisant l'AccessKey du compte propriétaire du bucket. Si les instances résident dans la même région et que le volume de données est important, privilégiez les snapshots OSS. Pour les scénarios interrégionaux, utilisez d'abord la fonctionnalité de réplication inter-régions (CRR) d'OSS afin de répliquer le snapshot vers un bucket dans la région de destination, puis restaurez les données sur l'instance cible. Par exemple, vous pouvez créer un snapshot d'une instance située dans la région Chine (Shanghai) vers un bucket dans la même région, répliquer ce snapshot vers un bucket dans la région Chine (Pékin) via CRR, puis restaurer les données sur une instance située en Chine (Pékin).	Sauvegardez et restaurez les données à l'aide d'un référentiel OSS inter-clusters (pour les snapshots automatiques) Créez des snapshots manuels et restaurez les données à partir de snapshots manuels (pour les snapshots manuels)
Logstash	Migration complète ou synchronisation incrémentielle lorsque la performance en temps réel n'est pas critique. Important Pour les migrations inter-comptes et interrégionales où les instances Elasticsearch et Logstash ne partagent pas le même VPC, vous devez configurer une passerelle NAT pour l'instance Logstash afin de transmettre les données via le réseau public. Migration des seuls résultats de requête. Filtrage des données avant la migration. Migration entre versions majeures, par exemple de la version 5.x vers la 6.x ou la 7.x. Pour plus d'informations sur la compatibilité des versions, consultez les matrices de compatibilité.	L'instance Elasticsearch source, l'instance Logstash et l'instance Elasticsearch cible doivent résider dans le même VPC. Sinon, configurez une passerelle NAT pour permettre la connectivité via le réseau public. Pour plus d'informations, consultez Configurer une passerelle NAT pour la transmission de données via Internet. Les versions des instances Elasticsearch source, Logstash et Elasticsearch cible doivent être compatibles. Pour plus d'informations, consultez les matrices de compatibilité. Pour synchroniser les données incrémentielles, assurez-vous que les ID de données sont cohérents entre la source et la cible, et configurez une tâche planifiée.	Migrez des données entre clusters Alibaba Cloud Elasticsearch Utilisez l'API reindex pour migrer les données d'un index multi-types d'une version antérieure
reindex	Migration de petits jeux de données lorsque la vitesse de migration n'est pas prioritaire. Migration des seuls résultats de requête (résultats d'une instruction de requête exécutée dans Kibana).	Les deux clusters Elasticsearch doivent utiliser la même architecture réseau. Pour plus d'informations, consultez les notes au début de cette rubrique.	Utilisez l'API reindex pour migrer des données
Outil elasticsearch-dump	Migration de petits jeux de données comportant un nombre limité d'index.	Le cluster source, le cluster cible et le serveur sur lequel l'outil elasticsearch-dump est installé doivent disposer d'une connectivité réseau.	Utilisez elasticsearch-dump pour migrer des données
Snapshot OSS et reindex	Migration simultanée des données complètes et incrémentielles. Migration entre versions majeures lorsque le format de fichier peut être incompatible et que la restauration directe de snapshot n'est pas prise en charge. Par exemple, pour migrer de la version 6.x vers la 8.x, vous pouvez d'abord restaurer un snapshot sur une instance 7.x, réindexer les données sur cette instance 7.x, puis restaurer un snapshot depuis l'instance 7.x vers l'instance 8.x.	La version intermédiaire doit être compatible avec les versions source et cible. Pour plus d'informations, consultez Modifications et compatibilité des versions Elastic.	Créez des snapshots manuels et restaurez les données à partir de snapshots manuels (pour les snapshots manuels) Utilisez l'API reindex pour migrer des données
Data Online Migration	Mises à niveau sans interruption de service d'Alibaba Cloud Elasticsearch V2 vers V3, avec migration des données et préservation des endpoints.		Mettez à niveau l'architecture de l'instance

Migration depuis un cluster autogéré vers Alibaba Cloud Elasticsearch

Méthode de migration	Scénarios applicables	Limites	Exemple
Data Online Migration	Migration de données depuis un cluster Elasticsearch autogéré déployé sur des instances ECS au sein d'un centre de données. Migrations fluides, hautement disponibles et sans interruption depuis un cluster Elasticsearch autogéré.	La migration de données interrégionale et inter-VPC n'est pas prise en charge. La migration entre versions majeures n'est pas prise en charge (par exemple, de la version 7.x vers la 8.x). Les index du cluster Elasticsearch autogéré doivent comporter au moins un réplica.	Migrez des données depuis un cluster Elasticsearch autogéré vers Alibaba Cloud Elasticsearch
Snapshot OSS	Migration de jeux de données volumineux (échelle Go, To ou Po). Transfert de données de snapshot entre comptes Alibaba Cloud identiques ou différents, au sein d'une même région ou entre régions.	Vous devez obtenir le plug-in elasticsearch-repository-oss correspondant à la version d'Elasticsearch source. La migration incrémentielle via un snapshot OSS peut entraîner une interruption de service. Lors de la restauration des données incrémentielles sur le nouveau cluster, vous devez fermer l'index.	Utilisez OSS pour migrer des données depuis un cluster Elasticsearch autogéré vers un cluster Alibaba Cloud Elasticsearch
Logstash	Migrations de données lorsque la performance en temps réel n'est pas critique. Migration des seuls résultats de requête. Filtrage des données avant la migration. Migration entre versions majeures, par exemple de la version 5.x vers la 6.x ou la 7.x. Pour plus d'informations sur la compatibilité des versions, consultez les matrices de compatibilité.	L'instance Elasticsearch source, l'instance Logstash et l'instance Elasticsearch cible doivent résider dans le même VPC. Sinon, configurez une passerelle NAT pour permettre la connectivité via le réseau public. Pour plus d'informations, consultez Configurer une passerelle NAT pour la transmission de données via Internet. Les versions des instances Elasticsearch source, Logstash et Elasticsearch cible doivent être compatibles. Pour plus d'informations, consultez les matrices de compatibilité. Pour synchroniser les données incrémentielles, assurez-vous que les ID de données sont cohérents entre la source et la cible, et configurez une tâche planifiée.	Utilisez Alibaba Cloud Logstash pour migrer des données depuis un cluster Elasticsearch autogéré vers un cluster Alibaba Cloud Elasticsearch Utilisez l'API reindex pour migrer les données d'un index multi-types d'une version antérieure
reindex	Migration de petits jeux de données lorsque la vitesse de migration n'est pas prioritaire. Migration des seuls résultats de requête (résultats d'une instruction de requête exécutée dans Kibana). Migration depuis un cluster Elasticsearch autogéré d'une version antérieure vers un cluster Alibaba Cloud Elasticsearch d'une version ultérieure, par exemple de la version 6.x vers la 8.x. Cela nécessite l'utilisation de PrivateLink pour établir la connectivité réseau nécessaire au réindexage distant.	Les deux clusters Elasticsearch doivent utiliser la même architecture réseau. Pour plus d'informations, consultez les notes au début de cette rubrique.	Utilisez l'API reindex pour migrer des données depuis un cluster Elasticsearch autogéré vers un cluster Alibaba Cloud Elasticsearch
Outil elasticsearch-dump	Migration de petits jeux de données comportant un nombre limité d'index.	Le cluster source, le cluster cible et le serveur sur lequel l'outil elasticsearch-dump est installé doivent disposer d'une connectivité réseau.	Utilisez elasticsearch-dump pour migrer des données

Migration depuis un service tiers vers Alibaba Cloud Elasticsearch

Méthode de migration	Scénarios applicables	Limites	Exemple
Snapshot OSS	Migration de jeux de données volumineux (échelle Go, To ou Po).	La migration incrémentielle via un snapshot OSS peut entraîner une interruption de service. Lors de la restauration des données incrémentielles sur le nouveau cluster, vous devez fermer l'index.	Migrez les données d'index Elasticsearch depuis Amazon OpenSearch Service vers Alibaba Cloud Elasticsearch Remarque Cette méthode n'est pas limitée à des fournisseurs cloud spécifiques et s'appuie sur le mécanisme de snapshot d'Elasticsearch. Par exemple, vous pouvez utiliser Alibaba Cloud Data Online Migration (Migrer des données) pour transférer les données de snapshot Elasticsearch depuis Tencent Cloud COS vers Alibaba Cloud OSS, puis restaurer les données depuis le référentiel OSS. Pour plus d'informations, consultez Créer des snapshots manuels et restaurer les données à partir de snapshots manuels. La migration par snapshot Elasticsearch permet de restaurer les données uniquement vers la même version ou une version ultérieure. Pour plus d'informations, consultez Compatibilité des versions pour la restauration des données à partir de snapshots.
Outil elasticsearch-dump	Migration de petits jeux de données comportant un nombre limité d'index.	Le cluster source, le cluster cible et le serveur sur lequel l'outil elasticsearch-dump est installé doivent disposer d'une connectivité réseau.	Utilisez elasticsearch-dump pour migrer des données