Tous les produits
Search

Ce produit

    Elasticsearch:Démarrage rapide

    Centre de documentation

    Elasticsearch:Démarrage rapide

    Dernière mise à jour :Aug 19, 2026

    Cette rubrique explique comment créer un cluster Alibaba Cloud Logstash et configurer un pipeline Logstash pour synchroniser des données entre des clusters Alibaba Cloud Elasticsearch.

    Contexte

    Avant de commencer, assurez-vous de bien comprendre les concepts suivants :

    Prérequis

    Limites

    • Le cluster source Alibaba Cloud Elasticsearch, le cluster Alibaba Cloud Logstash et le cluster de destination Alibaba Cloud Elasticsearch doivent se trouver dans le même VPC. S'ils résident dans des VPC différents, vous devez configurer une passerelle NAT pour permettre l'accès à Internet. Pour plus d'informations, consultez la rubrique Configurer une passerelle NAT pour le transfert public de données.

    • Les versions du cluster source Alibaba Cloud Elasticsearch, du cluster Alibaba Cloud Logstash et du cluster de destination Alibaba Cloud Elasticsearch doivent être compatibles. Pour plus d'informations, consultez la rubrique Compatibilité.

    Procédure

    1. Étape 1 : Préparer l'environnement

      Créez un cluster source et un cluster de destination Alibaba Cloud Elasticsearch, activez l'indexation automatique sur le cluster de destination et préparez les données de test.

    2. Étape 2 : Créer un cluster Alibaba Cloud Logstash

      Créez un cluster Alibaba Cloud Logstash. Vous ne pourrez créer et exécuter un pipeline qu'une fois l'état du cluster passé à Actif.

    3. Étape 3 : Créer et exécuter un pipeline

      Créez et configurez un pipeline Alibaba Cloud Logstash, puis exécutez-le pour synchroniser les données.

    4. Étape 4 : Vérifier les résultats de la synchronisation des données

      Consultez les résultats de la synchronisation dans la console Kibana du cluster de destination Alibaba Cloud Elasticsearch.

    Étape 1 : Préparer l'environnement

    1. Créez des clusters Alibaba Cloud Elasticsearch.

      1. Connectez-vous à la console Alibaba Cloud Elasticsearch.

      2. Dans le volet de navigation de gauche, cliquez sur Elasticsearch Clusters.

      3. Sur la page Elasticsearch Clusters, créez deux clusters Alibaba Cloud Elasticsearch.

        Ces deux clusters serviront respectivement d'entrée et de sortie pour Logstash. Pour plus d'informations, consultez la rubrique Créer un cluster Alibaba Cloud Elasticsearch. Ce tutoriel utilise le chemin de migration de données suivant : Alibaba Cloud Elasticsearch 6.7.0 (Commercial Edition) > Alibaba Cloud Logstash 6.7.0 > Alibaba Cloud Elasticsearch 6.7.0 (Commercial Edition). Les scripts fournis sont compatibles uniquement avec ce chemin. Ce tutoriel utilise les configurations suivantes pour les clusters Alibaba Cloud Elasticsearch.

        Remarque

        • Si vous utilisez un autre chemin de migration, consultez la rubrique Compatibilité afin de vérifier l'absence de problèmes de compatibilité. Le cas échéant, vous devrez mettre à niveau vos clusters ou en acheter de nouveaux.

        • Le nom d'utilisateur par défaut pour accéder à un cluster Alibaba Cloud Elasticsearch est elastic, comme utilisé dans ce tutoriel. Si vous souhaitez utiliser un utilisateur personnalisé, vous devez lui attribuer les rôles et autorisations nécessaires. Pour plus d'informations, consultez la rubrique Contrôler les autorisations des utilisateurs à l'aide des rôles Elasticsearch X-Pack.

    2. Activez l'indexation automatique sur le cluster de destination Alibaba Cloud Elasticsearch.

      Pour plus d'informations, consultez la rubrique Configurer les paramètres YML.

      Remarque

      Par mesure de sécurité, Alibaba Cloud Elasticsearch définit par défaut la fonctionnalité Auto Indexing sur Not allowed. Lorsqu'Alibaba Cloud Logstash envoie des données, il crée un index en soumettant les données, et non en utilisant l'API de création d'index. Par conséquent, avant d'utiliser Alibaba Cloud Logstash pour charger des données, vous devez soit définir la fonctionnalité Auto Indexing de votre cluster sur Permitted, soit créer au préalable un index et ses mappings.

    3. Préparez les données de test.

      Accédez à la console Kibana du cluster source Alibaba Cloud Elasticsearch. Sur la page Dev Tools, ouvrez l'onglet Console et exécutez les commandes suivantes pour créer l'index et les documents que vous souhaitez synchroniser.

      Important

      • Pour savoir comment vous connecter à la console Kibana, consultez la rubrique Se connecter à la console Kibana.

      • Le script ci-dessous est un exemple pour Elasticsearch 6.7 et sert uniquement à des fins de test. Pour obtenir des exemples de scripts pour Elasticsearch 7.0 ou version ultérieure, consultez la rubrique Démarrer avec Elasticsearch.

      1. Créez un index my_index avec un type my_type.

        PUT /my_index
{
    "settings" : {
      "index" : {
        "number_of_shards" : "5",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
        "my_type" : {
            "properties" : {
              "post_date": {          
                   "type": "date"       
               },
              "tags": {
                   "type": "keyword"
               },
                "title" : {
                    "type" : "text"
                }
            }
        }
    }
}

      2. Insérez un document avec l'ID 1 dans l'index my_index.

        PUT /my_index/my_type/1?pretty
{
  "title": "One", 
  "tags": ["ruby"],
  "post_date":"2009-11-15T13:00:00"
}

      3. Insérez un document avec l'ID 2 dans l'index my_index.

        PUT /my_index/my_type/2?pretty
{
  "title": "Two", 
  "tags": ["ruby"],
  "post_date":"2009-11-15T14:00:00"
}

    Étape 2 : Créer un cluster Logstash

    1. Accédez à la page des clusters Logstash.

      1. Accédez à la page des clusters Logstash.

      2. Dans la barre de navigation supérieure, sélectionnez la même région que celle de votre cluster de destination Alibaba Cloud Elasticsearch.

      3. Dans le volet de navigation de gauche, cliquez sur Logstash Clusters.

    2. Sur la page Logstash Clusters, cliquez sur Create.

    3. Sur la page d'achat configurez les paramètres de lancement du cluster.

      Ce tutoriel sélectionne le mode de facturation Paiement à l'utilisation et la version 6.7. Laissez tous les autres paramètres sur leurs valeurs par défaut. Pour plus d'informations sur les configurations, consultez la rubrique Créer un cluster Alibaba Cloud Logstash.

      Remarque

      • Pour le développement et les tests fonctionnels, nous vous recommandons d'acheter un cluster Pay-as-you-go.

      • Des réductions sont applicables lors de l'achat d'un cluster Subscription.

    4. Lisez et acceptez les conditions d'utilisation, puis cliquez sur DataWorks Exclusive Resources (Subscription).

    5. Une fois le message de succès affiché, cliquez sur DataWorks Exclusive Resources (Subscription).

    6. Dans la barre de navigation supérieure, sélectionnez la région où se trouve le cluster. Dans le volet de navigation de gauche, cliquez sur Logstash Clusters. Sur la page Logstash Clusters, affichez le cluster nouvellement créé.

    Étape 3 : Créer et exécuter un pipeline

    Une fois l'état du cluster Logstash passé à Normal, vous pouvez créer et exécuter un pipeline pour synchroniser les données.

    1. Sur la page Logstash Clusters, cliquez sur Pipelines dans la colonne Actions du cluster.

    2. Dans la section Pipelines, cliquez sur Create Pipeline.

    3. Saisissez un Pipeline ID et définissez les Config Settings.

      Ce tutoriel utilise la configuration suivante.

      input {
    elasticsearch {
        hosts => ["http://es-cn-0pp1f1y5g000h****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "*,-.monitoring*,-.security*,-.kibana*"
        docinfo => true
    }
}
filter {}
output {
    elasticsearch {
        hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
        user => "elastic"
        password => "your_password"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
    }
    file_extend {
        path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
    }
}

      Paramètre

      Description

      hosts

      L'adresse d'accès au service Alibaba Cloud Elasticsearch. Pour l'entrée, l'adresse est http://<ID du cluster source>.elasticsearch.aliyuncs.com:9200. Pour la sortie, l'adresse est http://<ID du cluster de destination>.elasticsearch.aliyuncs.com:9200.

      user

      Le nom d'utilisateur pour accéder au service Alibaba Cloud Elasticsearch. La valeur par défaut est elastic.

      password

      Le mot de passe de l'utilisateur. Le mot de passe de l'utilisateur elastic est défini lors de la création du cluster. Si vous l'avez oublié, vous pouvez le réinitialiser. Pour plus d'informations, consultez la rubrique Réinitialiser le mot de passe d'accès d'un cluster.

      index

      L'index à synchroniser. En définissant cette valeur sur ,-.monitoring,-.security,-.kibana, vous synchronisez tous les index, à l'exception des index système commençant par un point (.). %{[@metadata][_index]} correspond à l'index issu des métadonnées, ce qui signifie que l'index de destination portera le même nom que l'index source.

      Remarque

      Les index système, qui stockent généralement les journaux de surveillance du cluster Elasticsearch, n'ont pas besoin d'être synchronisés.

      docinfo

      Lorsque ce paramètre est défini sur true, il extrait les métadonnées du document Elasticsearch, telles que l'index, le type et l'ID.

      document_type

      Spécifie le type de l'index de destination. Définissez ce paramètre sur %{[@metadata][_type]} pour faire correspondre le type issu des métadonnées. Cela garantit que l'index de destination possède le même type que l'index source.

      document_id

      Spécifiez l'ID du document synchronisé. Définissez cette valeur sur %{[@metadata][_id]} pour faire correspondre l'ID issu des métadonnées. Cela signifie que l'ID du document synchronisé est identique à l'ID du document source.

      file_extend

      Facultatif. Active la fonctionnalité de journalisation de débogage et utilise le paramètre path pour configurer le chemin de sortie des journaux de débogage. Nous vous recommandons de configurer ce paramètre, car il vous permet d'afficher directement la sortie dans la console. Si ce paramètre n'est pas configuré, vous devez vérifier la sortie à la destination cible, puis revenir à la console pour effectuer des modifications, ce qui prend du temps. Pour plus d'informations, consultez la rubrique Utiliser un pipeline Logstash pour configurer la fonctionnalité de débogage.

      Important

      Le paramètre file_extend nécessite le plug-in logstash-output-file_extend. Installer ou désinstaller des plug-ins. Le paramètre path utilise par défaut un chemin spécifié par le système. Ne le modifiez pas. Vous pouvez également récupérer le chemin en cliquant sur Start Configuration Debug.

      La structure du fichier de configuration et les types de données pris en charge varient selon la version. Pour plus de détails, consultez la rubrique Structure of a Config File.

    4. Cliquez sur Next step pour configurer les paramètres du pipeline.

      Définissez Pipeline Workers sur le nombre de cœurs CPU de votre cluster. Laissez les autres paramètres sur leurs valeurs par défaut. Pour une description détaillée des paramètres, consultez la rubrique Gérer les pipelines à l'aide de fichiers de configuration.

    5. Cliquez sur Save ou sur Save and Deploy.

      • Save : Enregistre la configuration du pipeline sans l'appliquer. Après l'enregistrement, vous revenez à la page Pipelines. Dans la section Pipelines, vous pouvez cliquer sur Deploy Now dans la colonne Actions pour redémarrer l'instance et appliquer la configuration.

      • Save and Deploy : Enregistre et déploie la configuration, en redémarrant l'instance pour appliquer les modifications.

    6. Dans la boîte de dialogue de confirmation, cliquez sur OK.

      Vous pouvez ensuite afficher le pipeline créé dans la liste Pipelines. Une fois la mise à jour du cluster terminée et lorsque l'Status du pipeline indique Running, Alibaba Cloud Logstash commence à synchroniser les données.

    Étape 4 : Vérifier les résultats de la synchronisation des données

    Une fois le pipeline configuré et en cours d'exécution, vous pouvez vérifier les résultats dans la console Kibana du cluster de destination Alibaba Cloud Elasticsearch.

    1. Connectez-vous à la console Kibana de votre cluster Elasticsearch.

      Pour obtenir des instructions, consultez la rubrique Se connecter à la console Kibana.

      Remarque

      Les exemples présentés ici utilisent Elasticsearch V6.7.0. Les opérations peuvent varier légèrement selon les versions.

    2. Dans le menu de navigation de gauche, choisissez Management > Dev Tools.

    3. Dans la Console, exécutez la commande suivante pour afficher les résultats de la synchronisation des données.

      GET /my_index/_search
{
  "query": {
    "match_all": {}
  }
}

      Le résultat attendu est le suivant.

      {
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 4,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "doc",
        "_id" : "aKG3bHABnsveUjNW2iXy",
        "_score" : 1.0,
        "_source" : {
          "post_date" : "2009-11-15T14:00:00",
          "@version" : "1",
          "@timestamp" : "2020-02-22T11:45:52.992Z",
          "tags" : [
            "ruby"
          ],
          "title" : "Two"
        }
      },
      ...
    ]
  }
}

      Si les données sources et de destination sont cohérentes, la synchronisation des données a réussi. Vous pouvez également exécuter la commande GET _cat/indices?v pour vérifier si les tailles des mêmes index sur la source et la destination sont cohérentes, et ainsi déterminer si la synchronisation des données a été effectuée avec succès.

    Documentation connexe

    FAQ