Elasticsearch:Configurer une passerelle NAT pour le transfert de données publiques

Contexte

Les instances Alibaba Cloud Logstash sont déployées dans un Virtual Private Cloud (VPC). Si la source ou la destination ne se trouve pas dans le même VPC que votre instance Alibaba Cloud Logstash, il est impossible d'établir une connexion réseau directe et de transmettre les données. Dans ce cas, utilisez une passerelle NAT. Une entrée DNAT sur la passerelle NAT permet aux services du réseau public d'envoyer des données vers vos nœuds Logstash. Une entrée SNAT permet à votre instance Logstash d'accéder au réseau public. Pour plus d'informations, consultez Qu'est-ce qu'une passerelle NAT ?.

Prérequis

Procédure

1. Accédez à la page Logstash Clusters.

2. Accédez au cluster cible.

   1. Dans la barre de navigation supérieure, sélectionnez la région où réside le cluster.

   2. Sur la page Logstash Clusters, localisez le cluster et cliquez sur son ID.

3. Dans le volet de navigation de gauche, cliquez sur Network and Security.

4. Dans la section Network Configuration, cliquez sur Configure NAT Gateway.

   Pour plus d'informations sur les passerelles NAT et le processus de configuration, consultez Passerelles NAT Internet. Utilisez les entrées DNAT pour permettre aux services du réseau public d'envoyer des données vers les nœuds Logstash. Utilisez les entrées SNAT pour permettre à Logstash d'accéder au réseau public.

5. Sur la page de configuration de la passerelle NAT, créez une passerelle NAT.

   Lors de la création de la passerelle NAT, assurez-vous que la région et l'ID VPC sélectionnés correspondent à ceux de l'instance Alibaba Cloud Logstash. Pour des instructions détaillées, consultez Procédure.

6. Associez une adresse IP élastique (EIP).

   1. Dans la liste des passerelles NAT, localisez la passerelle cible. Dans la colonne Actions, choisissez > Associate with EIP.

   2. Sur la page Associate with EIP, sélectionnez Select Existing EIP.

      Si aucune EIP n'est disponible, sélectionnez Purchase and Associate EIP et suivez les instructions à l'écran.

   3. Sélectionnez une EIP disponible et cliquez sur OK.

      Important

      Vous pouvez associer jusqu'à 20 EIP à une passerelle NAT. Parmi celles-ci, un maximum de 10 peuvent être des EIP en paiement à l'utilisation, et la bande passante de pointe de chaque EIP en paiement à l'utilisation ne peut pas dépasser 200 Mbps. Vous pouvez soumettre un ticket pour demander un quota plus élevé.

7. Créez une entrée DNAT.

   1. Dans la liste des passerelles NAT, localisez la passerelle cible et cliquez sur Configure DNAT dans la colonne Actions.

   2. Cliquez sur l'onglet DNAT.

   3. Dans la zone DNAT Entry List, cliquez sur Create DNAT Entry.

   4. Sur la page Create DNAT Entry, configurez les paramètres.

      Paramètre	Description
      Select public IP address	Sélectionnez une adresse IP publique disponible. Remarque Une adresse IP publique ne peut pas être utilisée pour une entrée DNAT si elle est déjà utilisée dans une entrée SNAT.
      Select Private IP Address	Sélectionnez Manually Enter et saisissez l'adresse IP de votre instance Logstash. Vous pouvez trouver l'adresse IP sur la page d'informations de base de l'instance. Pour plus d'informations, consultez Afficher les informations de base d'une instance.
      Ports	Sélectionnez une méthode de mappage DNAT : Any Port : cette option active le mappage IP, ce qui équivaut à associer une adresse IP élastique à l'instance Logstash. Toutes les requêtes adressées à cette adresse IP publique sont transférées vers l'adresse IP privée de l'instance. Specific Port : cette option active le mappage de port. La passerelle NAT transfère les requêtes provenant de l'adresse IP publique et du port spécifiés vers l'adresse IP privée et le port correspondants de l'instance Logstash. Si vous sélectionnez Specific Port, vous devez spécifier le Public network port (le port externe pour le transfert), le Internal Port (le port interne pour le transfert) et le Protocol (le protocole pour le transfert de port) en fonction de vos besoins métier.
      Entry Name	Saisissez un nom pour l'entrée DNAT. Le nom doit comporter entre 2 et 128 caractères, commencer par une lettre (majuscule ou minuscule) ou un caractère chinois, et peut contenir des chiffres, des traits de soulignement (_) et des tirets (-).

   5. Cliquez sur Confirm Creation pour créer l'entrée.

8. Créez une entrée SNAT.

   1. Revenez à la page de liste des passerelles NAT. Localisez la passerelle cible et cliquez sur Configure SNAT dans la colonne Actions.

   2. Cliquez sur l'onglet SNAT.

   3. Dans la zone SNAT Entry List, cliquez sur Create SNAT Entry.

   4. Sur la page Create SNAT Entry, sélectionnez Select vSwitch dans la section SNAT Entry, puis configurez les paramètres.

      Paramètre	Description
      Select Switch	Sélectionnez le vSwitch dans le VPC où réside l'instance Alibaba Cloud Logstash. Toutes les instances ECS de ce vSwitch peuvent accéder au réseau public en utilisant la fonctionnalité SNAT.
      Select public IP address	Sélectionnez les adresses IP publiques que vous souhaitez utiliser pour l'accès au réseau public. Vous pouvez sélectionner plusieurs adresses IP publiques pour créer un pool d'adresses IP SNAT. Si vous sélectionnez plusieurs adresses IP publiques pour créer un pool d'adresses IP SNAT, assurez-vous que chaque adresse IP publique est ajoutée à une instance Internet Shared Bandwidth. Pour plus d'informations, consultez Ajouter et supprimer des EIP dans une instance Internet Shared Bandwidth.

      Pour plus d'informations sur les paramètres, consultez Créer et gérer des entrées SNAT.

   5. Cliquez sur Confirm Creation pour créer l'entrée.

9. Revenez à la console Logstash et configurez un pipeline pour activer le transfert de données via le réseau public.

   Pour plus d'informations, consultez Gérer les pipelines à l'aide de fichiers de configuration. Voici un exemple de configuration :

   input {
       beats {
           port => 8000
           host => "118.11.xx.xx"
       }
   }
   filter {
   
   }
   output {
       elasticsearch {
           hosts => ["http://es-cn-o40xxxxxxxxxx****.elasticsearch.aliyuncs.com:9200"]
           index => "logstash_test_1"
           password => "es_password"
           user => "elastic"
       }
       file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
       }
   }

   Dans cet exemple, l'entrée est beats et la sortie est elasticsearch. Le serveur Beats se trouve dans le même VPC que l'instance Alibaba Cloud Logstash, mais le cluster Elasticsearch de destination ne s'y trouve pas. L'envoi de données de Logstash vers Elasticsearch nécessite que Logstash accède au réseau public. Cette action requiert une entrée SNAT configurée.

Documentation connexe

• Comment utiliser Logstash pour importer ou exporter des données vers le réseau public ?

• Résoudre les problèmes d'écriture de données Logstash

• Si vous devez utiliser HTTPS, consultez Utiliser le protocole HTTPS.