Elasticsearch：Konfigurasikan gateway NAT untuk transmisi data melalui Internet

Informasi latar belakang

Kluster Alibaba Cloud Logstash diterapkan di VPC. Jika Anda ingin menggunakan kluster Logstash untuk memigrasikan data tetapi kluster berada di VPC yang berbeda dari sumber atau tujuan, data tidak dapat ditransmisikan antara keduanya karena koneksi jaringan tidak dapat dibentuk. Dalam kasus ini, Anda dapat menggunakan fitur Destination Network Address Translation (DNAT) dan Source Network Address Translation (SNAT) dari layanan Alibaba Cloud NAT Gateway untuk membentuk koneksi jaringan. Fitur DNAT memungkinkan layanan di Internet mengirim data ke Logstash, sedangkan fitur SNAT memungkinkan Logstash mengakses Internet. Untuk informasi lebih lanjut tentang layanan NAT Gateway, lihat Apa itu NAT Gateway?

Prasyarat

Prosedur

1. Buka halaman Kluster Logstash dari konsol Elasticsearch Alibaba Cloud.

2. Navigasikan ke kluster yang diinginkan.

   1. Di bilah navigasi atas, pilih wilayah tempat kluster berada.

   2. Di halaman Logstash Clusters, temukan kluster dan klik ID-nya.

3. Di panel navigasi sisi kiri halaman yang muncul, klik Network and Security.

4. Di bagian Network Settings, klik Configure NAT Gateway.

   Untuk informasi lebih lanjut tentang deskripsi dan konfigurasi gateway NAT, lihat Buat dan kelola gateway NAT Internet. Entri DNAT memungkinkan layanan di Internet mengirim data ke Logstash. Entri SNAT memungkinkan Logstash mengakses Internet.

5. Di halaman Internet NAT Gateway, klik Buat Internet NAT Gateway.

   Saat membuat gateway NAT, pilih wilayah dan VPC tempat kluster Logstash berada. Untuk informasi lebih lanjut, lihat Langkah 1: Buat gateway NAT Internet.

6. Asosiasikan alamat IP elastis (EIP) dengan gateway NAT.

   1. Di halaman Internet NAT Gateway, temukan gateway NAT dan pilih > Associate EIP di kolom Actions.

   2. Di kotak dialog Associate EIP, pilih Select Existing EIP.

      Jika tidak ada EIP yang tersedia, pilih Purchase and Associate EIP dan klik OK. Kemudian, EIP akan diasosiasikan dengan gateway NAT.

   3. Pilih EIP dan klik OK.

      Penting

      Anda dapat mengasosiasikan maksimal 20 EIP dengan gateway NAT. Maksimal 10 EIP bayar sesuai pemakaian dapat diasosiasikan dengan gateway NAT, dan setiap EIP bayar sesuai pemakaian mendukung throughput puncak hingga 200 Mbit/s. Jika Anda ingin menambah jumlah EIP yang dapat diasosiasikan, Anda dapat ajukan tiket.

7. Buat entri DNAT.

   1. Di halaman Internet NAT Gateway, temukan gateway NAT dan klik Configure DNAT di kolom Actions.

   2. Di halaman yang muncul, klik tab DNAT Management.

   3. Di bagian DNAT Entry List, klik Create DNAT Entry.

   4. Di halaman Create DNAT Entry, konfigurasikan parameter.

      Parameter	Deskripsi
      Select EIP	Pilih alamat IP publik yang tersedia. Catatan Alamat IP publik yang ditentukan dalam entri SNAT tidak dapat ditentukan dalam entri DNAT.
      Select Private IP Address	Pilih Manual Input dan masukkan alamat IP dari node di kluster Logstash Anda. Anda dapat memperoleh alamat IP dari node di kluster Logstash Anda di halaman Informasi Dasar kluster Logstash. Untuk informasi lebih lanjut, lihat Lihat informasi dasar kluster.
      Port Settings	Pilih metode pemetaan DNAT. Any Port: menentukan pemetaan alamat IP. Alamat IP publik yang dipilih diasosiasikan dengan kluster Logstash. Semua permintaan yang ditujukan ke alamat IP publik tersebut diteruskan ke kluster Logstash. Custom Port: menentukan pemetaan port. Gateway NAT meneruskan permintaan ke node yang ditentukan berdasarkan protokol dan port yang ditentukan. Jika Anda memilih Custom Port, Anda harus mengonfigurasi Public Port, Private Port, dan Protocol. Port Publik menentukan port eksternal yang digunakan untuk meneruskan permintaan. Port Privat menentukan port internal yang digunakan untuk meneruskan permintaan. Protokol menentukan protokol yang digunakan oleh port.
      Entry Name	Masukkan nama untuk entri DNAT. Nama harus memiliki panjang 2 hingga 128 karakter dan dapat berisi huruf, angka, garis bawah (_), dan tanda hubung (-). Nama harus dimulai dengan huruf.

   5. Klik OK.

8. Buat entri SNAT.

   1. Buka halaman Internet NAT Gateway. Temukan gateway NAT dan klik Configure SNAT di kolom Actions.

   2. Di halaman yang muncul, klik tab SNAT Management.

   3. Di bagian SNAT Entry List, klik Create SNAT Entry.

   4. Di halaman Create SNAT Entry, pilih Specify vSwitch untuk SNAT Entry dan konfigurasikan parameter lainnya.

      Parameter	Deskripsi
      Select vSwitch	Pilih vSwitch di VPC tempat kluster Logstash berada. Semua instance Elastic Compute Service (ECS) yang termasuk dalam vSwitch yang ditentukan dapat mengakses Internet menggunakan fitur SNAT.
      Select EIP	Pilih alamat IP publik yang digunakan untuk mengakses Internet. Anda dapat memilih beberapa alamat IP publik untuk membangun kumpulan alamat IP SNAT. Jika Anda memilih beberapa alamat IP publik untuk membangun kumpulan alamat IP SNAT, pastikan bahwa alamat IP publik tersebut diasosiasikan dengan rencana bandwidth EIP yang sama. Untuk informasi lebih lanjut, lihat Asosiasikan EIP dengan dan lepaskan asosiasi EIP dari Bandwidth Internet Bersama.

      Untuk informasi lebih lanjut tentang parameter, lihat Buat dan kelola entri SNAT.

   5. Klik OK.

9. Kembali ke halaman Informasi Dasar kluster Logstash di konsol Elasticsearch dan konfigurasikan pipeline untuk mentransmisikan data melalui Internet.

   Untuk informasi lebih lanjut, lihat Gunakan file konfigurasi untuk mengelola pipeline. Contoh kode berikut memberikan contoh konfigurasi:

   input {
       beats {
           port => 8000
           host => "118.11.xx.xx"
       }
   }
   filter {
   
   }
   output {
       elasticsearch {
           hosts => ["http://es-cn-o40xxxxxxxxxx****.elasticsearch.aliyuncs.com:9200"]
           index => "logstash_test_1"
           password => "es_password"
           user => "elastic"
       }
       file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
       }
   }

   Dalam contoh ini, sumber adalah Beats, tujuan adalah kluster Elasticsearch, server tempat Beats diterapkan berada di VPC yang sama dengan kluster Logstash, dan kluster Elasticsearch berada di VPC yang berbeda dari kluster Logstash. Dalam kasus ini, Anda harus mengonfigurasi entri SNAT untuk kluster Logstash agar kluster Logstash dapat mentransmisikan data ke kluster Elasticsearch melalui Internet.

Referensi

• Bagaimana cara mengimpor atau mengekspor data ke Logstash melalui Internet?

• FAQ tentang transfer data menggunakan Logstash

• Untuk informasi tentang cara menggunakan HTTPS, lihat Aktifkan HTTPS.