Kluster Alibaba Cloud Logstash berjalan di dalam virtual private cloud (VPC) dan secara default tidak dapat mengakses Internet. Untuk mengumpulkan data dari Internet atau mengirim data ke tujuan yang menghadap Internet, konfigurasikan NAT Gateway untuk kluster Logstash Anda.
Layanan NAT Gateway menyediakan dua fitur untuk keperluan ini:
DNAT (Destination Network Address Translation): memungkinkan layanan Internet mengirim data ke Logstash
SNAT (Source Network Address Translation): memungkinkan Logstash mengakses Internet
Untuk informasi latar belakang tentang layanan NAT Gateway, lihat Apa itu NAT Gateway?
Batasan
NAT Gateway mendukung maksimal 20 elastic IP addresses (EIPs).
Maksimal 10 EIP dengan model pay-as-you-go dapat dikaitkan dengan NAT Gateway, masing-masing dengan throughput puncak 200 Mbit/s.
Untuk meningkatkan batas EIP, atau ajukan Tiket.
EIP yang ditetapkan ke entri SNAT tidak dapat digunakan dalam entri DNAT.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
VPC dan vSwitch. Lihat Buat VPC dengan blok CIDR IPv4.
Kluster Alibaba Cloud Logstash. Lihat Buat kluster Alibaba Cloud Logstash.
Konfigurasikan gateway NAT
Langkah 1: Buka konfigurasi gateway NAT
Buka halaman Logstash Clusters di Konsol Alibaba Cloud Elasticsearch.
Pada bilah navigasi atas, pilih wilayah tempat kluster berada.
Pada halaman Logstash Clusters, temukan kluster tersebut dan klik ID-nya.
Pada panel navigasi kiri, klik Network and Security.
Pada bagian Network Settings, klik Configure NAT Gateway.
Langkah 2: Buat Internet NAT gateway
Pada halaman Internet NAT Gateway, klik Create Internet NAT Gateway. Pilih wilayah dan VPC tempat kluster Logstash berada.
Untuk penjelasan parameter secara detail, lihat Langkah 1: Buat Internet NAT gateway. Untuk ikhtisar konfigurasi gateway NAT, lihat Buat dan kelola Internet NAT gateway.
Langkah 3: Kaitkan EIP dengan gateway NAT
Pada halaman Internet NAT Gateway, temukan gateway NAT tersebut dan pilih More > Associate EIP pada kolom Actions.
Pada kotak dialog Associate EIP, pilih Select Existing EIP dan pilih EIP yang tersedia. Jika tidak ada EIP yang tersedia, pilih Purchase and Associate EIP lalu klik OK.
Klik OK.
Langkah 4: Buat entri DNAT
Entri DNAT memungkinkan layanan Internet mengirim data ke kluster Logstash Anda.
Pada halaman Internet NAT Gateway, temukan gateway NAT tersebut dan klik Configure DNAT pada kolom Actions.
Klik tab DNAT Management.
Pada bagian DNAT Entry List, klik Create DNAT Entry.
Konfigurasikan parameter berikut:
Parameter Deskripsi Select EIP Pilih alamat IP publik yang tersedia. EIP yang digunakan dalam entri SNAT tidak dapat digunakan kembali di sini. Select Private IP Address Pilih Manual Input dan masukkan alamat IP node kluster Logstash. Untuk menemukan alamat IP node, buka halaman Basic Information kluster tersebut. Lihat Lihat informasi dasar kluster. Port Settings Pilih metode pemetaan DNAT: Any Port untuk pemetaan alamat IP (semua permintaan ke IP publik diteruskan ke kluster), atau Custom Port untuk pemetaan port (permintaan diteruskan berdasarkan protokol dan port tertentu). Jika Anda memilih Custom Port, konfigurasikan juga Public Port, Private Port, dan Protocol. Entry Name Masukkan nama untuk entri DNAT. Nama harus terdiri dari 2–128 karakter, dimulai dengan huruf, dan dapat berisi huruf, angka, garis bawah (_), serta tanda hubung (-). Klik OK.
Langkah 5: Buat entri SNAT
Entri SNAT memungkinkan kluster Logstash Anda mengakses Internet.
Pada halaman Internet NAT Gateway, temukan gateway NAT tersebut dan klik Configure SNAT pada kolom Actions.
Klik tab SNAT Management.
Pada bagian SNAT Entry List, klik Create SNAT Entry.
Untuk SNAT Entry, pilih Specify vSwitch dan konfigurasikan parameter berikut:
Parameter Deskripsi Select vSwitch Pilih vSwitch di dalam VPC tempat kluster Logstash berada. Semua instans Elastic Compute Service (ECS) di dalam vSwitch tersebut kemudian dapat mengakses Internet melalui entri SNAT ini. Select EIP Pilih alamat IP publik untuk akses Internet. Untuk membuat kolam alamat IP SNAT, pilih beberapa EIP. Jika Anda memilih beberapa EIP, semuanya harus dikaitkan dengan paket bandwidth EIP yang sama. Lihat Kaitkan dan lepaskan EIP dari instans Bandwidth Internet Bersama. Klik OK.
Untuk daftar lengkap parameter SNAT, lihat Buat dan kelola entri SNAT.
Langkah 6: Konfigurasikan pipeline Logstash
Kembali ke halaman Basic Information kluster Logstash di Konsol Elasticsearch dan konfigurasikan pipeline untuk mentransmisikan data melalui Internet. Lihat Gunakan file konfigurasi untuk mengelola pipeline.
Contoh berikut menggunakan Beats sebagai input dan kluster Elasticsearch sebagai output. Server Beats berada di VPC yang sama dengan kluster Logstash, sedangkan kluster Elasticsearch berada di VPC yang berbeda — sehingga diperlukan entri SNAT agar Logstash dapat mengakses kluster Elasticsearch melalui Internet.
input {
beats {
port => 8000
host => "118.11.xx.xx"
}
}
filter {
}
output {
elasticsearch {
hosts => ["http://es-cn-o40xxxxxxxxxx****.elasticsearch.aliyuncs.com:9200"]
index => "logstash_test_1"
password => "es_password"
user => "elastic"
}
file_extend {
path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
}
}