All Products
Search

This Product

    Elasticsearch:FAQ Logstash

    Document Center

    Elasticsearch:FAQ Logstash

    Last Updated:Jun 05, 2026

    Menjawab pertanyaan umum mengenai Alibaba Cloud Logstash.

    Transfer data melalui Internet

    Kluster Logstash berjalan di VPC dan memerlukan gerbang NAT untuk akses Internet. Konfigurasi gerbang NAT untuk transmisi data melalui Internet.

    Error dengan cluster Kafka yang dikelola sendiri

    Error umum:

    • No entry found for connection

      Penyebab: Node Logstash tidak dapat menyelesaikan hostname Kafka.

      Solusi: Tambahkan konfigurasi berikut ke file server.properties. Contoh untuk layanan Kafka di 10.10.10.10:9092:

      listeners=PLAINTEXT://10.10.10.10:9092
advertised.listeners=PLAINTEXT://10.10.10.10:9092
      Penting

      • Ganti 10.10.10.10:9092 dengan alamat dan port kluster Kafka Anda.

      • Gunakan layanan Kafka Alibaba Cloud dan tambahkan alamat IP node Logstash Anda ke daftar putih kluster Kafka.

    • could not be established. Broker may not be available

      Penyebab: Layanan Kafka tidak dapat dijangkau atau tidak tersedia.

      Solusi: Pastikan layanan Kafka sedang berjalan dan nilai bootstrap_servers dalam konfigurasi pipeline sudah benar.

    Dukungan JDBC untuk MySQL

    Ya. Unggah library mysql-connector-java terlebih dahulu. Konfigurasi library pihak ketiga.

    Pemantauan node

    Ya. Asosiasikan kluster Logstash Anda dengan kluster Elasticsearch melalui X-Pack, lalu pantau node di Kibana. Konfigurasi pemantauan X-Pack.

    Mengunggah file skrip

    Tidak. Logstash hanya mentransfer data melalui konfigurasi pipeline. Kelola pipeline menggunakan file konfigurasi.

    Mengonfigurasi input HTTP

    Ya. Logstash menerima event satu baris dan multi-baris melalui HTTP atau HTTPS. Plugin input Http.

    Catatan

    Kluster Logstash tidak dapat diakses dari Internet secara default. Untuk mengumpulkan permintaan HTTP dari Internet, konfigurasikan gerbang NAT. Konfigurasi gerbang NAT untuk transmisi data melalui Internet.

    Menyinkronkan data dari Simple Log Service ke Elasticsearch

    Gunakan plugin logstash-input-sls. Gunakan plugin logstash-input-sls.

    Sinkronisasi data real-time

    Logstash menyinkronkan data dalam waktu nyaris real time. Logstash terus menulis ke tujuan selama pipeline aktif dan sumber berisi data.

    Menangani error "routing is missing"

    Dokumen anak memerlukan nilai routing karena dokumen induk dan anak harus berada di shard yang sama. Atur jumlah shard utama indeks tujuan menjadi 1 dan tambahkan routing =>"0" ke konfigurasi pipeline Anda.

    Pemecahan masalah pembaruan pipeline yang macet

    Periksa log utama kluster untuk mengidentifikasi penyebabnya (Kueri log). Penyebab dan solusi umum:

    Penyebab

    Solusi

    Konfigurasi pipeline salah.

    Jeda pembaruan. Setelah kluster dijeda, modifikasi konfigurasi pipeline dan restart kluster. Lihat detail progres tugas kluster.

    Penggunaan disk tinggi.

    Lakukan peningkatan kluster. Peningkatan kluster. Setelah peningkatan, refresh kluster dan periksa progres pembaruan.

    Auto Indexing tidak diaktifkan pada kluster Elasticsearch tujuan (output: elasticsearch).

    Aktifkan Auto Indexing pada kluster Elasticsearch. Konfigurasi parameter YML.Setelah operasi selesai, refresh kluster dan pantau progres perubahan.

    Port input Beats berada di luar rentang 8000–9000.

    Jeda pembaruan. Setelah kluster dijeda, ubah port dalam konfigurasi pipeline ke nilai dalam rentang 8000 hingga 9000, lalu restart kluster.

    Sumber atau tujuan menggunakan alamat IP publik.

    Gunakan salah satu solusi berikut:

    • Jeda pembaruan. Setelah kluster dijeda, ganti alamat IP publik dengan alamat IP pribadi dalam konfigurasi pipeline.

    • Konfigurasi gerbang NAT untuk akses Internet. Konfigurasi gerbang NAT untuk transmisi data melalui Internet. Setelah menerapkan konfigurasi, refresh kluster dan periksa progres pembaruan.

    Konfigurasi pipeline mencakup file_extend, tetapi plugin logstash-output-file_extend belum diinstal.

    Gunakan salah satu solusi berikut:

    • Instal plugin logstash-output-file_extend. Gunakan fitur debugging konfigurasi pipeline. Setelah instalasi, refresh kluster dan periksa progres pembaruan.

    • Jeda pembaruan. Setelah kluster dijeda, hapus konfigurasi file_extend dari pipeline, lalu restart kluster.

    Melakukan ping ke alamat IP pribadi

    Secara default, Anda tidak dapat melakukan ping ke alamat IP pribadi kluster Logstash. Gunakan telnet untuk menguji konektivitas jaringan sebagai gantinya.

    Konsistensi mapping untuk sinkronisasi data Elasticsearch

    Alibaba Cloud Elasticsearch menonaktifkan Auto Indexing secara default demi keamanan. Logstash membuat indeks dengan mengirimkan data secara langsung, bukan melalui Create index API. Sebelum mentransfer data, aktifkan Auto Indexing pada kluster tujuan atau buat terlebih dahulu indeks beserta mapping-nya.

    Dukungan untuk mode rubydebug

    Tidak. Gunakan plugin logstash-output-file_extend untuk mencetak log debug sebagai gantinya. Mode rubydebug dan sejenisnya memerlukan output stdout, yang tidak didukung oleh Alibaba Cloud Logstash.