全部产品
Search

搜索本产品

    Elasticsearch：FAQ Logstash

    文档中心

    Elasticsearch：FAQ Logstash

    更新时间：Jul 02, 2025

    Berikut adalah jawaban atas beberapa pertanyaan umum tentang Alibaba Cloud Logstash.

    Bagaimana cara mengimpor atau mengekspor data ke Logstash melalui Internet?

    Cluster Logstash diterapkan dalam virtual private cloud (VPC). Anda harus mengonfigurasi gateway NAT untuk menghubungkan cluster Logstash ke Internet. Untuk informasi lebih lanjut, lihat Konfigurasikan gateway NAT untuk transmisi data melalui Internet.

    Sebuah log kesalahan dihasilkan ketika kluster Kafka yang dikelola sendiri digunakan sebagai sumber atau tujuan dari pipeline Logstash. Apa yang harus saya lakukan?

    Log kesalahan:

    • Tidak ada entri yang ditemukan untuk koneksi

      Penyebab: Node Logstash tidak dapat menyelesaikan alamat IP yang sesuai dengan nama host layanan Kafka.

      Solusi: Tambahkan konfigurasi berikut pada tab server.properties. Sebagai contoh, layanan Kafka berjalan di port 9092 server dengan alamat IP 10.10.10.10.

      listeners=PLAINTEXT://10.10.10.10:9092
advertised.listeners=PLAINTEXT://10.10.10.10:9092
      Penting

      • Saat menambahkan konfigurasi di atas, Anda harus mengganti 10.10.10.10:9092 dengan alamat IP dan nomor port kluster Kafka Anda.

      • Kami merekomendasikan Anda menggunakan ApsaraMQ for Kafka. Pastikan alamat IP node Logstash Anda berada dalam daftar putih kluster Kafka Anda.

    • Log kesalahan: tidak dapat dibuat. Broker mungkin tidak tersedia

      Penyebab: Kluster Kafka tidak ada atau tidak dapat dihubungi.

      Solusi: Periksa apakah kluster Kafka berjalan dengan baik atau apakah pengaturan bootstrap_servers benar dalam konfigurasi pipeline Logstash Anda.

    Apakah driver JDBC Logstash mendukung database MySQL?

    Ya, driver JDBC Logstash mendukung database MySQL. Pastikan file driver mysql-connector-java telah diunggah. Untuk informasi lebih lanjut, lihat Konfigurasikan pustaka pihak ketiga.

    Apakah node Logstash dapat dipantau?

    Ya, node Logstash dapat dipantau. Anda dapat mengaktifkan fitur X-Pack Monitoring untuk cluster Logstash Anda dan mengaitkannya dengan cluster Elasticsearch. Kemudian, Anda dapat memantau node dalam cluster Logstash Anda di konsol Kibana cluster Elasticsearch. Untuk informasi lebih lanjut, lihat Aktifkan fitur X-Pack Monitoring.

    Apakah saya dapat mengunggah file skrip ke Logstash?

    Tidak, Anda tidak dapat mengunggah file skrip ke Logstash. Anda hanya dapat menggunakan file konfigurasi cluster Logstash Anda untuk mengelola pipeline dan menerapkan transmisi data. Untuk informasi lebih lanjut, lihat Gunakan file konfigurasi untuk mengelola pipeline.

    Apakah saya dapat menentukan HTTP sebagai protokol pengumpulan data untuk Logstash?

    Ya, Anda dapat menentukan HTTP sebagai protokol pengumpulan data untuk Logstash. Logstash dapat menerima peristiwa satu baris atau multi-baris melalui HTTP atau HTTPS. Untuk informasi lebih lanjut, lihat Plugin input HTTP.

    Catatan

    Secara default, Alibaba Cloud Logstash tidak dapat terhubung ke Internet. Jika Anda ingin mengumpulkan permintaan HTTP melalui Internet, Anda harus mengonfigurasi gateway NAT. Untuk informasi lebih lanjut, lihat Konfigurasikan gateway NAT untuk transmisi data melalui Internet.

    Bagaimana cara menggunakan Logstash untuk menyinkronkan data dari Layanan Log Sederhana ke Elasticsearch?

    Anda dapat menggunakan plugin logstash-input-sls. Untuk informasi lebih lanjut, lihat Gunakan plugin logstash-input-sls.

    Apakah saya dapat menggunakan Logstash untuk menyinkronkan data secara real-time?

    Logstash adalah alat sinkronisasi data hampir real-time. Logstash akan terus menulis data ke tujuan kecuali Anda menghentikan pipeline terkait atau sumber tidak memiliki data yang perlu disinkronkan.

    Apa yang harus saya lakukan jika pesan kesalahan "[routing] tidak ditemukan untuk field join [joinField]" muncul saat saya menggunakan Logstash untuk menyinkronkan data?

    Jika Anda ingin menggunakan Logstash untuk menyinkronkan data yang berisi dokumen anak ke Elasticsearch, Anda harus menentukan nilai routing untuk data tersebut. Hal ini memastikan bahwa dokumen induk dan anak ditulis ke shard yang sama. Kami merekomendasikan Anda mengatur jumlah shard utama untuk indeks tujuan menjadi 1 dan menambahkan pengaturan routing =>"0" ke konfigurasi pipeline.

    Setelah saya membuat pipeline, prosesnya macet, dan kemajuan pembaruan cluster Logstash saya tetap tidak berubah. Apa yang harus saya lakukan?

    Periksa apakah log kesalahan untuk cluster dihasilkan, dan identifikasi penyebabnya berdasarkan log kesalahan jika ada. Untuk informasi lebih lanjut, lihat Kueri log. Tabel berikut menjelaskan penyebab umum kesalahan dan solusi untuk kesalahan tersebut.

    Penyebab

    Solusi

    Pipeline dikonfigurasi dengan salah.

    Jeda pembaruan cluster Logstash, tunggu hingga pembaruan dijeda, lalu modifikasi konfigurasi pipeline untuk memicu restart cluster. Untuk informasi lebih lanjut, lihat Lihat kemajuan tugas cluster.

    Penggunaan disk cluster Logstash terlalu tinggi.

    Tingkatkan konfigurasi cluster Logstash. Untuk informasi lebih lanjut, lihat Tingkatkan konfigurasi cluster. Kemudian, segarkan halaman detail cluster dan periksa kemajuan pembaruan.

    Output pipeline adalah cluster Elasticsearch, tetapi fitur Auto Indexing tidak diaktifkan untuk cluster Elasticsearch.

    Aktifkan fitur Auto Indexing untuk cluster Elasticsearch. Untuk informasi lebih lanjut, lihat Konfigurasikan file YML. Kemudian, segarkan halaman detail cluster dan periksa kemajuan pembaruan.

    Shipper Beats ditentukan dalam konfigurasi input pipeline, tetapi port yang digunakan berada di luar rentang 8000 hingga 9000.

    Jeda pembaruan cluster Logstash, tunggu hingga pembaruan dijeda, lalu ubah nomor port dalam konfigurasi pipeline menjadi nilai yang berkisar antara 8000 hingga 9000 untuk memicu restart cluster.

    Alamat IP publik sumber atau tujuan ditentukan dalam konfigurasi pipeline.

    Gunakan salah satu solusi berikut:

    • Jeda pembaruan cluster Logstash, tunggu hingga pembaruan dijeda, lalu ubah alamat IP publik menjadi alamat IP pribadi sumber atau tujuan.

    • Konfigurasikan gateway NAT untuk menerapkan transmisi data melalui Internet. Untuk informasi lebih lanjut, lihat Konfigurasikan gateway NAT untuk transmisi data melalui Internet. Kemudian, segarkan halaman detail cluster dan periksa kemajuan pembaruan.

    file_extend ditentukan dalam konfigurasi pipeline. Namun, plugin logstash-output-file_extend belum diinstal.

    Gunakan salah satu solusi berikut:

    • Instal plugin logstash-output-file_extend. Untuk informasi lebih lanjut, lihat Gunakan fitur debugging konfigurasi pipeline. Kemudian, segarkan halaman detail cluster dan periksa kemajuan pembaruan.

    • Jeda pembaruan cluster Logstash, tunggu hingga pembaruan dijeda, lalu hapus file_extend dari konfigurasi pipeline untuk memicu restart cluster.

    Apakah alamat IP pribadi cluster Logstash dapat di-ping?

    Secara default, alamat IP pribadi cluster Logstash tidak dapat di-ping. Anda dapat menjalankan perintah telnet untuk menguji konektivitas jaringan ke alamat IP pribadi cluster Logstash.

    Bagaimana cara memastikan bahwa konfigurasi pemetaan dua cluster Elasticsearch sama ketika saya menggunakan Logstash untuk menyinkronkan data antara cluster Elasticsearch tersebut?

    Untuk memastikan keamanan data, Alibaba Cloud Elasticsearch menonaktifkan fitur Auto Indexing secara default. Saat menggunakan Alibaba Cloud Logstash untuk mentransfer data ke cluster Alibaba Cloud Elasticsearch, Logstash membuat indeks di cluster Elasticsearch dengan mengirimkan data, bukan dengan memanggil create index API. Oleh karena itu, sebelum menggunakan Alibaba Cloud Logstash untuk mentransfer data, Anda harus mengaktifkan fitur Auto Indexing untuk cluster Elasticsearch tujuan, atau membuat indeks di cluster Elasticsearch tujuan dan mengonfigurasi pemetaan untuk indeks tersebut.

    Apakah Alibaba Cloud Logstash mendukung mode rubydebug?

    Tidak, Alibaba Cloud Logstash tidak mendukung mode rubydebug. Sebagai gantinya, Alibaba Cloud Logstash menyediakan plugin logstash-output-file_extend untuk mencetak log debug. Mode stdout tidak direkomendasikan dan API terkait tidak tersedia.