Elasticsearch：FAQ tentang transfer data menggunakan Logstash

Item Pemeriksaan

Skenario Contoh untuk Masalah

Solusi yang Direkomendasikan

Periksa apakah kluster Logstash dan kluster Elasticsearch berada dalam lingkungan jaringan yang sama.

Sumber berada di Internet, sedangkan kluster Logstash berada di VPC.

Gunakan salah satu solusi berikut:

• Gunakan alat koneksi jaringan untuk menghubungkan kluster Logstash dengan sumber dan kluster Elasticsearch.

• Konfigurasikan gateway NAT untuk transmisi data melalui Internet. Untuk informasi lebih lanjut, lihat Konfigurasikan Gateway NAT untuk Transmisi Data Melalui Internet.

• Buat kluster Logstash dan Elasticsearch di VPC yang sama dan konfigurasikan pipeline Logstash.

Periksa apakah gateway NAT dikonfigurasi dengan benar.

• Alamat IP atau nomor port yang ditentukan untuk entri NAT salah.

• Jenis gateway NAT tidak sesuai untuk skenario tersebut.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Periksa alamat IP dan nomor port yang ditentukan untuk entri NAT untuk memastikan koneksi jaringan.

• Pilih jenis terjemahan alamat IP berdasarkan kebutuhan bisnis Anda:

  • Source Network Address Translation (SNAT): memungkinkan Logstash mengakses Internet.

  • Destination Network Address Translation (DNAT): memungkinkan layanan di Internet mentransfer data ke node dalam kluster Logstash.

Periksa apakah driver Java Database Connectivity (JDBC) yang diunggah valid.

Saat menggunakan driver JDBC untuk menyinkronkan data dari PolarDB, tidak ada kesalahan yang dilaporkan dalam log, tetapi data tidak dapat ditulis ke kluster Elasticsearch tujuan. Setelah menggunakan versi sebelumnya driver JDBC, data dapat ditulis.

Gunakan versi driver JDBC yang sesuai. Untuk informasi lebih lanjut, lihat Konfigurasikan Pustaka Pihak Ketiga.

Periksa apakah mekanisme daftar putih atau aturan grup keamanan untuk sumber membatasi akses ke kluster Logstash.

Filebeat digunakan untuk mengumpulkan data dari sumber ke kluster Logstash. Filebeat ditempatkan pada Instance ECS sisi klien, namun port Instance ECS tidak diaktifkan dalam grup keamanan.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Tambahkan alamat IP node dalam kluster Logstash ke daftar putih sumber.

  Catatan

  Untuk informasi lebih lanjut tentang cara mendapatkan alamat IP node dalam kluster Logstash, lihat Lihat Informasi Dasar Kluster.

• Aktifkan port Instance ECS untuk mengizinkan akses ke kluster Logstash. Untuk informasi lebih lanjut, lihat Tambahkan Aturan Grup Keamanan.

Periksa apakah pengguna RAM yang ditentukan dalam konfigurasi input dan output pipeline Logstash memiliki izin yang diperlukan.

• Anda menentukan pengguna RAM dalam konfigurasi output pipeline Logstash untuk akses ke kluster Elasticsearch, namun pengguna RAM tidak memiliki izin yang diperlukan pada indeks tujuan di kluster Elasticsearch.

• Kode kesalahan 401 dilaporkan dalam log kluster Logstash.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Berikan izin yang diperlukan kepada pengguna RAM. Untuk informasi lebih lanjut, lihat Berikan Izin kepada Pengguna RAM.

• Tentukan nama pengguna dan kata sandi yang valid untuk kluster Elasticsearch dan sumber. Kata sandi tidak boleh mengandung karakter khusus. Jika kata sandi mengandung karakter khusus, ubah kata sandi. Untuk informasi lebih lanjut, lihat Atur Ulang Kata Sandi Akses untuk Kluster Elasticsearch.

Item Pemeriksaan

Skema Contoh untuk Masalah

Solusi yang Direkomendasikan

Kueri log kluster Logstash dan periksa apakah ada kesalahan yang dilaporkan dalam log. Untuk informasi tentang cara menanyakan log kluster Logstash, lihat Kueri Log.

Plug-in yang diperlukan tidak diinstal untuk kluster Logstash. Sebagai contoh, jika log kluster berisi pesan kesalahan Couldn't find any output plugin named 'file_extend', plug-in logstash-output-file_extend tidak diinstal untuk kluster Logstash.

Gunakan salah satu solusi berikut:

• Instal plug-in untuk kluster Logstash.

• Hapus informasi konfigurasi plug-in dalam konfigurasi pipeline.

Informasi konfigurasi berisi karakter khusus tersembunyi.

Masukkan secara manual informasi konfigurasi.

Kode gagal difilter berdasarkan konfigurasi di bagian filter. Sebagai contoh, kode Ruby yang tidak valid gagal difilter berdasarkan konfigurasi di bagian filter.

Gunakan salah satu solusi berikut:

• Sederhanakan konfigurasi di bagian filter ke konfigurasi asli dan tambahkan konfigurasi secara bertahap ke bagian ini. Kemudian, temukan penyebab utama dan pecahkan masalah berdasarkan situasi aktual.

• Gunakan alat debugging pihak ketiga untuk men-debug konfigurasi di bagian filter.

Nama parameter atau nilai parameter yang Anda konfigurasikan dalam konfigurasi pipeline tidak valid. Sebagai contoh, Anda memasukkan nama parameter hosts sebagai host saat mengonfigurasi plug-in logstash-output-elasticsearch, atau Anda memasukkan nama instance RDS yang tidak valid.

Untuk informasi tentang cara mengonfigurasi pengaturan pipeline, lihat Dokumentasi Logstash Open Source atau Praktik Terbaik untuk Alibaba Cloud Logstash.

Koneksi habis waktu saat kluster Logstash terhubung ke sumber atau kluster Elasticsearch. Sebagai contoh, jika kluster Logstash tidak dapat terhubung ke kluster Elasticsearch untuk periode waktu yang lama, pesan kesalahan Elasticsearch Unreachable: [http://xxxx:9200/][Manticore::ConnectTimeout] connect timed out muncul.

Pastikan bahwa kluster Logstash dapat terhubung ke kluster Elasticsearch dan titik akhir sumber serta kluster Elasticsearch benar.

HTTPS diaktifkan untuk kluster Elasticsearch, tetapi Anda menentukan http saat mengonfigurasi pipeline Logstash.

Ubah konfigurasi pipeline untuk memastikan bahwa pipeline Logstash, sumber, dan kluster Elasticsearch menggunakan protokol yang sama.

Item Pemeriksaan

Skema Contoh untuk Masalah

Solusi yang Direkomendasikan

Periksa apakah penggunaan disk node terlalu tinggi. Untuk informasi lebih lanjut, lihat Ikhtisar Pemantauan Kluster.

• Dalam konfigurasi pipeline, parameter Queue Type disetel ke PERSISTED. Dalam hal ini, data disimpan secara permanen di disk. Akibatnya, ruang disk habis karena data bertambah.

• stdout{} dikonfigurasikan dalam konfigurasi di bagian output.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Setel parameter Queue Type ke MEMORY, yang merupakan tipe antrian default. Untuk informasi tentang cara mengubah tipe antrian, lihat Gunakan File Konfigurasi untuk Mengelola Pipeline.

  Penting

  Alibaba Cloud Logstash tidak menyediakan titik masuk bagi Anda untuk membersihkan disk. Jika ruang disk Anda habis, Anda harus menghubungi personel teknis Alibaba Cloud untuk membersihkan disk di backend.

• Hapus stdout{} dari bagian konfigurasi output pipeline.

  Penting

  Anda tidak dapat mengonfigurasi stdout{} di bagian konfigurasi output pipeline. Jika tidak, penggunaan disk mungkin terlalu tinggi.

Periksa apakah kesalahan out of memory (OOM) dilaporkan untuk penggunaan memori node. Untuk informasi lebih lanjut, lihat Ikhtisar Pemantauan Kluster.

Kesalahan OOM dilaporkan untuk penggunaan memori node. Akibatnya, node gagal memulai.

Mulai ulang node dalam kluster Elasticsearch.

Periksa apakah beban sumber atau kluster Elasticsearch normal.

Kluster Elasticsearch berada dalam kondisi tidak sehat. Akibatnya, data tidak dapat ditulis ke kluster.

Jeda operasi penulisan dan pulihkan kluster Elasticsearch ke kondisi normal. Kami merekomendasikan agar Anda melakukan penskalaan keluar kluster.

Item Pemeriksaan

Skema Contoh untuk Masalah

Solusi yang Direkomendasikan

Aktifkan fitur debugging konfigurasi pipeline untuk kluster Logstash dan lihat log debug kluster untuk memeriksa apakah data ditransfer ke kluster Logstash. Untuk mengaktifkan fitur debugging konfigurasi pipeline, Anda harus menginstal plug-in logstash-outputfile_extend untuk kluster Logstash. Untuk informasi tentang cara menggunakan fitur debugging konfigurasi pipeline, lihat Gunakan Fitur Debugging Konfigurasi Pipeline.

• Jika tidak ada data yang ditransfer ke kluster Logstash, periksa apakah informasi konfigurasi sumber valid.

• Jika data ditransfer ke kluster Logstash, periksa apakah informasi konfigurasi kluster Elasticsearch valid.

Jika tidak ada data yang ditransfer ke kluster Logstash, situasi berikut mungkin terjadi:

• Informasi konfigurasi sumber berisi pasangan AccessKey akun Alibaba Cloud, tetapi pasangan AccessKey tidak valid.

• Tidak ada data yang ditulis ke sumber secara real-time. Sebagai contoh, Filebeat digunakan untuk mengumpulkan data dari file sumber secara real-time, tetapi tidak ada data yang disimpan ke file secara real-time. Dalam hal ini, Filebeat tidak dapat mengumpulkan data real-time dari sumber atau mentransfer data ke kluster Logstash.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Periksa informasi konfigurasi sumber dan modifikasi informasi yang tidak valid.

• Jika plug-in data streaming real-time diinstal untuk kluster Logstash, pastikan bahwa data ditulis ke sumber secara real-time.

Jika data ditransfer ke kluster Logstash, situasi berikut mungkin terjadi:

• Fitur Auto Indexing dinonaktifkan untuk kluster Elasticsearch.

• Operasi penulisan tidak diizinkan untuk kluster Elasticsearch. Sebagai contoh, data tidak diizinkan untuk ditulis ke indeks tujuan kluster Elasticsearch.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Aktifkan fitur Auto Indexing untuk kluster Elasticsearch.

• Pastikan bahwa operasi penulisan diizinkan untuk kluster Elasticsearch.

Item Pemeriksaan

Skema Contoh untuk Masalah

Solusi yang Direkomendasikan

Lakukan operasi berikut berdasarkan skenario konfigurasi pipeline dan atribut plug-in pipeline:

• Periksa apakah pernyataan query JDBC yang Anda gunakan benar.

• Jika plug-in logstash-input-elasticsearch digunakan, periksa apakah plug-in menulis data ke sumber secara real-time.

Jika Anda menggunakan JDBC, situasi berikut mungkin terjadi:

• Hasil pengembalian tidak berisi data.

• Data bidang pengenal, seperti bidang waktu dan ID, bukan data inkremental.

• Zona waktu driver JDBC berbeda dengan zona waktu kluster Elasticsearch.

Gunakan salah satu solusi berikut berdasarkan kebutuhan bisnis Anda:

• Debug pernyataan query di sumber.

• Periksa apakah tipe data bidang pengenal sama dengan tipe data yang direkomendasikan oleh Elasticsearch open source. Kami merekomendasikan agar Anda menggunakan tipe numeric atau timestamp.

• Periksa apakah zona waktu driver JDBC sama dengan zona waktu kluster Elasticsearch. Jika zona waktu berbeda, modifikasi konfigurasi terkait berdasarkan hasil pemeriksaan.

Jika Anda menggunakan plug-in logstash-input-elasticsearch, situasi berikut mungkin terjadi:

• Data ditulis ke sumber secara real-time.

• Anda menentukan interval query pendek dalam konfigurasi pipeline. Dalam hal ini, data ditulis ke kluster Elasticsearch dalam interval pendek, dan sejumlah besar data ditulis ke kluster Elasticsearch. Akibatnya, data menumpuk di kluster Elasticsearch.

Logstash tidak cocok untuk sinkronisasi data real-time. Jika data ditulis ke sumber secara real-time, kami merekomendasikan agar Anda menentukan interval query panjang. Ini dapat mencegah query sering di sumber dan operasi penulisan sering di kluster Elasticsearch.

Lihat log lambat kluster Logstash untuk memeriksa apakah data ditulis ke kluster Elasticsearch dengan kecepatan rendah. Untuk informasi tentang cara melihat log lambat, lihat Kueri Log.

Beban pada sumber dan kluster Elasticsearch belum mencapai hambatan. Namun, nilai default dipertahankan untuk parameter Pipeline Workers. Akibatnya, data ditulis ke kluster Elasticsearch tujuan dengan kecepatan rendah.

Setel parameter Pipeline Batch Size dan Pipeline Workers ke nilai yang lebih besar. Untuk informasi lebih lanjut, lihat Gunakan File Konfigurasi untuk Mengelola Pipeline.