Konfigurasi umum dan troubleshooting FAQ Logstash - Elasticsearch

Pertanyaan umum mengenai Alibaba Cloud Logstash, mencakup jaringan, pipeline, plug-in, dan troubleshooting.

Bagaimana cara mengakses Logstash melalui Internet?

Kluster Logstash berjalan di dalam virtual private cloud (VPC) dan tidak memiliki akses langsung ke Internet. Untuk mengimpor atau mengekspor data melalui Internet, konfigurasikan NAT gateway untuk kluster tersebut. Lihat Konfigurasikan NAT gateway untuk transmisi data melalui Internet.

Bagaimana cara memperbaiki error pipeline Kafka?

Dua error umum muncul ketika cluster Kafka yang dikelola sendiri digunakan sebagai sumber atau tujuan pipeline Logstash.

"No entry found for connection"

Node Logstash tidak dapat menyelesaikan hostname Kafka. Tambahkan baris berikut ke tab server.properties, ganti alamat IP dan port dengan nilai cluster Kafka Anda:
```
listeners=PLAINTEXT://10.10.10.10:9092
advertised.listeners=PLAINTEXT://10.10.10.10:9092
```
Penting
- Pastikan alamat IP node Logstash Anda berada dalam daftar putih cluster Kafka Anda.
- Kami merekomendasikan penggunaan ApsaraMQ for Kafka.
"could not be established. Broker may not be available"

Cluster Kafka tidak tersedia atau tidak dapat dihubungkan. Verifikasi bahwa cluster sedang berjalan dan nilai bootstrap_servers dalam konfigurasi pipeline Anda mengarah ke alamat dan port yang benar.

Apakah driver JDBC Logstash mendukung MySQL?

Ya. Unggah file driver mysql-connector-java terlebih dahulu. Lihat Konfigurasikan library pihak ketiga.

Bagaimana cara memantau node Logstash?

Aktifkan X-Pack Monitoring pada kluster Logstash Anda dan kaitkan dengan kluster Elasticsearch. Pantau node Logstash Anda dari Konsol Kibana kluster Elasticsearch yang terkait. Lihat Aktifkan fitur X-Pack Monitoring.

Apakah saya dapat mengunggah file skrip?

Tidak. Gunakan file konfigurasi Logstash untuk mengelola pipeline dan transmisi data. Lihat Gunakan file konfigurasi untuk mengelola pipeline.

Apakah saya dapat menggunakan HTTP sebagai protokol pengumpulan data?

Ya. Logstash menerima event satu baris dan multi-baris melalui HTTP atau HTTPS menggunakan Http input plugin.

Catatan

Alibaba Cloud Logstash tidak dapat terhubung ke Internet secara default. Untuk mengumpulkan permintaan HTTP dari Internet, konfigurasikan NAT gateway terlebih dahulu. Lihat Konfigurasikan NAT gateway untuk transmisi data melalui Internet.

Bagaimana cara menyinkronkan data dari Simple Log Service ke Elasticsearch?

Gunakan plug-in logstash-input-sls. Lihat Gunakan plug-in logstash-input-sls.

Apakah Logstash menyinkronkan data secara real time?

Logstash adalah alat sinkronisasi near-real-time. Alat ini terus-menerus menulis data ke tujuan hingga pipeline dihentikan atau sumber tidak memiliki data baru.

Bagaimana cara memperbaiki error `"[routing] is missing for join field [joinField]"`?

Menyinkronkan data yang berisi dokumen anak memerlukan nilai routing agar dokumen induk dan anak berada di shard yang sama. Tetapkan jumlah primary shard untuk indeks tujuan menjadi 1 dan tambahkan routing => "0" ke konfigurasi pipeline.

Pipeline saya macet dan pembaruan kluster tidak menunjukkan kemajuan. Apa yang harus saya lakukan?

Periksa log error kluster terlebih dahulu. Lihat Kueri log. Tabel berikut mencantumkan penyebab umum dan solusinya.

Penyebab	Solusi
Konfigurasi pipeline salah	Jeda pembaruan kluster, tunggu hingga proses berhenti, lalu perbaiki konfigurasi pipeline untuk memicu restart. Lihat Lihat progres tugas kluster.
Penggunaan disk tinggi	Tingkatkan konfigurasi kluster. Lihat Tingkatkan konfigurasi kluster. Kemudian refresh halaman detail kluster dan periksa progres pembaruan.
Auto Indexing dinonaktifkan pada kluster Elasticsearch output	Aktifkan Auto Indexing. Lihat Konfigurasikan file YML. Kemudian refresh halaman detail kluster dan periksa progres pembaruan.
Port Beats berada di luar rentang 8000–9000	Jeda pembaruan kluster, tunggu hingga proses berhenti, lalu ubah port ke nilai antara 8000 dan 9000 untuk memicu restart.
Alamat IP publik digunakan dalam konfigurasi pipeline	Ubah alamat IP publik menjadi alamat IP pribadi, atau konfigurasikan NAT gateway. Lihat Konfigurasikan NAT gateway untuk transmisi data melalui Internet. Kemudian refresh halaman detail kluster dan periksa progres pembaruan.
`file_extend` ditentukan tetapi plug-in logstash-output-file_extend tidak diinstal	Instal plug-in tersebut (lihat Gunakan fitur debugging konfigurasi pipeline), atau jeda pembaruan kluster dan hapus `file_extend` dari konfigurasi pipeline untuk memicu restart.

Apakah saya dapat melakukan ping ke alamat IP pribadi kluster Logstash?

Tidak. Alamat IP pribadi tidak merespons ping secara default. Gunakan telnet untuk menguji konektivitas sebagai gantinya.

Bagaimana cara menjaga konsistensi mapping saat menyinkronkan antara dua kluster Elasticsearch?

Alibaba Cloud Elasticsearch menonaktifkan Auto Indexing secara default demi keamanan. Logstash membuat indeks di kluster tujuan dengan mengirimkan data, bukan dengan memanggil create index API. Sebelum mentransfer data, aktifkan Auto Indexing pada kluster tujuan atau buat indeks target secara manual dengan mapping yang benar.

Apakah Alibaba Cloud Logstash mendukung rubydebug?

Tidak. Gunakan plug-in logstash-output-file_extend untuk mencetak log debug sebagai gantinya. Mode stdout tidak disarankan dan tidak tersedia API terkait.