Alibaba Cloud Logstash yapılandırma, izleme ve sorun giderme ile ilgili sık sorulan sorular.
Alibaba Cloud Logstash JDBC özelliği MySQL veritabanlarını destekliyor mu?
Logstash için HTTP giriş protokolünü yapılandırabilir miyim?
Simple Log Service'den Elasticsearch'e veri senkronize etmek için Logstash'i nasıl kullanırım?
Logstash verileri gerçek zamanlı olarak senkronize edebilir mi?
Bir işlem hattı oluşturduktan sonra süreç takılıyor ve küme güncellemesi ilerlemiyor. Ne yapmalıyım?
Bir Logstash kümesinin özel IP adresine ping atabilir miyim?
İnternet üzerinden veri aktarımı
Logstash kümeleri bir VPC içinde çalışır ve İnternet erişimi için bir NAT ağ geçidi gerektirir. İnternet üzerinden veri iletimi için NAT ağ geçidi yapılandırma.
Kendi yönetilen Kafka kümesiyle ilgili hatalar
Yaygın hatalar:
-
No entry found for connection
Neden: Logstash düğümü Kafka ana bilgisayar adını çözümleyemiyor.
Çözüm:
server.propertiesdosyasına aşağıdakileri ekleyin. 10.10.10.10:9092 adresindeki bir Kafka hizmeti için örnek:listeners=PLAINTEXT://10.10.10.10:9092 advertised.listeners=PLAINTEXT://10.10.10.10:9092Önemli10.10.10.10:9092değerini Kafka kümenizin adresi ve bağlantı noktasıyla değiştirin.Alibaba Cloud Kafka hizmetini kullanın ve Logstash düğüm IP adreslerinizi Kafka kümesi izin listesine ekleyin.
-
could not be established. Broker may not be available
Neden: Kafka hizmetine ulaşılamıyor veya hizmet mevcut değil.
Çözüm: Kafka hizmetinin çalıştığını ve işlem hattı yapılandırmasındaki
bootstrap_serversdeğerinin doğru olduğunu doğrulayın.
MySQL için JDBC desteği
Evet. Önce mysql-connector-java kitaplığını yükleyin. Üçüncü taraf kitaplıkları yapılandırma.
Düğüm izleme
Evet. Logstash kümenizi X-Pack aracılığıyla bir Elasticsearch kümesiyle ilişkilendirin, ardından Kibana'da düğümleri izleyin. X-Pack izlemeyi yapılandırma.
Komut dosyası dosyalarını yükleme
Hayır. Logstash verileri yalnızca işlem hattı yapılandırmaları aracılığıyla aktarır. İşlem hatlarını yapılandırma dosyaları kullanarak yönetme.
HTTP girişini yapılandırma
Evet. Logstash, HTTP veya HTTPS üzerinden tek satırlı ve çok satırlı olayları kabul eder. Http input plugin.
Logstash kümeleri varsayılan olarak İnternet'ten erişilebilir değildir. İnternet'ten HTTP istekleri toplamak için bir NAT ağ geçidi yapılandırın. İnternet üzerinden veri iletimi için NAT ağ geçidi yapılandırma.
Simple Log Service'den Elasticsearch'e veri senkronizasyonu
Günlük verilerini akışa almak için logstash-input-sls eklentisini yükleyip yapılandırın. logstash-input-sls eklentisini kullanma.
Gerçek zamanlı veri senkronizasyonu
Logstash verileri neredeyse gerçek zamanlı olarak senkronize eder. İşlem hattı etkin olduğu ve kaynakta veri bulunduğu sürece hedefe sürekli olarak yazar.
"routing is missing" hatasının ele alınması
Alt belgeler için bir yönlendirme değeri gerekir çünkü üst ve alt belgeler aynı parçada bulunmalıdır. Hedef dizin birincil parça sayısını 1 olarak ayarlayın ve işlem hattı yapılandırmanıza routing =>"0" ekleyin.
Takılan işlem hattı güncellemelerini giderme
Nedeni belirlemek için kümenin ana günlüklerini kontrol edin (Günlükleri sorgulama). Yaygın nedenler ve çözümler:
|
Neden |
Çözüm |
|
Hatalı işlem hattı yapılandırması. |
Güncellemeyi duraklatın. Küme duraklatıldıktan sonra, işlem hattı yapılandırmasını değiştirin ve kümeyi yeniden başlatın. Bir küme görevinin ilerleme ayrıntılarını görüntüleyin. |
|
Yüksek disk kullanımı. |
Kümeyi yükseltin. Küme yükseltme. Yükseltmeden sonra kümeyi yenileyin ve güncelleme ilerlemesini kontrol edin. |
|
Hedef Elasticsearch kümesinde (çıktı: elasticsearch) Otomatik Dizine Alma etkin değil. |
Elasticsearch kümesinde Otomatik Dizine Almayı etkinleştirin. YML parametrelerini yapılandırma.İşlemi tamamladıktan sonra kümeyi yenileyin ve değişikliğin ilerlemesini izleyin. |
|
Beats giriş bağlantı noktası 8000-9000 aralığının dışında. |
Güncellemeyi duraklatın. Küme duraklatıldıktan sonra, işlem hattı yapılandırmasındaki bağlantı noktasını 8000 ile 9000 aralığında bir değerle değiştirin ve kümeyi yeniden başlatın. |
|
Kaynak veya hedef genel bir IP adresi kullanıyor. |
Aşağıdaki çözümlerden birini kullanın:
|
|
İşlem hattı yapılandırması |
Aşağıdaki çözümlerden birini kullanın:
|
Özel IP adresine ping atma
Varsayılan olarak bir Logstash kümesinin özel IP adresine ping atamazsınız. Bunun yerine ağ bağlantısını test etmek için telnet kullanın.
Elasticsearch veri senkronizasyonu için eşleme tutarlılığı
Alibaba Cloud Elasticsearch, güvenlik nedeniyle varsayılan olarak Auto Indexing özelliğini devre dışı bırakır. Logstash dizinleri Create index API aracılığıyla değil, doğrudan veri göndererek oluşturduğundan, hedef kümede Auto Indexing özelliğini etkinleştirmeniz veya verileri aktarmadan önce dizini eşlemelerle önceden oluşturmanız gerekir.
rubydebug modu desteği
Hayır. Bunun yerine hata ayıklama günlüklerini yazdırmak için logstash-output-file_extend eklentisini kullanın. Rubydebug ve benzeri modlar stdout çıktısı gerektirir; bu da Alibaba Cloud Logstash tarafından desteklenmez.