Elasticsearch:Logstash kullanarak veri aktarımı hakkında SSS

Kontrol öğesi

Sorun için örnek senaryo

Önerilen çözüm

Logstash kümenizin, hedef Elasticsearch kümesi ve kaynak ile aynı ağ ortamında olup olmadığını kontrol edin.

Kaynak İnternet üzerinde bulunurken Logstash kümesi bir VPC içinde yer alır.

Aşağıdaki çözümlerden birini kullanın:

• Logstash kümesini kaynağa ve Elasticsearch kümesine bağlamak için bir ağ bağlantı aracı kullanın.

• Verileri İnternet üzerinden iletmek için bir NAT ağ geçidi yapılandırın. Daha fazla bilgi için bkz. İnternet üzerinden veri iletimi için NAT ağ geçidi yapılandırma.

• Aynı VPC'de bulunan bir Logstash kümesi ve bir Elasticsearch kümesi oluşturun ve bir Logstash işlem hattı yapılandırın.

NAT ağ geçidinin doğru şekilde yapılandırılıp yapılandırılmadığını kontrol edin.

• Bir NAT girişi için belirtilen IP adresi veya bağlantı noktası numarası yanlış.

• NAT ağ geçidi türü senaryo için uygun değil.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Ağ bağlantısını sağlamak için NAT girişi için belirtilen IP adresini ve bağlantı noktası numarasını kontrol edin.

• İş gereksinimlerinize göre bir IP adresi çeviri türü seçin:

  • Kaynak Ağ Adresi Çevirisi (SNAT): Logstash'in İnternet'e erişmesine olanak tanır.

  • Hedef Ağ Adresi Çevirisi (DNAT): İnternet'teki hizmetlerin bir Logstash kümesindeki düğümlere veri aktarmasına olanak tanır.

Yüklenen Java Database Connectivity (JDBC) sürücüsünün geçerli olup olmadığını kontrol edin.

PolarDB'den veri eşitlemek için bir JDBC sürücüsü kullanıldığında günlükte hata bildirilmez ancak veriler hedef Elasticsearch kümesine yazılamaz. Daha eski bir sürümdeki bir JDBC sürücüsü kullanıldığında veriler yazılabilir.

Uygun bir sürümdeki JDBC sürücüsü kullanın. Daha fazla bilgi için bkz. Üçüncü taraf kitaplıkları yapılandırma.

Kaynak için izin listesi mekanizmasının veya güvenlik grubu kurallarının Logstash kümesine erişimi sınırlayıp sınırlamadığını kontrol edin.

Filebeat, verileri kaynaktan Logstash kümesine toplamak için kullanılır. Filebeat, istemci tarafındaki ECS örneklerine dağıtılır. Ancak, bir güvenlik grubunda ECS örneklerinin bağlantı noktaları etkinleştirilmemiştir.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Logstash kümesindeki düğümlerin IP adreslerini kaynağın izin listesine ekleyin.

  Not

  Bir Logstash kümesindeki düğümlerin IP adreslerinin nasıl alınacağı hakkında daha fazla bilgi için bkz. Kümenin temel bilgilerini görüntüleme.

• Logstash kümesine erişime izin vermek için bir ECS örneğinin bağlantı noktasını etkinleştirin. Daha fazla bilgi için bkz. Güvenlik grubu kuralı ekleme.

Logstash işlem hattının giriş ve çıkış yapılandırmalarında belirtilen RAM kullanıcılarının gerekli izinlere sahip olup olmadığını kontrol edin.

• Elasticsearch kümesine erişim için bir Logstash işlem hattının çıkış yapılandırmalarında bir RAM kullanıcısı belirtirsiniz. Ancak, RAM kullanıcısının Elasticsearch kümesindeki hedef dizinde gerekli izinleri yoktur.

• Logstash kümesinin küme günlüklerinde 401 hata kodu bildirilir.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• RAM kullanıcılarına gerekli izinleri verin. Daha fazla bilgi için bkz. RAM kullanıcısına izin verme.

• Elasticsearch kümesi ve kaynak için geçerli kullanıcı adları ve parolalar belirtin. Parolalar özel karakterler içeremez. Bir parola özel karakterler içeriyorsa parolayı değiştirin. Daha fazla bilgi için bkz. Elasticsearch kümesi için erişim parolasını sıfırlama.

Kontrol öğesi

Sorun için örnek senaryo

Önerilen çözüm

Logstash kümesinin küme günlüklerini sorgulayın ve günlüklerde hata bildirilip bildirilmediğini kontrol edin. Bir Logstash kümesinin küme günlüklerinin nasıl sorgulanacağı hakkında bilgi için bkz. Günlükleri sorgulama.

Logstash kümesi için gerekli bir eklenti yüklü değildir. Örneğin, küme günlükleri Couldn't find any output plugin named 'file_extend' hata iletisini içeriyorsa logstash-output-file_extend eklentisi Logstash kümesi için yüklü değildir.

Aşağıdaki çözümlerden birini kullanın:

• Logstash kümesi için eklentiyi yükleyin.

• İşlem hattı yapılandırmalarındaki eklentinin yapılandırma bilgilerini silin.

Yapılandırma bilgileri gizli özel karakterler içeriyor.

Yapılandırma bilgilerini manuel olarak girin.

Filtre bölümündeki yapılandırmalara göre kod filtrelenemiyor. Örneğin, filtre bölümündeki yapılandırmalara göre geçersiz Ruby kodu filtrelenemiyor.

Aşağıdaki çözümlerden birini kullanın:

• Filtre bölümündeki yapılandırmaları orijinal yapılandırmalara kadar basitleştirin ve bu bölüme yapılandırmaları kademeli olarak ekleyin. Ardından, gerçek durumlara göre kök nedeni bulun ve sorunu giderin.

• Filtre bölümündeki yapılandırmalarda hata ayıklamak için üçüncü taraf bir hata ayıklama aracı kullanın.

İşlem hattı yapılandırmalarında yapılandırdığınız parametre adları veya parametre değerleri geçersiz. Örneğin, logstash-output-elasticsearch eklentisini yapılandırırken hosts parametre adını host olarak girersiniz veya geçersiz bir RDS örnek adı girersiniz.

İşlem hattı ayarlarının nasıl yapılandırılacağı hakkında bilgi için bkz. açık kaynaklı Logstash belgeleri veya Alibaba Cloud Logstash için en iyi uygulamalar.

Logstash kümesi kaynağa veya Elasticsearch kümesine bağlanırken bağlantı zaman aşımına uğruyor. Örneğin, Logstash kümesi uzun bir süre boyunca Elasticsearch kümesine bağlanamazsa Elasticsearch Unreachable: [http://xxxx:9200/][Manticore::ConnectTimeout] connect timed out hata iletisi görünür.

Logstash kümesinin Elasticsearch kümesine bağlanabildiğinden ve kaynak ile Elasticsearch kümesinin uç noktalarının doğru olduğundan emin olun.

Elasticsearch kümesi için HTTPS etkinleştirilmiş ancak Logstash işlem hattını yapılandırırken http belirtmişsiniz.

Logstash işlem hattının, kaynağın ve Elasticsearch kümesinin aynı protokolü kullandığından emin olmak için işlem hattının yapılandırmalarını değiştirin.

Kontrol öğesi

Sorun için örnek senaryo

Önerilen çözüm

Düğümlerin disk kullanımının aşırı yüksek olup olmadığını kontrol edin. Daha fazla bilgi için bkz. Küme izlemeye genel bakış.

• İşlem hattı yapılandırmalarında Kuyruk Türü parametresi PERSISTED olarak ayarlanmıştır. Bu durumda, veriler bir diskte kalıcı olarak depolanır. Sonuç olarak, veriler arttıkça disk alanı tükenir.

• stdout{}, çıkış bölümündeki yapılandırmalarda yapılandırılmıştır.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Kuyruk Türü parametresini varsayılan kuyruk türü olan MEMORY olarak ayarlayın. Kuyruk türünü değiştirmek için bkz. İşlem hatlarını yönetmek için yapılandırma dosyaları kullanma.

  Önemli

  Alibaba Cloud Logstash, bir diski temizlemeniz için bir giriş noktası sağlamaz. Disk alanınız tükenirse diski arka uçta temizlemek için Alibaba Cloud teknik personeliyle iletişime geçmeniz gerekir.

• İşlem hattının çıkış yapılandırma bölümünden stdout{} öğesini silin.

  Önemli

  Bir işlem hattının çıkış yapılandırma bölümünde stdout{} yapılandıramazsınız. Aksi takdirde disk kullanımı aşırı yüksek olabilir.

Düğümlerin bellek kullanımı için bellek yetersizliği (OOM) hatası bildirilip bildirilmediğini kontrol edin. Daha fazla bilgi için bkz. Küme izlemeye genel bakış.

Düğümlerin bellek kullanımı için OOM hatası bildirilir. Sonuç olarak, düğümler başlatılamaz.

Elasticsearch kümesindeki düğümleri yeniden başlatın.

Kaynağın veya Elasticsearch kümesinin yükünün normal olup olmadığını kontrol edin.

Elasticsearch kümesi sağlıklı olmayan bir durumda. Sonuç olarak, verilere küme yazılamıyor.

Yazma işlemini duraklatın ve Elasticsearch kümesini normal bir duruma getirin. Kümeyi yatay olarak ölçeklendirmenizi öneririz.

Kontrol öğesi

Sorun için örnek senaryo

Önerilen çözüm

Logstash kümesi için işlem hattı yapılandırması hata ayıklama özelliğini etkinleştirin ve verilerin Logstash kümesine aktarıldığını kontrol etmek için kümenin hata ayıklama günlüklerini görüntüleyin. İşlem hattı yapılandırması hata ayıklama özelliğini etkinleştirmek için Logstash kümesi için logstash-output-file_extend eklentisini yüklemeniz gerekir. İşlem hattı yapılandırması hata ayıklama özelliğinin nasıl kullanılacağı hakkında bilgi için bkz. İşlem hattı yapılandırması hata ayıklama özelliğini kullanma.

• Logstash kümesine veri aktarılmıyorsa kaynağın yapılandırma bilgilerinin geçerli olup olmadığını kontrol edin.

• Logstash kümesine veri aktarılıyorsa Elasticsearch kümesinin yapılandırma bilgilerinin geçerli olup olmadığını kontrol edin.

Logstash kümesine veri aktarılmıyorsa aşağıdaki durumlar meydana gelebilir:

• Kaynağın yapılandırma bilgileri bir Alibaba Cloud hesabının AccessKey çiftini içeriyor ancak AccessKey çifti geçersiz.

• Kaynağa gerçek zamanlı olarak veri yazılmıyor. Örneğin, Filebeat kaynağın bir dosyasından gerçek zamanlı olarak veri toplamak için kullanılıyor ancak dosyaya gerçek zamanlı olarak veri depolanmıyor. Bu durumda, Filebeat kaynaktan gerçek zamanlı verileri toplayamaz veya verileri Logstash kümesine aktaramaz.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Kaynağın yapılandırma bilgilerini kontrol edin ve geçersiz bilgileri değiştirin.

• Logstash kümesi için gerçek zamanlı akış veri eklentisi yüklendiyse verilerin kaynağa gerçek zamanlı olarak yazıldığından emin olun.

Logstash kümesine veri aktarılıyorsa aşağıdaki durumlar meydana gelebilir:

• Elasticsearch kümesi için Otomatik Dizin Oluşturma özelliği devre dışı bırakılmış.

• Elasticsearch kümesi için yazma işlemine izin verilmiyor. Örneğin, Elasticsearch kümesinin hedef dizinine veri yazılmasına izin verilmiyor.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Elasticsearch kümesi için Otomatik Dizin Oluşturma özelliğini etkinleştirin.

• Elasticsearch kümesi için yazma işleminin izin verildiğinden emin olun.

Kontrol öğesi

Sorun için örnek senaryo

Önerilen çözüm

İşlem hattı yapılandırması senaryosuna ve işlem hattı eklentilerinin niteliklerine göre aşağıdaki işlemleri gerçekleştirin:

• Kullandığınız JDBC sorgu ifadesinin doğru olup olmadığını kontrol edin.

• logstash-input-elasticsearch eklentisi kullanılıyorsa eklentinin kaynağa gerçek zamanlı olarak veri yazıp yazmadığını kontrol edin.

JDBC kullanıyorsanız aşağıdaki durumlar meydana gelebilir:

• Dönüş sonucu veri içermiyor.

• Zaman alanı ve ID gibi tanımlayıcı alanların verileri artımlı veri değil.

• JDBC sürücüsünün saat dilimi, Elasticsearch kümesinin saat diliminden farklı.

İş gereksinimlerinize göre aşağıdaki çözümlerden birini kullanın:

• Sorgu ifadesinde kaynağında hata ayıklayın.

• Tanımlayıcı alanların veri türlerinin açık kaynaklı Elasticsearch tarafından önerilen veri türleriyle aynı olup olmadığını kontrol edin. numeric veya timestamp türünü kullanmanızı öneririz.

• JDBC sürücüsünün saat diliminin Elasticsearch kümesinin saat dilimiyle aynı olup olmadığını kontrol edin. Saat dilimleri farklıysa kontrol sonucuna göre ilgili yapılandırmaları değiştirin.

logstash-input-elasticsearch eklentisini kullanıyorsanız aşağıdaki durumlar meydana gelebilir:

• Veriler kaynağa gerçek zamanlı olarak yazılıyor.

• İşlem hattı yapılandırmalarında kısa bir sorgu aralığı belirttiniz. Bu durumda, veriler Elasticsearch kümesine kısa aralıklarla yazılır ve büyük miktarda veri Elasticsearch kümesine yazılır. Sonuç olarak, veriler Elasticsearch kümesinde yığılır.

Logstash, gerçek zamanlı veri eşitleme için uygun değildir. Veriler kaynağa gerçek zamanlı olarak yazılıyorsa uzun bir sorgu aralığı belirtmenizi öneririz. Bu, kaynaktaki sık sorgulamaları ve Elasticsearch kümesindeki sık yazma işlemlerini önleyebilir.

Verilerin Elasticsearch kümesine düşük hızda yazılıp yazılmadığını kontrol etmek için Logstash kümesinin yavaş günlüklerini görüntüleyin. Yavaş günlüklerin nasıl görüntüleneceği hakkında bilgi için bkz. Günlükleri sorgulama.

Kaynak ve Elasticsearch kümesindeki yükler darboğazlarla karşılaşmamış. Ancak, İşlem Hattı Çalışanları parametresi için varsayılan değer korunuyor. Sonuç olarak, veriler hedef Elasticsearch kümesine düşük hızda yazılıyor.

İşlem Hattı Toplu İş Boyutu ve İşlem Hattı Çalışanları parametrelerini daha büyük değerlere ayarlayın. Daha fazla bilgi için bkz. İşlem hatlarını yönetmek için yapılandırma dosyaları kullanma.