Elasticsearch:Logstash işlem hattı yapılandırmalarını hata ayıklama

Önkoşullar

logstash-output-file_extend eklentisinin yüklü olması gerekir. Yönergeler için Eklentileri yükleme veya kaldırma konusuna bakın.

Yordam

1. Logstash Clusters sayfasına gidin.

2. Üst gezinme çubuğundan istediğiniz kümenin bulunduğu bölgeyi seçin.

3. Örnek listesinde hedef örneğin ID değerine tıklayın.

4. Sol gezinme bölmesinde Pipelines seçeneğine tıklayın.

5. Create Pipeline seçeneğine tıklayın.

6. İşlem hattını yapılandırın ve başlatın.

   1. Config Settings bölümünde bir Pipeline ID ve Config Settings girin.

      Parametre	Açıklama
      Pipeline ID	Özel bir ID girin. Bu ID, path file_extend eklentisi parametresiyle otomatik olarak eşleşir.
      Config Settings	Config Settings üç bölümden oluşur: input: Veri kaynağını belirtir. Alibaba Cloud Logstash, file eklentisi hariç tüm resmi Logstash input eklentilerini destekler. filter: Veri kaynağından gelen verileri işler. Alibaba Cloud Logstash çok sayıda filter eklentisini destekler. output: İşlenen verileri belirtilen bir hedefe gönderir. Standart Logstash output eklentilerine ek olarak Alibaba Cloud Logstash, özel file_extend eklentisini sağlar. Hata ayıklamayı etkinleştirmek ve işlem hattı çıktısını doğrudan konsolda görüntülemek için bu eklentiyi yapılandırın.

      Aşağıdaki kod bir işlem hattı yapılandırması örneği sunar:

      input {
           elasticsearch {
             hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
             user  => "elastic"
             index => "twitter"
             password => "<YOUR_PASSWORD>"
             docinfo => true
           }
      
      }
      filter {
      
      }
      output {
          elasticsearch {
          hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
          user => "elastic"
          password => "<your_password>"
          index => "%{[@metadata][_index]}"
          document_id => "%{[@metadata][_id]}"
      
        }
         file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
         }
      
      }

      Önemli

      • file_extend output bölümündeki yapılandırması varsayılan olarak yorum satırı haline getirilmiştir. Hata ayıklama özelliğini kullanmak için bu bölümün yorumunu kaldırmanız gerekir.

      • path file_extend yapılandırmasındaki parametresi varsayılan olarak sistem tarafından oluşturulan bir yoldur. Bu yolu değiştirmeyin. Alternatif olarak doğru yolu otomatik olarak oluşturmak için Start Configuration Debug seçeneğine tıklayabilirsiniz.

      • Sistem, {pipelineid} path değişkenini belirttiğiniz Pipeline ID ile otomatik olarak değiştirir. Bu değişkeni değiştirmeyin; aksi takdirde hata ayıklama günlüğüne erişilemez hale gelir.

      Elasticsearch input eklentisi, bir Alibaba Cloud Elasticsearch kümesinden belgeleri okuyarak test günlüklerini toplu olarak içe aktarma gibi görevler için kullanışlıdır. Varsayılan olarak bu süreç tüm veriler okunduktan sonra durur. Ancak Alibaba Cloud Logstash örnekleri sürekli çalışır ve durdurulan işlemleri otomatik olarak yeniden başlatır. Tek görevli senaryolarda bu davranış yinelenen veri yazımlarına neden olabilir. Bunu önlemek için görevi yalnızca bir kez çalıştırmak üzere schedule parametresini bir cron ifadesiyle birlikte kullanın. İşlem hattı bu tek yürütmeden sonra durar ve yineleme engellenir. Daha fazla bilgi için resmi Zamanlama ile ilgili Logstash belgelerine bakın.

      Örneğin, görevi 5 Mart'ta 13:20'de çalışacak şekilde zamanlamak için:

      schedule => "20 13 5 3 *"

   2. İşlem hattı parametrelerini yapılandırmak için Next step seçeneğine tıklayın.

      İşlem hattı parametreleri hakkında daha fazla bilgi için Yapılandırma dosyaları kullanarak işlem hatlarını yönetme konusuna bakın.

   3. İşlem hattını kaydedin ve dağıtın.

      • Save: İşlem hattı yapılandırmasını kaydeder ve değişikliklerin henüz dağıtılmadığı Pipelines sayfasına döner. Pipelines listesinden yapılandırmayı uygulamak için Actions sütunundaki Deploy Now seçeneğine tıklayın.

      • Save and Deploy: Yapılandırmayı kaydeder ve değişiklikleri uygulamak için örneği hemen yeniden başlatır.

   4. Başarı mesajında OK seçeneğine tıklayın.

7. Hata ayıklama günlüğünü görüntüleyin.

   1. Örnek yeniden başlatıldıktan sonra Pipelines listesine dönün, hedef işlem hattını bulun ve Actions sütunundaki View Debug Logs seçeneğine tıklayın.

   2. Logs sayfasında işlem hattının işlenmiş çıktısını görüntülemek için Debug Log sekmesini açın.

      Belirli bir işlem hattına ait günlükleri bulmak için arama çubuğuna pipelineId: <your_pipeline_id> girerek ilgili işlem hattı tarafından işlenen günlük çıkışı verilerini filtreleyin ve görüntüleyin.