Alibaba Cloud Logstash; sunucu kurulumu veya altyapı yönetimi gerektirmeden verileri birden fazla kaynaktan toplayan, dönüştüren ve tercih ettiğiniz hedefe yönlendiren, tamamen yönetilen ve açık kaynak uyumlu bir veri işlem hattıdır. Açık kaynak Logstash ile %100 uyumludur; bu sayede mevcut işlem hattı yapılandırmaları ve eklentiler değişiklik yapmadan çalışır.
Nasıl çalışır?
Logstash verileri üç aşamada işler:
Toplama: Giriş eklentileri; günlükler, ölçümler, web uygulamaları ve veri depoları gibi kaynaklardan sürekli bir akış olarak veri çeker. Sık kullanılan girişler arasında
file(dosya sisteminden okur),beats(Beats aracılarından olayları alır) vesyslog(syslog olaylarını dinler) bulunur.Dönüştürme: Filtre eklentileri her bir olayı ayrıştırır, adlandırılmış alanları belirler, yapı oluşturur ve olayları ortak bir biçime dönüştürür. Örneğin,
grokyapılandırılmamış günlük metnini sorgulanabilir alanlara ayrıştırır;mutateise olay alanlarını yeniden adlandırır, değiştirir veya düzenler.Yönlendirme: Çıktı eklentileri işlenen verileri bir veya daha fazla hedefe gönderir. Verileri arama ve analiz için Elasticsearch'e, arşivleme için OSS'e veya günlük yönetimi için Simple Log Service (SLS) hizmetine gönderebilirsiniz.
Temel kavramlar
| Terim | Açıklama |
|---|---|
| İşlem hattı | Girişleri, filtreleri ve çıktıları birbirine bağlayan çalışan bir Logstash yapılandırmasıdır. İşlem hatlarını yapılandırma dosyaları kullanarak merkezi olarak yönetin. |
| Eklenti | Giriş, filtre veya çıktı aşamasını uygulayan modüler bir bileşendir. Alibaba Cloud Logstash, tüm resmi eklentileri eklenti merkezi üzerinden sunar; ayrıca logstash-input-sls, logstash-input-oss ve logstash-output-oss gibi Alibaba Cloud'a özel eklentiler de sağlar. |
| Olay | Günlük satırı veya ölçüm veri noktası gibi, işlem hattından akan tek bir veri birimidir. |
Neden Alibaba Cloud Logstash kullanmalısınız?
Yönetilen bir hizmet olarak Alibaba Cloud Logstash, altyapıyı sizin yerinize yönetir; böylece işlem hattı mantığınıza odaklanabilirsiniz:
Dakikalar içinde dağıtım — manuel sunucu kurulumu veya bakım gerektirmeden bir örnek başlatın.
Talebe göre ölçeklendirme — veri hacimleri arttıkça kapasiteyi ayarlayın.
Güvenli kalın — örneklerinizi mantıksal olarak izole edilmiş bir Sanal Özel Bulut (VPC) içinde dağıtın. Harici uç noktalara NAT Gateway üzerinden bağlanın.
Eklentilerle genişletin — yerleşik eklenti merkezinden tüm resmi giriş, filtre ve çıktı eklentilerine ek olarak SLS ve OSS için bulut tabanlı eklentilere erişin.
Özel dosyaları yönetin — özel uzantı dosyalarını doğrudan konsoldan yükleyin ve yönetin.
İşlem hatlarını görsel olarak hata ayıklayın — konsolda işlem hattı çıktısını görüntüleyin ve işlem hattı yapılandırması hata ayıklama özelliğini kullanın.
Alibaba Cloud Logstash, açık kaynak Logstash tabanlı yönetilen bir hizmettir ve özellikleri açık kaynak sürümüyle tutarlıdır. Hizmetle ilgili herhangi bir sorunla karşılaşırsanız destek talebi oluşturarak bizimle iletişime geçebilirsiniz.
Logstash veya üçüncü taraf bileşenlerindeki hatalardan ya da hatalı yapılandırma ve kullanımdan kaynaklanan iş kayıplarından sorumlu değiliz. Bu tür sorunlarla karşılaşırsanız resmi Logstash belgelerine veya topluluğa danışın.
Kullanım senaryoları
Alibaba Cloud Logstash, ELK yığınında (Elasticsearch, Logstash ve Kibana) veri alma katmanı olarak yaygın şekilde kullanılır:
Gerçek zamanlı günlük işleme — sunuculardan, konteynerlerden veya uygulamalardan günlükleri toplayın ve dizinleme için Elasticsearch'e yönlendirin.
Tam metin arama işlem hatları — ham verileri, Elasticsearch'ün arayabileceği ve sıralayabileceği yapılandırılmış bir biçime dönüştürün.
Veri analitiği — ölçümleri ve olayları toplayın, filtre eklentileriyle zenginleştirin ve sonuçları analitik hedefinize gönderin.
Bulut veri geçişi — OSS ve SLS için özel eklentiler kullanarak verileri Alibaba Cloud hizmetleri arasında taşıyın.
Bu ekosistemde Elasticsearch gerçek zamanlı dağıtık arama ve analiz motoru olarak, Logstash veri toplama, dönüştürme, optimizasyon ve çıktı yetenekleri sağlayıcı olarak, Kibana ise güçlü bir görselleştirme arabirimi olarak görev yapar.
Sonraki adımlar
| Görev | Kaynak |
|---|---|
| İlk Logstash örneğinizi oluşturun | Hızlı başlangıç |
| Bir Alibaba Cloud Logstash örneği oluşturun | Bir Alibaba Cloud Logstash örneği oluşturun |
| Giriş, filtre ve çıktı eklentilerini yapılandırın | Eklenti yapılandırması |
| İşlem hatlarını yapılandırma dosyaları kullanarak yönetin | İşlem hatlarını yapılandırma dosyaları kullanarak yönetin |
| İşlem hattı yapılandırmalarını hata ayıklayın | Logstash işlem hattı yapılandırması hata ayıklama özelliğini kullanın |
| Özel uzantı dosyalarını yükleyin ve yönetin | Uzantı dosyalarını yapılandırın |
| NAT Gateway üzerinden İnternet erişimini yapılandırın | NAT Gateway ile İnternet veri iletimini yapılandırın |
| Bir kümeyi yükseltin | Bir kümeyi yükseltin |