Elasticsearch:Query logs

Sınırlamalar

• Access Log: Bu özellik yalnızca 6.7.0 (küçük motor sürümü ≥ 1.0.2) veya 7.10 ve sonraki sürümlerde çalışan Elasticsearch örneklerinde kullanılabilir.

• Audit Log: Aşağıdaki bölgelerde çalışan ve sürümü 7.x veya üzeri olan örnekler için denetim günlüklerini konsolda görüntüleyebilirsiniz.

  Ülke veya bölge	Bölge
  Çin	Çin (Pekin), Çin (Hangzhou), Çin (Şanghay), Çin (Zhangjiakou)
  Asya Pasifik	Singapur, Malezya (Kuala Lumpur), Endonezya (Cakarta), Japonya (Tokyo)
  Avrupa ve Amerika	ABD (Virginia), ABD (Silikon Vadisi), Almanya (Frankfurt), Birleşik Krallık (Londra)

Yordam

1. Alibaba Cloud Elasticsearch konsolu adresine gidip oturum açın.

2. Sol gezinme menüsünde Elasticsearch Clusters seçeneğini belirleyin.

3. Hedef kümeye gidin.

   1. Üst gezinme çubuğunda, kümenin ait olduğu kaynak grubunu ve kümenin bulunduğu bölgeyi seçin.

   2. Elasticsearch Clusters sayfasında ilgili kümeyi bulun ve kimliğine (ID) tıklayın.

4. Sol gezinme bölmesinde, kümenin çalışma zamanı günlüklerini görüntülemek için Logs seçeneğine tıklayın.

   Alibaba Cloud Elasticsearch aşağıdaki günlük türlerini destekler: ana günlük, arama yavaş günlüğü, dizine ekleme yavaş günlüğü, GC günlüğü, ES erişim günlüğü ve denetim günlüğü. Aşağıdaki tabloda bu günlük türleri ve kullanım senaryoları açıklanmaktadır. Daha fazla bilgi için bkz. Günlük ayrıntıları.

   Günlük türü	Açıklama	Kullanım senaryoları
   Cluster Log	Bir kümenin sağlık durumunu, dizin sorguları ve yazma işlemlerine ilişkin günlükleri kaydeder. Örneğin, yazma günlükleri arasında dizin oluşturma, eşleme güncellemeleri ve yazma kuyruğu aşırı yüklenmeleri gibi olaylar yer alır. Sorgu günlükleri ise sorgu kuyruğu durumu ve sorgu özel durumları gibi olayları içerir.	Ana günlüğü kullanarak düğümlerin çalışma zamanı durumunu, sorgu ve yazma etkinliklerini, düğüm bağlantısını, Full GC olaylarını, dizin oluşturma veya silme işlemlerini ve küme düzeyindeki sorgu hatalarını kontrol edin. Önemli İstemci tarafında bir sorun oluşursa, öncelikle ana günlüğü ve Cluster Monitoring bölümünü kontrol ederek kümedeki performans darboğazlarını veya yapılandırma sorunlarını giderin.
   Search Slow Log	Yavaş sorguları kaydeder. Bir sorgunun yürütme süresi belirtilen bir eşiği aştığında ilgili bilgiler günlüğe kaydedilir. Yavaş sorgu eşiği, en uygun varsayılan değerlerle Senaryoya Özel Yapılandırma Şablonu'nun dizin şablonunda önceden yapılandırılmıştır. Yalnızca şablonu uygulamanız yeterlidir. Daha fazla bilgi için bkz. Dizin şablonu yapılandırması.	Sorgular beklenenden uzun sürüyorsa soruşturmak için arama yavaş günlüğünü kontrol edin. Yavaş sorgular daha fazla küme kaynağı tüketir. Çok sayıda yavaş günlük fark ederseniz, darboğazları belirlemek için küme kaynaklarını ve yükünü kontrol edin. Ardından ilgili kaynakları genişletin veya küme kararlılığını sağlamak amacıyla hız sınırlaması uygulamak üzere aliyun-qos plugin kullanın.
   Indexing Slow Log	Yavaş yazma işlemlerini kaydeder. Bir yazma işleminin yürütme süresi belirtilen bir eşiği aştığında ilgili bilgiler günlüğe kaydedilir. Yavaş yazma eşiği, en uygun varsayılan değerlerle Senaryoya Özel Yapılandırma Şablonu'nun dizin şablonunda önceden yapılandırılmıştır. Yalnızca şablonu uygulamanız yeterlidir. Daha fazla bilgi için bkz. Dizin şablonu yapılandırması.	Yazma işlemleri beklenenden uzun sürüyorsa soruşturmak için dizine ekleme yavaş günlüğünü kontrol edin. Yavaş yazma işlemleri daha fazla küme kaynağı tüketir. Çok sayıda yavaş günlük fark ederseniz, darboğazları belirlemek için küme kaynaklarını ve yükünü kontrol edin. Ardından ilgili kaynakları genişletin veya küme kararlılığını sağlamak amacıyla hız sınırlaması uygulamak üzere aliyun-qos plugin kullanın.
   GC Log	JVM yığın bellek kullanımına bağlı olarak tetiklenen çöp toplama olaylarını kaydeder. GC günlüğü, Old GC, CMS GC, Full GC ve Minor GC dahil olmak üzere çeşitli toplama mekanizmaları hakkında ayrıntılı bilgiler sağlar.	Bir küme performans darboğazları yaşadığında, ayrıntılı toplama bilgileri ve uzun süren veya sık gerçekleşen GC olayları için GC günlüğünü kontrol edin. Böyle olaylar varsa küme kaynaklarını genişletin veya küme kararlılığını sağlamak amacıyla hız sınırlaması uygulamak üzere aliyun-qos plugin kullanın. Önemli Alibaba Cloud Elasticsearch kümeleri varsayılan olarak CMS çöp toplayıcısını kullanır. Belleği 32 GB veya daha fazla olan veri düğümleri için GC verimliliğini artırmak üzere G1 çöp toplayıcısını kullanın. Daha fazla bilgi için bkz. Çöp toplayıcı yapılandırma.
   Access Log	Bir küme için erişim günlüklerini kaydeder. Bu günlükler, Elasticsearch kümesi tarafından alınan restSearchAction ile ilgili isteklerin URI, gövde boyutu ve istek zamanı gibi ayrıntılarını gösterir. Önemli Yalnızca 6.7.0 (küçük motor sürümü ≥ 1.0.2) veya 7.10 ve sonraki sürümlerde çalışan örnekler için konsoldaki Access Log öğesini görüntüleyebilirsiniz. ES erişim günlüğü aşağıdaki sorgu türleri için günlük kaydını desteklemez: SQL sorguları, çoklu arama sorguları, kaydırma sorguları ve bazı Kibana görselleştirme araçları tarafından tetiklenen sorgular. Sorgu ve yazma istekleri hakkında daha kapsamlı bilgilere ulaşmak için denetim günlüklerini etkinleştirin. Daha fazla bilgi için bkz. Denetim günlüğü toplayıcıyı yapılandırma.	Elasticsearch kümesine hangi istemcilerin sorgu istekleri gönderdiğini belirlemek için Access Log kullanın.
   Audit Log	X-Pack Security denetim özelliğine dayalı olarak bir Elasticsearch örneğindeki güvenlikle ilgili olayları kaydeder. Oluşturma, silme, güncelleme ve sorgulama işlemlerinin yanı sıra kullanıcı kimlik doğrulama başarıları, başarısızlıkları ve izin değişiklikleri gibi olayları günlüğe alır. Önemli Yalnızca Sınırlamalar bölümünde listelenen bölgelerde çalışan ve sürümü 7.x veya üzeri olan örnekler için konsolda denetim günlüklerini görüntüleyebilirsiniz. Diğer örnekler için YML yapılandırmasında denetim günlüklerini etkinleştirmeniz gerekir. Etkinleştirildikten sonra denetim günlükleri mevcut Elasticsearch kümesindeki bir dizine yazılır. Kibana konsolunda .security_audit_log-* ile başlayan dizinleri sorgulayarak denetim günlüklerini görüntüleyebilirsiniz. Daha fazla bilgi için bkz. YML parametrelerini yapılandırma. Denetim günlüklerini konsolda görüntülemek için önce Log Configuration seçeneğine tıklayarak denetim günlüğü toplamayı etkinleştirmeniz gerekir. Varsayılan olarak aşağıdaki olay türleri toplanır: access_denied, anonymous_access_denied, authentication_failed, connection_denied, tampered_request, run_as_denied, run_as_granted. Toplanan olay türlerini değiştirmek için kümenin YML dosyasındaki xpack.security.audit.logfile.events.include parametresini değiştirin. Daha fazla bilgi için bkz. Denetim günlüğü toplayıcıyı yapılandırma.	Kullanıcı kimlik doğrulama başarılarını ve başarısızlıklarını gözden geçirmek, kimlik doğrulama hataları ve bağlantı reddetmelerini gidermek, veri erişimi olaylarını izlemek veya veri erişimi yetkilendirmelerindeki ve kullanıcı güvenlik yapılandırmalarındaki değişiklikler gibi şüpheli etkinlikleri araştırmak için denetim günlüklerini kullanın.

5. Günlük sayfasında arama kutusuna sorgu koşullarınızı girin, başlangıç ve bitiş saatlerini seçin ve Search seçeneğine tıklayın.

   Alibaba Cloud Elasticsearch, sorgunuza dayanarak günlük sonuçlarını günlük sorgulama sayfasında döndürür ve görüntüler.

   • Son yedi ardışık güne ait günlükleri sorgulayabilirsiniz. Günlükler varsayılan olarak ters kronolojik sırayla görüntülenir.

   • Sorgu sözdizimi Lucene tabanlıdır. Daha fazla bilgi için bkz. Sorgu dizesi sözdizimi.

   • Sorgunuzdaki AND işleci büyük harfle yazılmalıdır.

   • Bitiş saati belirtmezseniz varsayılan olarak geçerli saat kullanılır. Başlangıç saati belirtmezseniz varsayılan olarak bitiş saatinden bir saat öncesi kullanılır.

   Örneğin, content alanında health anahtar kelimesini içeren, level değeri info olan ve host değeri 172.16.xx.xx olan ana günlükleri sorgulamak için aşağıdaki sorguyu kullanın: host:172.16.xx.xx AND content:health AND level:info.

   Önemli

   • Her sorguda en fazla 10.000 günlük girişi döndürülebilir.

     Döndürülen 10.000 giriş ihtiyacınız olan bilgileri içermiyorsa sorgunuzun zaman aralığını daraltın.

   • Tek bir günlük girişi en fazla 10.000 karakter görüntüleyebilir.

Günlük ayrıntıları

Ana günlük

Yavaş günlük

Yavaş günlükler varsayılan olarak etkindir ve belirtilen bir süre eşğini aşan dizine ekleme (dizine ekleme yavaş günlüğü) ve sorgu (arama yavaş günlüğü) işlemlerine ait günlükleri gösterir. Küme yükünün dengesiz dağılımı, okuma/yazma özel durumları ve yavaş veri işleme gibi sorunları analiz etmek için bu günlükleri sorgulayın.

GC günlüğü

ES erişim günlüğü

Denetim günlüğü

X-Pack Security denetim özelliğine dayalı olarak denetim günlüğü, Elasticsearch kümenizdeki kullanıcı kimlik doğrulama başarıları ve başarısızlıkları, izin değişiklikleri, veri erişimi yetkilendirmeleri ile oluşturma, silme, güncelleme ve sorgulama işlemleri dahil olmak üzere güvenlikle ilgili olayları kaydeder. Denetim günlükleri, küme içindeki kullanıcı kimlik doğrulama kayıtlarını ve operasyonel davranışı izlemenize olanak tanır. Bu özellik varsayılan olarak devre dışıdır. Denetim günlüklerini etkinleştirmek ve görüntülemek için şu adımları izleyin:

1. Logs sayfasında sağ taraftaki Log Configuration seçeneğine tıklayın.

2. Log Configuration iletişim kutusunda Audit Log Collection anahtarını açın.

   Önemli

   • Audit Log Collection özelliğini etkinleştirdikten sonra mevcut sayfada küme için denetim günlüklerini sorgulayabilirsiniz. Toplanan olay türlerini değiştirmek için küme yapılandırmasına gidin ve xpack.security.audit.logfile.events.include parametresini değiştirin. Daha fazla bilgi için bkz. Denetim günlüğü toplayıcıyı yapılandırma.

   • Audit Log Collection özelliğini etkinleştirmek veya devre dışı bırakmak bir küme yeniden başlatmasını tetikler. Alibaba Cloud Elasticsearch, rolling restart kullanır. Küme yeşil durumdaysa, her dizinde en az bir çoğaltma bulunuyorsa ve kaynak kullanımı aşırı değilse yeniden başlatma sırasında küme kullanılabilir kalır. Ancak, bu işlemi yoğun olmayan saatlerde gerçekleştirmenizi öneririz.

3. Uyarıyı okuyun ve OK seçeneğine tıklayın.

   Onayladıktan sonra küme yeniden başlar. İlerlemeyi Task List bölümünde görüntüleyebilirsiniz. Küme yeniden başladıktan sonra denetim günlüğü toplama etkinleştirilir.

   Önemli

   Denetim günlüğü verileri disk alanı tüketir ve performansı etkileyebilir. Artık denetim günlüklerini görüntülemeniz gerekmiyorsa aynı yöntemi kullanarak Audit Log Collection özelliğini devre dışı bırakabilirsiniz.

4. Logs sayfasında denetim günlüklerini görüntülemek için Audit Log sekmesine tıklayın.

   Denetim günlükleri üç sütunlu bir tabloda görüntülenir: Time, Node IP ve Content. İçerik alanında anahtar-değer biçimindeki denetim alanları gösterilir; bunlar şunlardır:

   • audit_user_roles: kullanıcı rolleri

   • audit_action: denetim eylemi

   • audit_event_action: olay sonucu (ör. access_granted)

   • audit_origin_type: kaynak türü (ör. transport)

   • audit_user_name: kullanıcı adı

   • audit_request_name: istek adı

   • audit_node_id, host, audit_hostname ve diğer düğüm bilgileri

Başvurular

ListSearchLog

SSS

• Elasticsearch'te .security günlükleri için saklama süresi ayarlayabilir miyim?

• Elasticsearch günlüklerini yerel bir cihaza nasıl kaydederim?

• Bir Elasticsearch örneğinin sorgu ve güncelleme günlüklerini görüntüleyemiyorsam ne yapmalıyım?

• Bir Elasticsearch örneğinin yavaş günlüklerini nasıl yapılandırır ve görüntülerim?

• Bir Elasticsearch örneğinin yavaş günlüklerini düzenli aralıklarla programatik olarak nasıl alırım?