Elasticsearch:En iyi uygulamalara genel bakış

Senaryo

Belge

Veri alımı

• Ana bilgisayar günlüklerini toplama

  • Filebeat ile ECS hizmet günlüklerini toplama

  • Kendi yönettiğiniz Filebeat ile MySQL günlüklerini toplama

  • Filebeat ile Apache günlüklerini toplama

  • Metricbeat ile sistem ve Nginx hizmet ölçümlerini toplama

  • Auditbeat ile sistem denetim verilerini toplama ve dosya değişikliklerini izleme

  • Heartbeat ile ICMP ve HTTP hizmetlerini izleme

  • Elastic Agent ile Nginx günlüklerini toplama

  • Elastic Agent ile NetFlow günlüklerini toplama

  • Elastic Agent ile özel günlükleri toplama

• Uygulama günlüklerini toplama

  • Alibaba Cloud Elasticsearch ve Rsbeat ile Redis yavaş günlüklerini gerçek zamanlı analiz etme

• Sunucu verilerini toplama

  • Kendi yönettiğiniz Metricbeat ile sistem ölçümlerini toplama

  • Uçtan uca izlemeyi uygulamak için SkyWalking ve Elasticsearch kullanma

  • Uptime ile Alibaba Cloud Elasticsearch kümelerini gerçek zamanlı izleme

  • Kendi yönettiğiniz APM Server ile verileri Alibaba Cloud Elasticsearch'e aktarma

  • Kendi yönettiğiniz Logstash ile verileri Alibaba Cloud Elasticsearch'e geçirme

Veri geçişi

• Alibaba Cloud Elasticsearch kümeleri arasında veri geçişi

  • Reindex API kullanarak veri geçişi yapma

  • Reindex kullanarak önceki sürümlerdeki çok türü dizin verilerini geçirme

  • Elasticsearch rollerini ve Kibana panolarını geçirme

• Kendi yönettiğiniz Elasticsearch'ten Alibaba Cloud Elasticsearch'e veri geçişi

  • Çevrimiçi geçiş aracını kullanarak kendi yönettiğiniz bir Elasticsearch kümesinden Alibaba Cloud Elasticsearch'e veri geçişi yapma

  • Alibaba Cloud Logstash kullanarak kendi yönettiğiniz bir Elasticsearch kümesinden Alibaba Cloud Elasticsearch'e veri geçişi yapma

  • Reindex kullanarak kendi yönettiğiniz bir Elasticsearch kümesinden Alibaba Cloud Elasticsearch'e veri geçişi yapma

  • elasticsearch-dump kullanarak veri geçişi yapma

  • Özel bağlantı üzerinden kendi yönettiğiniz bir Elasticsearch kümesinden Alibaba Cloud Elasticsearch'e veri geçişi yapma

  • Komut dosyalarını kullanarak dizin şemalarını, şablonları veya ILM ilkelerini senkronize etme

  • Logstash kullanarak kendi yönettiğiniz bir Elasticsearch kümesinden Alibaba Cloud Elasticsearch'e tam veya artımlı modda veri geçişi yapma

• Üçüncü taraf Elasticsearch hizmetlerinden Alibaba Cloud Elasticsearch'e veri geçişi

  • Amazon OpenSearch Service'ten Alibaba Cloud Elasticsearch'e Elasticsearch dizin verilerini geçirme

  • Solr kümesinden belgeleri Alibaba Cloud Elasticsearch'e geçirme

Veri senkronizasyonu

• ApsaraDB RDS for MySQL

  • Logstash kullanarak ApsaraDB RDS for MySQL'den Elasticsearch'e veri senkronizasyonu yapma

  • DataWorks ile MySQL verilerini Alibaba Cloud Elasticsearch'e senkronize etme

  • DTS kullanarak MySQL'den Alibaba Cloud ES'e gerçek zamanlı veri senkronizasyonu yapma

  • Canal kullanarak MySQL verilerini Alibaba Cloud ES'e senkronize etme

• ApsaraDB RDS for SQL Server

  • DataWorks ile ApsaraDB RDS for SQL Server'dan Alibaba Cloud ES'e veri senkronizasyonu yapma

• PolarDB-X

  • Logstash kullanarak PolarDB-X'ten (DRDS) Elasticsearch'e veri senkronizasyonu yapma

  • DataWorks ile PolarDB-X'ten (DRDS) Alibaba Cloud ES'e veri senkronizasyonu yapma

• PolarDB for MySQL

  • DTS kullanarak PolarDB for MySQL veritabanından bir Alibaba Cloud Elasticsearch kümesine veri senkronizasyonu yapma

• MongoDB

  • Monstache kullanarak bir MongoDB veritabanından bir Alibaba Cloud Elasticsearch kümesine gerçek zamanlı veri senkronizasyonu yapma

• MaxCompute

  • DataWorks ile MaxCompute verilerini Alibaba Cloud ES'e senkronize etme

• Hadoop

  • DataWorks ile Hadoop verilerini Alibaba Cloud ES'e senkronize etme

  • ES-Hadoop kullanarak Hive'ın Alibaba Cloud Elasticsearch'e veri yazmasını ve okumasını sağlama

  • ES-Hadoop kullanarak HDFS'den Elasticsearch'e veri yazma

  • ES-Hadoop kullanarak Apache Spark'ın Alibaba Cloud Elasticsearch'e veri yazmasını ve okumasını sağlama

• HBase

  • DataWorks ile HBase verilerini Alibaba Cloud ES'e senkronize etme

• Günlük verileri

  • Gerçek Zamanlı Hesaplama kullanarak günlük verilerini işleme ve ES'e senkronize etme

• Üçüncü taraf ürünlerden gelen veriler

  • Logstash kullanarak Azure Event Hubs'tan Elasticsearch'e veri senkronizasyonu yapma