How to configure parameters when you create an Alibaba Cloud Elasticsearch cluster - Elasticsearch

Bir Alibaba Cloud Elasticsearch kümesi oluştururken iş gereksinimlerinizi karşılamak üzere farklı düğüm türleri için teknik özellikleri ve depolamayı yapılandırmanız gerekir. Bir Elasticsearch kümesi; veri düğümleri, Kibana düğümleri, özel ana düğümler, warm düğümler, frozen düğümler ve coordinating düğümlerinden oluşur ve her birinin ayrı sorumlulukları vardır.

Veri düğümü

Veri düğümleri dizin verilerini depolar ve dizine ekleme, arama ile toplama işlemlerini yürütür. Veri düğümleri yüksek CPU, bellek ve G/Ç gereksinimlerine sahiptir. Kaynaklar yetersiz kalırsa kümenize yeni veri düğümleri eklemenizi öneririz.

Not

Kümede özel ana düğümler varsa veri düğümleri yalnızca veri düğümü olarak çalışır.
Kümede özel ana düğümler yoksa veri düğümleri hem veri düğümü hem de özel ana düğüm olarak hizmet verir.
Alibaba Cloud Elasticsearch kümeleri iki kontrol düzlemi mimarisinden birini kullanır: temel kontrol düzlemi (v2) veya cloud-native kontrol düzlemi (v3). v2 mimarisinde özel ana düğümleri olmayan bir kümenin ölçeğini yukarı doğru genişletmek kümenin yeniden başlatılmasını tetikler. Genel küme yükü düşükse ve dizinlerinizde çoğaltma parçaları bulunuyorsa küme yeniden başlatma sırasında kullanılabilir durumda kalabilir. Ancak yüksek yazma ve sorgu yükleri gibi belirli senaryolarda yeniden başlatma sırasında erişim zaman aşımları oluşabilir. Bu nedenle bu işlemleri yoğun olmayan saatlerde yapmanızı öneririz.

Parametre	Açıklama
Veri düğümü teknik özellikleri	Test ortamlarında 2 vCPU ve 4 GiB belleğe sahip veri düğümleri kullanmanızı, üretim ortamlarında ise daha yüksek teknik özelliklere sahip veri düğümleri kullanmanızı öneririz.
Veri düğümü disk türü	ESSD (Varsayılan): Düşük gecikme süresi, yüksek aktarım hızı ve hızlı yanıt süreleri sağlar. Gecikme süresine duyarlı uygulamalar veya G/Ç yoğun iş yükleri için idealdir. ESSD teknik özellikleri hakkında daha fazla bilgi için bkz. Düğüm teknik özellikleri. Performans hakkında daha fazla bilgi için bkz. ESSD'ler. Ultra Disk: Maliyet etkin depolama sağlar. Büyük hacimli verileri içeren günlük kaydı ve analiz senaryoları için uygundur. Standart SSD: Yüksek IOPS ve yanıt verebilirlik sunar. Çevrimiçi analiz ve arama senaryoları için uygundur. Not Desteklenen disk türlerini satın alma sayfasında görüntüleyebilirsiniz. Küme oluşturulduktan sonra kümedeki düğümlerin disk türlerini değiştiremezsiniz.
ESSD performans düzeyi	Veri Düğümü Disk Türü parametresini ESSD olarak ayarlarsanız bu parametreyi yapılandırmanız gerekir.
Veri düğümü disk şifrelemesi	Disk şifreleme, işlerinize ve uygulamalarınıza ek değişiklikler yapmanıza gerek kalmadan maksimum veri güvenliğini sunar. Ancak disk şifreleme kümenizin performansı üzerinde küçük bir etkiye sahip olabilir. Disk şifreleme ücretsizdir. Şifrelenmiş disklerden veri okurken veya disklere veri yazarken ek ücret oluşmaz.
Her veri düğümü için depolama alanı	Her veri düğümünün depolama alanı disk türüne bağlıdır. Birim: GiB. ESSD: 6 TiB'a kadar depolama alanını destekler. Ultra Disk: V6.7, V7.7 ve sonraki sürümlerdeki Elasticsearch kümeleri için 20 TiB'a kadar depolama alanını destekler. Diğer sürümler için maksimum depolama alanı 5 TiB'tır. Standart SSD: V6.7, V7.7 ve sonraki sürümlerdeki Elasticsearch kümeleri için 6 TiB'a kadar depolama alanını destekler. Diğer sürümler için maksimum depolama alanı 2 TiB'tır. Not Depolama alanı 2.560 GiB'tan büyük olan bir ultra diski yeniden boyutlandırdığınızda, disk dizi veya RAID 0'da çalışacak şekilde tasarlandığından ultra disk için yalnızca mavi-yeşil güncelleme yapılabilir.
Veri düğümü sayısı	Satın aldığınız düğüm sayısı alan sayısının katı olmalıdır. Önemli Yalnızca iki veri düğümü içeren bir küme yüksek split-brain riskleri taşır ve düşük kararlılık sağlar. V6.X veya V5.X gibi eski bir sürümdeki kümede yalnızca iki veri düğümü varsa düğüm yeniden başlatması gerektiğinde özel ana düğüm seçilmeyebilir ve küme hizmet sunmayabilir. Bu nedenle bu parametreyi iş gereksinimlerinize göre yapılandırmanız gerekir.

Kibana düğümü

Kibana Düğümü parametresinin değeri yalnızca Evet olabilir.
1 vCPU ve 2 GiB belleğe sahip bir Kibana düğümü ücretsizdir. Ancak 1 vCPU ve 2 GiB belleğe sahip Kibana düğümünü yalnızca test amaçları için kullanmanızı öneririz.
Küme performansı ve kararlılığı üzerindeki etkisi nedeniyle 2 vCPU ve 4 GiB belleğe sahip veya daha yüksek teknik özelliklere sahip bir Kibana düğümü satın almanızı öneririz.

Özel ana düğüm

Dizin oluşturma, dizin silme, düğüm izleme ve parça atama gibi küme işlemlerini yürütmek için özel ana düğümleri kullanabilirsiniz. Özel ana düğümlerin kararlılığı kümelerin sağlığı açısından önemlidir. Varsayılan olarak bir kümedeki her düğüm özel ana düğüm olarak kullanılabilir. Veri dizine ekleme, aramalar ve sorgular gibi işlemler çok sayıda CPU, bellek ve G/Ç kaynağı gerektirir. Bir kümenin kararlılığını sağlamak için özel ana düğümleri veri düğümlerinden ayırmak amacıyla özel ana düğümler satın almanızı öneririz.

Önemli

Kümenizdeki özel ana düğümler ücretsizse kümenin yapılandırmasını yükselttikten sonra bu düğümler için ücretlendirilirsiniz.
Eski mimaride (V2) dağıtılan ve özel ana düğümler içermeyen bir küme için mavi-yeşil değişiklik gerçekleştirirseniz kümede bir sonraki değişiklik işlemi sırasında veri düğümleri yeniden başlatılır. Bu nedenle özel ana düğümler satın almanızı öneririz.

Parametre	Açıklama
Özel ana düğüm	Hizmetlerinizin kararlılığını artırmak için özel ana düğümler satın almanızı öneririz. Çok alanlı bir Elasticsearch kümesi için bu parametrenin varsayılan değeri Evet'tir ve değeri değiştiremezsiniz. Not Satın aldığınız özel ana düğümleri serbest bırakamazsınız. Özel ana düğümleri olmayan bir küme için özel ana düğüm ayarlarını değiştiremezsiniz. İlgili parametreler satın alma sayfasında yapılandırılamaz. Küme oluşturulduktan sonra kümenin yapılandırmasını yükselttiğinizde özel ana düğümler satın alabilirsiniz.
Özel ana düğüm teknik özellikleri	Desteklenen teknik özellikleri satın alma sayfasında görüntüleyebilirsiniz.
Özel ana düğüm disk türü	ESSD (Varsayılan): Düşük gecikme süresi, yüksek aktarım hızı ve hızlı yanıt süreleri sağlar. Gecikme süresine duyarlı uygulamalar veya G/Ç yoğun iş yükleri için idealdir. ESSD teknik özellikleri hakkında daha fazla bilgi için bkz. Düğüm teknik özellikleri. Performans hakkında daha fazla bilgi için bkz. ESSD'ler. Ultra Disk: Maliyet etkin depolama sağlar. Büyük hacimli verileri içeren günlük kaydı ve analiz senaryoları için uygundur. Standart SSD: Yüksek IOPS ve yanıt verebilirlik sunar. Çevrimiçi analiz ve arama senaryoları için uygundur. Desteklenen disk türlerini satın alma sayfasında görüntüleyebilirsiniz.
Özel ana düğüm depolama alanı	Bu parametrenin değeri yalnızca 20G olabilir.
Özel ana düğüm sayısı	Bu parametrenin değeri yalnızca 3 olabilir.

Warm düğümü

İş yükünüz aşağıdaki iki veri türünün ikisini de içeriyorsa yüksek performanslı hot düğümler ile büyük kapasiteli warm düğümlerini birleştiren hot-warm mimarisi kullanmanızı öneririz:

Hot veriler: Sık sorgulanan, yüksek yazma yüklerine sahip ve gecikme süresine duyarlı dizinler.
Warm veriler: Nadiren sorgulanan ve çoğunlukla salt okunur olan veya en az yazma işlemine sahip dizinler. Bunlar genellikle geçmiş verilerdir.

Hot ve warm verilerini farklı düğüm türlerinde dağıtarak warm verilerinin neden olduğu kaynak çekişmesinin hot veri performansını etkilemesini önleyebilir, depolama maliyetlerini önemli ölçüde azaltabilir ve genel küme verimliliği ile kararlılığını artırabilirsiniz.

Daha fazla bilgi için bkz. "Hot-Warm" Architecture in Elasticsearch 5.x.

Not

Özel ana düğümler satın alınmışsa warm düğümleri yalnızca warm düğümü olarak kullanılır.

Özel ana düğümler satın alınmamışsa warm düğümleri aynı zamanda özel ana düğüm olarak da kullanılır.

Parametre	Açıklama
Warm düğümü	Satın alınan warm düğümlerini devre dışı bırakabilirsiniz. Bir warm düğümünü devre dışı bıraktığınızda küme takılırsa bkz. Bir warm düğümü devre dışı bırakıldıktan sonra küme takılırsa ne yapılır?
Warm düğümü teknik özellikleri	Desteklenen teknik özellikler hakkında bilgi için satın alma sayfasına bakın. Yüksek G/Ç ve büyük depolama gereksinimleri olan senaryolar için `20 vCPU, 88 GiB bellek (SATA: 8 × 7300 GiB)` örnek türü gibi maliyet etkin yerel disk örnek türlerini de kullanabilirsiniz. Yerel disk örnek türleri için aşağıdaki sınırlamalar geçerlidir: Yalnızca iki veya üç kullanılabilirlik alanında cloud-native kontrol düzlemi (v3) mimarisinde dağıtılan V7.17'nin çekirdek geliştirmeli örnekleri yerel disk örnek türlerini destekler. v3 mimarisini kullanan örnekler için düğüm ölçeğini büyütme gibi düğüm düzeyindeki mavi-yeşil değişiklikler yerel disk örnek türleri için desteklenmez. Not Yerel disklerdeki veri kaybını önlemek için yerel disk örnek türü kullanırken en az bir çoğaltma yapılandırın. Yerel disk örnek türünü cloud disk örnek türüne değiştiremezsiniz. Uygulama mimariniz veri güvenilirliğini sağlayamıyorsa cloud disk örnek türü kullanarak bir küme oluşturmanızı öneririz. Cloud disk örnek türleri için makine düzeyinde anlık görüntüler desteklenmez.
Warm düğümü disk türü	Ultra Disk ve ESSD desteklenir.
Warm düğümü disk şifrelemesi	Disk şifreleme, işlerinize ve uygulamalarınıza ek değişiklikler yapmanıza gerek kalmadan maksimum veri güvenliğini sunar. Ancak disk şifreleme kümenizin performansı üzerinde küçük bir etkiye sahip olabilir. Disk şifreleme ücretsizdir. Şifrelenmiş disklerden veri okurken veya disklere veri yazarken ek ücret oluşmaz. Not Şifrelenmiş diskler için disk şifrelemeyi devre dışı bırakamazsınız. Satın alınan diskler için disk şifrelemeyi etkinleştiremezsiniz. Bir kümenin yapılandırmasını yükselttiğinizde satın alınan diskler için disk şifrelemeyi etkinleştiremezsiniz. Kümenin yapılandırmasını yükseltirken cloud diskler satın alırsanız disk şifrelemeyi etkinleştirebilirsiniz.
Warm düğümü depolama alanı	Bu parametrenin minimum değeri 500'dür. Birim: GiB.
Warm düğümü sayısı	Satın aldığınız düğüm sayısı alan sayısının katı olmalıdır.

Warm düğümleri satın aldıktan sonra sistem aşağıdaki tabloda gösterildiği gibi düğüm başlatma parametrelerine -Enode.attr.box_type parametresini ekler.

Düğüm türü	Başlatma parametresi
Veri düğümü	-Enode.attr.box_type=hot
Warm düğümü	-Enode.attr.box_type=warm

Frozen düğümler

Frozen düğüm, Searchable Snapshot özelliği için hesaplama katmanıdır. Dizin meta verilerini korur, yerel paylaşımlı önbelleği yönetir ve sorgular için gerektiğinde Object Storage Service (OSS) üzerinden gerekli veri bloklarını çeker. Geçmiş verileri Alibaba Cloud OSS'de anlık görüntüler olarak depolayarak frozen düğümler arama yeteneklerini korurken depolama maliyetlerini %90'a kadar azaltabilir.

Frozen düğümler yalnızca V8.17.0 ve sonraki sürümlerdeki örnekler için desteklenir. Frozen düğümleri etkinleştirdikten sonra bunları devre dışı bırakamazsınız. Devre dışı bırakmak için teknik destek ile iletişime geçin.
Veriler OSS'de depolandığından frozen düğümler büyük kapasiteli yerel diskler gerektirmez. Önbellek isabet oranını artırmak için yeterli bellek yapılandırmanızı öneririz.
Ayrıntılı örnekler için bkz. Searchable Snapshot.

Parametre	Açıklama
Frozen düğüm	V8.17.0 sürümünde yeni bir örnek satın alırken bu özelliği etkinleştirmek için örnek teknik özellikleri bölümündeki onay kutusunu seçebilirsiniz.
Frozen düğüm teknik özellikleri	4 vCPU ve 16 GiB belleğe sahip veya daha yüksek bir örnek türü önerilir. Frozen düğümün belleği dizin meta verilerini korur ve paylaşımlı önbelleği yönetir. Yeterli bellek önbellek isabet oranını artırabilir. Desteklenen teknik özellikler hakkında bilgi için satın alma sayfasına bakın.
Frozen düğüm disk türü	Ultra Disk ve ESSD desteklenir. Yerel diskler yalnızca paylaşımlı önbellek olarak hizmet eder ve veriler OSS'de kalıcı hale getirilir.
Frozen düğüm depolama alanı	500 GiB veya daha fazlası önerilir. Yerel disk alanı paylaşımlı önbellek olarak hizmet eder. Önbellek, bir düğümün toplam disk alanının %90'ını veya toplam alandan 100 GiB çıkarıldığında elde edilen değeri (hangisi daha küçükse) kullanır. En Son Kullanılan (LRU) ilkesi soğuk veri bloklarını temizler. Disk alanı ne kadar büyükse önbellek isabet oranı o kadar yüksek olur.
Frozen düğüm sayısı	Satın aldığınız düğüm sayısı kullanılabilirlik alanı sayısının katı olmalıdır.

Frozen düğümleri satın aldıktan sonra sistem aşağıdaki tabloda gösterildiği gibi düğüm başlatma parametrelerine -Enode.attr.box_type parametresini ekler.

Düğüm türü	Başlatma parametresi
veri düğümü	-Enode.attr.box_type=hot
warm düğümü	-Enode.attr.box_type=warm
frozen düğümü	-Enode.attr.box_type=frozen

Coordinating düğümü

Veri düğümlerinin CPU yükünü paylaşmak için coordinating düğümleri satın alabilirsiniz. Bu işlem bir kümenin işleme performansını ve hizmet kararlılığını artırır. Çok sayıda toplama sorgusu gerektiren hizmetler gibi CPU yoğun hizmetler için coordinating düğümleri satın almanızı öneririz.

Parametre	Açıklama
Coordinating düğümü	cloud-native kontrol mimarisinde dağıtılan bir küme (V7.16 veya sonraki sürümlerdeki bir küme) için satın aldığınız coordinating düğümlerini serbest bırakamazsınız. Kümenizdeki coordinating düğümlerini serbest bırakıp bırakamayacağınızı satın alma sayfasında kontrol edebilirsiniz.
Coordinating düğümü teknik özellikleri	Desteklenen teknik özellikleri satın alma sayfasında görüntüleyebilirsiniz.
Coordinating düğümü disk türü	Bu parametrenin değeri yalnızca Ultra Disk olabilir.
Coordinating düğümü depolama alanı	Bu parametrenin değeri yalnızca 20G olabilir.
Coordinating düğümü sayısı	Satın aldığınız düğüm sayısı alan sayısının katı olmalıdır.

Referanslar

Elasticsearch kümesi satın alma hakkında daha fazla bilgi için bkz. Alibaba Cloud Elasticsearch kümesi oluşturun.
Düğümler hakkında daha fazla bilgi için bkz. Node | Elasticsearch Guide.
Düğüm teknik özelliklerinin fiyatlandırması hakkında daha fazla bilgi için bkz. Fiyatlandırma.

SSS

Bir warm düğümünü devre dışı bıraktıktan sonra kümenin takılması

1. box_type düğüm atama kurallarını kontrol edin

Mevcut tüm dizinler için index.routing.allocation.require.box_type ayarını sorgulayın.

GET */_settings/index.routing.allocation.require.box_type

Çıktı {"index.routing.allocation.require.box_type": "warm"} ise dizin box_type=warm olan düğümlere atanmalıdır.
Herhangi bir dizin şablonunda box_type atama kuralının yapılandırılıp yapılandırılmadığını kontrol edin.

box_type atama kuralının yapılandırılıp yapılandırılmadığını kontrol etmek için tüm dizin şablonlarını sorgulayın. Bir şablon "index.routing.allocation.require.box_type": "warm" döndürüyorsa tüm yeni dizinler varsayılan olarak warm düğümlerine atanır.

Yeni bir dizin oluşturulduğunda şablondan yapılandırmayı miras alır. Bu değer şablonda ayarlanırsa sonraki tüm dizinler otomatik olarak bu kuralı uygular.
GET _ilm/policy?filter_path=*.policy.phases.warm.actions.allocate.require.box_type

Tüm Index Lifecycle Management (ILM) ilkelerinin warm aşaması için düğüm atama yapılandırmasını sorgular.

Bir dizin bir warm düğümüne atanırsa ölçek küçültme işlemi gerçekleştirerek cold veri düğümlerini kapatmak küme değişikliğinin Change is blocked durumuna gelmesine neden olur:

2. Çözüm

İlkeden box_type yapılandırmasını kaldırın

# First, stop ILM.
POST _ilm/stop

# View the specific ILM policy.
GET _ilm/policy/your_policy_name

# Update the ILM policy and remove the box_type configuration from the warm phase.
PUT _ilm/policy/your_policy_name
{
  "policy": {
    "phases": {
      "warm": {
        "actions": {
          "allocate": {
            "require": {
              "box_type": null  # Remove this configuration.
            }
          }
        }
      },
      "hot": {
        "actions": {
          "allocate": {
            "require": {
              "box_type": null  # If present, remove this as well.
            }
          }
        }
      }
    }
  }
}

# If the require field under allocate is empty, delete the entire allocate action.
# Alternatively, retain only other necessary allocation rules, such as the number of replicas.

Dizin şablonundan box_type yapılandırmasını kaldırın

# View the specific template name.
GET _template/?filter_path=*.settings.index.routing.allocation.require.box_type
# Update the template and remove the box_type configuration.
PUT _template/your_template_name
{
  "settings": {
    "index.routing.allocation.require.box_type": null
  }
}
# Alternatively, resubmit the complete template definition without the box_type field.

Dizinden box_type yapılandırmasını kaldırın

# Remove the box_type configuration for a specific index.
PUT /your_index_name/_settings
{
  "index.routing.allocation.require.box_type": null
}
# Remove the configuration for all indexes in a batch.
{
  "index.routing.allocation.require.box_type": null
}