Bu konu, StarRocks örnek tipleri için planlama ve öneriler sunar. Hesaplama-depolama entegre ve hesaplama-depolama ayrıştırılmış örnek tiplerini açıklar.
Hesaplama-depolama entegre sürümü
Hesaplama-depolama entegre sürümünde bir örnek yalnızca frontend (FE) ve backend (BE) düğümleri içerir. Bu bölümde her iki düğüm tipinin teknik özellikleri için öneriler sunulur.
BE düğümleri için CU sayısını tahmin etme
Hesaplama-depolama entegre sürümünde backend (BE) düğümleri veri depolama ve hesaplama görevlerini yürütür.
-
Tahmin formülü
Total CUs = Total rows to scan / CPU processing capability / Expected response time * QPS (Queries Per Second)Parametrelerin açıklamaları aşağıdadır:
Tarancak toplam satır: Her SQL sorgusunun taraması beklenen satır sayısıdır. Bu, tek bir tablodaki toplam satır sayısı değil, yalnızca taranması gereken satır sayısıdır.
CPU işleme kapasitesi: Bu değer, SQL sorgusunun karmaşıklığına bağlı olarak dinamik şekilde değişir. Genellikle saniyede 10 milyon ila 100 milyon satır arasında değişir. SQL sorgusu ne kadar karmaşık olursa işlenen satır sayısı o kadar az olur.
Beklenen yanıt süresi: Bir SQL sorgusunun beklenen çalışma süresidir. Örneğin, sorgunun 1 saniye içinde sonuç döndürmesi gerekir.
Saniye Başına Sorgu (QPS): Saniyede gönderilen eşzamanlı SQL sorgusu sayısıdır. Örneğin, saniyede 30 sorgu.
-
Örnek veriler
ÖnemliFormül, performansın SQL karmaşıklığına göre değişmesi nedeniyle tam olarak doğru olmayabilecek bir tahmin sağlar. Üretim ortamında nihai gereken kaynakları özel işiniz için yapılan stres testi sonuçlarına göre değerlendirmeniz gerekir.
Tarancak toplam satır
SQL karmaşıklığı
Tahmini CPU işleme kapasitesi (satır/s)
Beklenen yanıt süresi (s)
QPS (sorgu/s)
Tahmini toplam CU
Tahmini BE teknik özellikleri
50 milyon satır
Yüksek
20 milyon satır
2
50
63
16 CU × 4 düğüm
50 milyon satır
Orta
50 milyon satır
1,5
100
67
16 CU × 5 düğüm
50 milyon satır
Düşük
100 milyon satır
1
200
100
32 CU × 3 düğüm
1 milyar satır
Yüksek
20 milyon satır
5
20
200
32 CU × 7 düğüm
1 milyar satır
Orta
50 milyon satır
3
50
333
64 CU × 6 düğüm
1 milyar satır
Düşük
100 milyon satır
1
80
800
64 CU × 13 düğüm
30 milyar satır
Yüksek
20 milyon satır
30
10
500
64 CU × 8 düğüm
30 milyar satır
Orta
50 milyon satır
15
20
800
64 CU × 13 düğüm
30 milyar satır
Düşük
100 milyon satır
15
20
400
64 CU × 6 düğüm
300 milyar satır
Yüksek
20 milyon satır
60
5
2083
64 CU × 33 düğüm
300 milyar satır
Orta
50 milyon satır
45
10
2222
64 CU × 35 düğüm
300 milyar satır
Düşük
100 milyon satır
45
10
1111
64 CU × 18 düğüm
BE düğümü depolamasını tahmin etme
Bir StarRocks örneği için gereken toplam depolama alanı, ham veri boyutuna, çoğaltma sayısına ve kullanılan sıkıştırma algoritmasının sıkıştırma oranına bağlıdır.
-
Tahmin formülü
Total storage space required = Raw data size * Number of replicas / Compression ratioParametrelerin açıklamaları aşağıdadır:
Ham veri boyutu: Tek bir satırın boyutu × Toplam satır sayısı.
Çoğaltma sayısı: Hesaplama-depolama entegre mimarisinde bu değer genellikle 3 olarak ayarlanır.
Sıkıştırma oranı: StarRocks zlib, Zstandard (veya zstd), LZ4 ve Snappy olmak üzere dört sıkıştırma algoritmasını destekler; bunlar sıkıştırma oranına göre azalan sırada listelenmiştir. Bu algoritmalar 3:1 ile 5:1 arasında sıkıştırma oranları sağlar.
-
Örnek veriler
Tek bir satırın boyutu (KB)
Satır kaydı sayısı
Çoğaltma sayısı
Sıkıştırma oranı
Tahmini veri boyutu (GB)
50
100.000.000
3
3
4.768,37NotTablodaki değerler yalnızca öneridir. Üretim ortamında nihai gereken kaynakları özel işiniz için yapılan stres testi sonuçlarına göre değerlendirmeniz gerekir.
BE düğümü disk planlaması
Tahmin formülü aşağıdaki gibidir.
Total disk size per BE node = Total storage space / Disk utilization / Number of BE nodes
Parametrelerin açıklamaları aşağıdadır:
Toplam depolama alanı: BE düğümleri için hesaplanan toplam depolama alanı.
Disk kullanım oranı: Hesaplama için kalan %20'lik alanı ayırmak amacıyla %80 kullanım oranı önerilir.
BE düğüm sayısı: CU tahmininden belirlenen BE düğüm sayısı.
Örneğin, toplam depolama alanı 4768 GB, disk kullanım oranı %80 ve 11 BE düğümü varsa hesaplama 4768 GB / 80% / 11 = 541 GB şeklinde olur. Bu nedenle tek bir BE düğümü için toplam disk boyutu 541 GB'dir.
Disk sayısı seçimi
Seçilecek disk sayısı, kurumsal SSD'lerin (ESSD) performansına ve tek bir düğümün toplam disk kapasitesine bağlıdır. Tek disk performansını optimize etmek için aşağıdaki tabloda gösterildiği gibi ESSD PL1 disklerini bölebilirsiniz.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Diğer ESSD cloud diskleri için performans sınırları aşağıdaki gibidir:
ESSD PL0: 320 GB'de maksimum disk IOPS değerine ulaşır.
ESSD PL1: 460 GB'de maksimum disk IOPS değerine ulaşır.
ESSD PL2: 1260 GB'de maksimum disk IOPS değerine ulaşır.
ESSD PL3: 7760 GB'de maksimum disk IOPS değerine ulaşır.
Performansı optimize etmek için ESSD PL1 için disk bölme önerilerine bakın ve diğer ESSD türleri için disk sayısını buna göre ayarlayın.
FE düğümü teknik özelliklerini tahmin etme
Frontend (FE) düğümleri öncelikle meta veri yönetimi, istemci bağlantısı yönetimi, sorgu planlama ve sorgu zamanlamadan sorumludur.
BE düğümlerinin toplam CU sayısına göre FE teknik özelliklerini kabaca tahmin edebilirsiniz. Aşağıdaki tabloda belirli öneriler sunulmaktadır. Bir FE düğümü için veri diski genellikle yalnızca 100 GB gerektirir. Depolama alanı yetersiz kalırsa bunu ayrı olarak ölçeklendirebilirsiniz.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Tablodaki değerler yalnızca öneridir. Üretim ortamında nihai gereken kaynakları özel işiniz için yapılan stres testi sonuçlarına göre değerlendirmeniz gerekir.
Yüksek eşzamanlı nokta sorgusu senaryoları için frontend düğüm sayısını artırmayı düşünün. Örneğin, sayıyı beşe çıkarabilirsiniz.
Hesaplama-depolama ayrıştırılmış sürümü
Hesaplama-depolama ayrıştırılmış sürümünde bir örnek yalnızca FE ve compute node (CN) içerir.
CN'ler için CU sayısını tahmin etme
Daha fazla bilgi için BE düğümleri için CU sayısını tahmin etme
CN depolamasını tahmin etme
CN'ler için depolama alanı öncelikle önbelleğe alınan veriler için kullanılır.
-
Tahmin formülü
Total storage space required = Raw data size / Compression ratio * Hot data percentageParametreler aşağıdaki gibidir:
Ham veri boyutu: Tek bir satırın boyutu × Toplam satır sayısı.
Sıkıştırma oranı: StarRocks zlib, Zstandard (veya zstd), LZ4 ve Snappy olmak üzere dört sıkıştırma algoritmasını destekler; bunlar sıkıştırma oranına göre azalan sırada listelenmiştir. Bu algoritmalar 3:1 ile 5:1 arasında sıkıştırma oranları sağlar.
Sıcak veri yüzdesi: İş ihtiyaçlarınıza göre sık sorgulanan verilerin (sıcak veriler) yüzdesini tahmin edin. Örneğin, bu değeri %50 olarak ayarlayabilirsiniz. Belirli yüzdeyi bilmiyor ancak hesaplama-depolama ayrıştırılmış örnek için yeterli sorgu performansını sağlamak istiyorsanız bu değeri %100 olarak ayarlayın. Bu, bir çoğaltmanın boyutuna eşdeğerdir. Birincil anahtar dizini de önbellek disk alanını kullandığından %20 arabellek önerilir. Bu nedenle önerilen ayar %120'dir.
-
Örnek veriler
Tek bir satırın boyutu (KB)
Satır kaydı sayısı
Sıkıştırma oranı
Sıcak veri yüzdesi
Tahmini veri boyutu (GB)
50
100.000.000
3
%120
1.907,35NotTablodaki değerler yalnızca öneridir. Üretim ortamında nihai gereken kaynakları özel işiniz için yapılan stres testi sonuçlarına göre değerlendirmeniz gerekir.
Tek bir CN için disk boyutu ve miktarı hakkında bilgi edinmek için BE düğümü disk planlaması
FE düğümü teknik özelliklerini tahmin etme
Daha fazla bilgi için FE düğümü teknik özelliklerini tahmin etme