Star Schema Benchmark (SSB), veri ambarlarında OLAP sorgu performansını değerlendirmek için kullanılan endüstri standardı bir araçtır. Bu konu, EMR Serverless StarRocks üzerinde SSB performans testinin nasıl çalıştırılacağını adım adım açıklar.
Bu konudaki SSB uygulaması SSB benchmarkına dayanır. Sonuçlar, yayınlanan SSB benchmark sonuçlarıyla karşılaştırılamaz.
Referans sonuçları
Aşağıdaki sonuçlar 8 CU'lu bir örnek (8 çekirdek, 32 GB bellek) üzerinde ölçülmüştür. Her değer milisaniye cinsinden sorgu yanıt süresidir. Düşük değer daha iyidir.
Test ortamı
| Bileşen | Teknik Özellikler |
|---|---|
| Hesaplama birimi (CU) | 8 CU (8 çekirdek, 32 GB bellek) |
| Ölçek faktörü | 1 (1 GB ham veri) |
SSB geniş tablo sorgusu (ssb-flat modu)
| Sorgu | Süre (ms) |
|---|---|
| Q1,1 | 26 |
| Q1,2 | 13 |
| Q1,3 | 20 |
| Q2,1 | 46 |
| Q2,2 | 40 |
| Q2,3 | 26 |
| Q3,1 | 40 |
| Q3,2 | 33 |
| Q3,3 | 30 |
| Q3,4 | 23 |
| Q4,1 | 26 |
| Q4,2 | 30 |
| Q4,3 | 20 |
| Toplam | 373 |
SSB standart tablo sorgusu (ssb modu)
| Sorgu | Süre (ms) |
|---|---|
| Q1,1 | 26 |
| Q1,2 | 20 |
| Q1,3 | 23 |
| Q2,1 | 103 |
| Q2,2 | 53 |
| Q2,3 | 50 |
| Q3,1 | 86 |
| Q3,2 | 46 |
| Q3,3 | 46 |
| Q3,4 | 36 |
| Q4,1 | 83 |
| Q4,2 | 63 |
| Q4,3 | 53 |
| Toplam | 688 |
SSB genel bakış
SSB; Date, Customer, Supplier, Part ve Lineorder olmak üzere beş tablodan oluşan tipik bir yıldız şema veri modelini simüle eder. Bir veri ambarının veya OLAP sisteminin aşağıdaki performans ölçümlerini değerlendirir:
Sorgu yanıt süresi
Eşzamanlı işleme
Veri yükleme
Sorgu optimizasyonu
SSB ayrıca veri modelinin özelleştirilmesini destekler; örneğin, birleştirme yükünü azaltmak için yıldız şemayı geniş bir tabloya dönüştürme işlemi yapılabilir.
SSB oluşturma aracı, veri hacmini kontrol etmek için bir ölçek faktörü (SF) kullanır: 1 SF = 1 GB ham veri. İndeks depolama bu hesaba dahil değildir, bu nedenle ortamınızı kurarken ek disk alanı ayırmanız gerekir.
Ön koşullar
Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:
Veri oluşturmak, StarRocks'a yüklemek ve istemci sorgularını çalıştırmak için bir Elastic Compute Service (ECS) örneği
Bir EMR Serverless StarRocks örneği
ECS örneği gereksinimleri
| Gereksinim | Ayrıntılar |
|---|---|
| İşletim sistemi | CentOS veya Alibaba Cloud Linux |
| Veri diski | Geliştirilmiş SSD (ESSD); kapasite hedeflenen veri hacmine göre belirlenir |
| Ağ | StarRocks örneği ile aynı bölge ve Virtual Private Cloud (VPC) içinde olmalıdır |
| Genel IP | Gereklidir |
ECS örneği oluşturma talimatları için bkz. Örnek oluşturma.
StarRocks örneği gereksinimleri
Bu konudaki referans sonuçlar 8 CU (8 çekirdek, 32 GB bellek) kullanılarak elde edilmiştir. Hesaplama kaynaklarını test ihtiyaçlarınıza göre ayarlayın.
StarRocks örneği oluşturmak için E-MapReduce konsolu şuraya gidin, EMR Serverless StarRocks bölümüne gidin ve Create Instance seçeneğine tıklayın. Ayrıntılı talimatlar için bkz. Örnek oluşturma.
Her test çalıştırması için yeni oluşturulmuş bir örnek kullanın. Yükseltilmiş veya düşürülmüş örnekler tutarsız sonuçlar üretebilir.
SSB performans testini çalıştırma
Adım 1: Test araç setini indirin ve yapılandırın
ECS örneğinde oturum açın. Bkz. ECS örneğine bağlanma.
-
Test araç setini indirin ve çıkarın.
sudo wget https://starrocks-oss.oss-cn-beijing.aliyuncs.com/public-access/starrocks-ssb-benchmark-for-serverless.tar.gz tar xzvf starrocks-ssb-benchmark-for-serverless.tar.gz -
Araç seti dizinine gidin.
cd starrocks-ssb-benchmark-for-serverless -
Yapılandırma dosyasını açın.
vim conf/starrocks.conf -
Parametreleri ortamınıza göre güncelleyin.
# for mysql cmd mysql_host: fe-c-7b6f92276******-internal.starrocks.aliyuncs.com mysql_port: 9030 mysql_user: admin mysql_password: 1**** database: ssb_sf # cluster ports http_port: 8030 # Specifies whether to enable the bitmap index. bitmap_index: false # benchmark config scale_factor: 1 dataset_generate_root_path: /mnt/disk1/starrocks-benchmark/datasetsParametre Açıklama Varsayılan mysql_hostFrontend (FE) iç uç noktası. Instance Details sekmesinde Gateway Information > Internal endpoint altında bulunur. — mysql_portFE sorgu bağlantı noktası. Instance Details sekmesinde FE Details > Query Port altında bulunur. 9030mysql_userStarRocks örneği kullanıcı adı. adminmysql_passwordStarRocks örneği kullanıcı parolası. — databaseStarRocks örneğinde oluşturulacak veritabanı adı. ssb_sfscale_factorGB cinsinden veri hacmi. 1 = 1 GB ham veri. Oluşturulan veri kümesi için diskinizde yeterli kapasite olduğundan emin olun. 1dataset_generate_root_pathOluşturulan test veri kümesinin depolandığı yerel yol. /mnt/disk1/starrocks-benchmark/datasetsbitmap_indexBitmap Index özelliğinin etkinleştirilip etkinleştirilmeyeceği. Etkinleştirilmesi, özellikle Q2.2, Q2.3 ve Q3.3 için belirli desenlerde sorgu performansını artırır. falsehttp_portFE HTTP bağlantı noktası. Instance Details sekmesinde FE Details > HTTP Port altında bulunur. 8030Önemlimysql_hostparametresini genel uç nokta yerine iç uç noktaya ayarlayın.
Adım 2: Test verilerini oluşturun ve yükleyin
Veritabanını, tabloları ve veri kümesini oluşturmak ve verileri StarRocks'a yüklemek için aşağıdaki komutu çalıştırın.
sh ssb_dataload.sh
Adım 3: Sorguları çalıştırın ve sonuçları görüntüleyin
Sorguları aşağıdaki modlardan birini kullanarak çalıştırın. Terminale bir özet yazdırılır ve tam ayrıntıları içeren bir result.csv dosyası geçerli dizine kaydedilir.
-
Geniş tablo modu — önceden birleştirilmiş düz tabloyu sorgular:
sh ssb_query.sh ssb-flat -
Standart mod — orijinal yıldız şema tablolarını sorgular:
sh ssb_query.sh ssb
Çıktıdaki her değer milisaniye cinsinden sorgu yanıt süresidir. Daha düşük değerler daha iyi performansı gösterir.
Sonraki adımlar
Daha büyük veri hacimleriyle test etmek ve performansın nasıl ölçeklendiğini gözlemlemek için
conf/starrocks.confdosyasındakiscale_factordeğerini ayarlayın.bitmap_index: trueolarak ayarlayın ve benchmarkı yeniden çalıştırarak Bitmap Index özelliğinin Q2.2, Q2.3 ve Q3.3 üzerindeki etkisini ölçün.