Shared-data örneği, depolamayı hesaplamadan ayırır ve verileri Alibaba Cloud OSS üzerinde saklar. OLAP analizi ve veri ambarı gibi maliyet duyarlı iş yükleri için idealdir ve veri geçişi gerektirmeden OSS, OSS-HDFS ve HDFS üzerindeki Apache Hive, Iceberg, Hudi ve Paimon için veri gölü sorgularını destekler; Presto'ya göre üç ila beş kat daha yüksek performans sunar.
Ön koşullar
Bir Alibaba Cloud hesabı kaydedin ve kimlik doğrulamasını tamamlayın.
-
RAM kullanıcısı olarak AliyunEMRStarRocksFullAccess sistem ilkesine sahip olmanız gerekir. Daha fazla bilgi için bkz. RAM kullanıcısına izin atama.
NotStarRocks örneklerini oluşturmak ve yönetmek için AliyunEMRStarRocksFullAccess sistem ilkesi gereklidir.
Dikkat edilmesi gerekenler
Kodunuzun çalışma zamanı ortamını yönetmek ve yapılandırmak sizin sorumluluğunuzdadır.
Yordam
1. Adım: Shared-data StarRocks örneği oluşturun
-
E-MapReduce Serverless StarRocks örnek listesi sayfasına gidin.
E-MapReduce konsolu oturumunu açın.
Sol gezinme bölmesinde seçeneğini belirleyin.
Üst menü çubuğunda gerekli bölgeyi seçin.
Instances sayfasında Create Instance düğmesine tıklayın.
-
E-MapReduce Serverless StarRocks sayfasında örneği yapılandırın.
Parametre
Örnek
Açıklama
Product Type
kullandıkça öde
Pay-as-you-go seçeneğini belirleyin. Faturalandırma ayrıntıları için bkz. kullandıkça öde.
Region
Çin (Pekin)
Örneğin fiziksel konumu.
ÖnemliÖrnek oluşturulduktan sonra bölge değiştirilemez. Bölgeyi dikkatle seçin.
Network and zone
-
vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****
-
Alan I
-
vsw_i/vsw-bp1e2f5fhaplp0g6p****
Bir sanal özel cloud (VPC), bir alan ve ilgili vSwitch seçin.
-
VPC: Alibaba Cloud'da tanımladığınız yalıtılmış bir ağ ortamıdır.
Mevcut bir VPC seçin veya bir tane oluşturmak üzere VPC konsoluna gitmek için Create a VPC seçeneğine tıklayın. Daha fazla bilgi için bkz. VPC oluşturma ve yönetme.
Not-
VPC oluştururken RFC 1918'de tanımlanan aşağıdaki üç özel ağ aralığından bir IPv4 CIDR bloğu seçmeniz gerekir:
-
10.0.0.0/8(10.0.0.0 - 10.255.255.255) -
172.16.0.0/12(172.16.0.0 - 172.31.255.255) -
192.168.0.0/16(192.168.0.0 - 192.168.255.255)
-
-
Serverless StarRocks örneğinizin İnternet'e erişmesi gerekiyorsa (örneğin, veri aktarmak veya harici tabloları sorgulamak için) VPC'sinin İnternet erişimine sahip olduğundan emin olun. VPC'ye bir İnternet NAT ağ geçidi dağıtabilir ve SNAT özelliğini etkinleştirebilirsiniz. Daha fazla bilgi için bkz. İnternet NAT ağ geçidinin SNAT özelliğini kullanarak İnternet'e erişme.
-
-
Alan: Örneğin bulunduğu alandır.
-
vSwitch: vSwitch, farklı cloud kaynaklarını bağlayan bir VPC'nin temel ağ modülüdür.
Mevcut bir vSwitch seçin veya bir tane oluşturmak üzere VPC konsoluna gitmek için . Create vSwitch seçeneğine tıklayın. Daha fazla bilgi için bkz. vSwitch oluşturma ve yönetme.
Instance Type
Shared-data
OLAP çok boyutlu analiz, veri gölü analitiği, harici tablolarda birleşik sorgular, gerçek zamanlı analitik ve veri ambarı gibi daha düşük sorgu performansı gereksinimine sahip iş yükleri için uygundur.
Instance Edition
Standart Sürüm
Basic Edition ve Standard Edition desteklenir. Daha fazla bilgi için bkz. Örnek sürümüne genel bakış.
NotTemel Sürüm yalnızca Çin (Pekin), Çin (Şanghay), Çin (Shenzhen) ve Çin (Hangzhou) bölgelerinde kullanılabilir.
Kernel Version
3,3
StarRocks topluluk sürüm numarası.
FE Specifications
-
Teknik özellik türü: Standard Specifications
-
Hesaplama birimleri (CU): 8 CU
-
Veri diski: ESSD PL1
-
Yüksek kullanılabilirlik: Varsayılan olarak etkindir
-
Düğüm sayısı: 3
-
Yük dengeleme: Yerleşik PrivateZone
-
Teknik özellik türü: FE düğümlerinin teknik özellik türü, StarRocks'un Instance Edition ile değişir.
-
Basic Edition: Standard Specifications desteklenir.
-
Standard Edition: Standard Specifications ve Memory-optimized Specifications desteklenir.
-
-
Compute CUs: Hesaplama birimi (CU) sayısını seçin.
Gereksinimlerinize uygun CU teknik özelliklerini seçin. CU ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.
-
Data Disk: Yalnızca PL1 ESSD desteklenir. Veri diski boyutu 100 GB ile 65000 GB arasında olup adım boyutu 100'dür.
Cloud diskler hakkında daha fazla bilgi için bkz. Kurumsal SSD'ler.
-
HA: Varsayılan olarak etkindir. Standart sürüm yüksek kullanılabilirliği destekler. Yüksek kullanılabilirliği etkinleştirdiğinizde, StarRocks FE düğüm sayısı arızalanma riskini azaltmak için 1'den 3'e çıkar.
ÖnemliÜretim ortamları için yüksek kullanılabilirliği etkinleştirmenizi kesinlikle öneririz.
-
Number of Nodes: FE düğüm sayısı. Değer 1 ile 11 arasında tek bir sayı olabilir.
-
Load balancing: Aşağıdaki yöntemleri destekler.
-
Built-in Private Zone: Ekstra maliyet olmadan PrivateZone alan adı çözümlemesi yoluyla trafiği dengeler. Hafif veya maliyet duyarlı senaryolar için uygundur.
Üretim dışı ortamlar veya düşük yük dengeleme gereksinimine sahip hizmetler için önerilir.
-
Load balancing SLB: SLB hizmeti aracılığıyla yüksek performanslı yük dengeleme sağlar. Yüksek performans ve güvenilirlik gereksinimine sahip üretim ortamları için önerilir.
FE liderini sorgu trafiğinden kaldırma özelliği yalnızca SLB etkinleştirildikten sonra kullanılabilir.
Ek ücrete neden olan SLB hizmetini etkinleştirmeniz gerekir. Daha fazla bilgi için bkz. CLB faturalandırmasına genel bakış.
-
CN Specifications
-
Teknik özellik türü: Standard Specifications
-
Hesaplama birimleri (CU): 8 CU
-
Veri diski: ESSD PL1, 200 GB, 1 disk
-
Düğüm sayısı: 3
-
Teknik özellik türü: CN düğümlerinin teknik özellik türü, StarRocks'un Instance Edition ile değişir.
-
Basic Edition: Standard Specifications desteklenir.
-
Standard Edition: Aşağıdaki teknik özellikler desteklenir.
-
Standard Specifications: Varsayılan ve önerilen seçenek. 1 CU = 1 CPU çekirdeği + 4 GiB bellek. Bu teknik özellik StarRocks depolama için ESSD kullanır.
-
Memory-optimized Specifications: 1 RCU = 1 CPU çekirdeği + 8 GiB bellek. Bu teknik özellik, çok sayıda karmaşık sorgu çalıştırmak veya yüksek eşzamanlı istekleri işlemek gibi bellek yoğun senaryolar için uygundur. StarRocks depolama için ESSD kullanır.
-
Network-enhanced Specifications: 1 NCU = 1 CPU çekirdeği + 4 GiB bellek olup standart teknik özelliklere göre iki katından fazla ağ bant genişliği sunar. Bu teknik özellik, harici tablolardan büyük miktarda veri taramayı içeren senaryolar için uygundur. StarRocks depolama için ESSD kullanır.
-
High-performance Storage: Bu tür için ayrıntılı teknik özellikleri seçmeniz gerekir. StarRocks depolama için yerel SSD kullanır ve sıkı G/Ç performansı gereksinimleri olan senaryolar için idealdir.
-
High-specification Storage: Bu tür için ayrıntılı teknik özellikleri seçmeniz gerekir. StarRocks depolama için yerel HDD kullanır. Bu tür, çok büyük veri hacimlerini daha düşük maliyetle depolamak için idealdir ancak daha düşük G/Ç performansına sahiptir.
-
-
-
Compute CUs: Hesaplama birimi (CU) sayısını seçin.
Gereksinimlerinize uygun CU teknik özelliklerini seçin. CU ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.
-
Data Disk: ESSD PL0, ESSD PL1 Cloud Disk (Recommended), ESSD PL2, ESSD PL3, Elastic temporary disk (standard edition) ve Elastic temporary disk (Advanced Edition) desteklenir. Cloud disk ve esnek geçici disk ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.
Daha fazla bilgi için bkz. Kurumsal SSD'ler ve Esnek geçici diskler.
Not-
Gerekli depolama kapasitesini girebilirsiniz ve sistem otomatik olarak bir yapılandırma önerir. Seçtiğiniz kapasite önerilen eşiği aşarsa, optimal performans için ayarlamanıza yardımcı olacak bir uyarı görüntülenir.
-
Yalnızca Standard Specifications, Memory-optimized Specifications ve Compute enhanced teknik özellikler esnek geçici diskleri destekler. Esnek geçici disklerin bölgeler ve alanlar üzerinde sınırlamaları vardır.
-
-
Number of Nodes: CN düğüm sayısı. Değer 1 ile 100 arasında olabilir.
Instance Name
Özel bir örnek adı girin.
Örnek adı 1 ila 64 karakter uzunluğunda olmalı ve Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.
Administrator
admin
StarRocks yönetimi için yerleşik yönetici hesabı. Varsayılan kullanıcı adı değiştirilemez.
Password ve Confirm Password
Özel bir parola girin.
StarRocks örneğinin yerleşik admin hesabı için parola. Bu parolayı ileride kullanmak üzere kaydedin. Parolayı unutursanız sıfırlayabilirsiniz. Daha fazla bilgi için bkz. Örnek parolasını nasıl sıfırlarım?
Örnek parametreleri hakkında daha fazla bilgi için bkz. Örnek oluşturma.
-
-
Hizmet sözleşmesini seçin, Create Instance düğmesine tıklayın ve istendiği gibi ödemeyi tamamlayın.
Ödemeden sonra örnek yönetim sayfasına dönün. Status Running olarak değiştiğinde örnek başarıyla oluşturulmuş olur.
2. Adım: StarRocks örneğine bağlanın
-
Instances sayfasında hedef örneği bulun ve Actions sütunundaki Connect düğmesine tıklayın.
StarRocks örneğine başka şekillerde de bağlanabilirsiniz.
-
StarRocks örneğine bağlanın.
-
New Connection sekmesinde aşağıdaki parametreleri yapılandırın.
Yapılandırmayı tamamladıktan sonra bağlantıyı doğrulamak için Ağ Bağlantısını Test Et düğmesine tıklayın ve ardından bağlantıyı oluşturmak için Tamam düğmesine tıklayın.
Parametre
Örnek
Açıklama
Region
Çin (Hangzhou)
StarRocks örneğinizin bulunduğu bölgeyi seçin.
Instance
StarRocks_Serverless
Bağlanmak istediğiniz StarRocks örneğini seçin.
Name
Connection_ServerlessÖzel bir bağlantı adı girin.
Ad 1 ila 64 karakter uzunluğunda olmalı ve Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.
Username
Gerçek ihtiyaçlarınıza göre bir değer girin.
Varsayılan kullanıcı adı admin'dir. Gerektiğinde başka kullanıcılar da oluşturabilirsiniz. Daha fazla bilgi için bkz. Kullanıcıları Yönetme ve Veri Yetkilendirme.
Password
Gereksinimlerinize göre bir değer girin.
Belirtilen kullanıcı adı için parola. Test Connectivity düğmesine tıklayın.
-
Bağlantı testi başarılı olduktan sonra OK düğmesine tıklayın.
SQL sorguları çalıştırabileceğiniz SQL Düzenleyicisi sayfasına yönlendirilirsiniz. Daha fazla bilgi için bkz. EMR StarRocks Manager kullanarak StarRocks örneğine bağlanma.
-
3. Adım: SQL sorguları çalıştırın
SQL Düzenleyicisi sayfasının Queries sekmesinde
simgesine tıklayın.New iletişim kutusunda Confirm düğmesine tıklayın.
-
Yeni dosyada aşağıdaki komutları girin. Tüm komutları seçin ve Run düğmesine tıklayın.
/**Create a database**/ CREATE DATABASE IF NOT EXISTS load_test; /**Use the database**/ USE load_test; /**Create a table**/ CREATE TABLE insert_wiki_edit ( event_time DATETIME, channel VARCHAR(32) DEFAULT '', user VARCHAR(128) DEFAULT '', is_anonymous TINYINT DEFAULT '0', is_minor TINYINT DEFAULT '0', is_new TINYINT DEFAULT '0', is_robot TINYINT DEFAULT '0', is_unpatrolled TINYINT DEFAULT '0', delta INT SUM DEFAULT '0', added INT SUM DEFAULT '0', deleted INT SUM DEFAULT '0' ) AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled) PARTITION BY RANGE(event_time) ( PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'), PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'), PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'), PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00') ) DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES("replication_num" = "1"); /**Insert data**/ INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0); /**Query data**/ select * from insert_wiki_edit;
Sorgu sonuçları görüntülenir.
Shared-data örneğinin etkin olduğunu doğrulamak için SHOW CREATE TABLE load_test.insert_wiki_edit; komutunu çalıştırın ve datacache.enable özelliğini kontrol edin. Veritabanını ve tabloyu oluşturduktan sonra dizinlerini OSS paketinizde bulabilirsiniz.
SHOW CREATE TABLE load_test.insert_wiki_edit; komutunu çalıştırın. Sonuç, depolama-hesaplama ayrımının etkin olduğunu onaylayan datacache.enable özelliğini içerir. Aşağıdaki örnek ana PROPERTIES bölümünü göstermektedir.
DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");
4. Adım: Tablo bilgilerini görüntüleyin
-
Yeni dosyada veritabanlarını görüntülemek için aşağıdaki komutu çalıştırın:
SHOW PROC '/dbs';Sonuçta beş veritabanı listelenir:
information_schema(DbId=1, TableNum=46),sys(DbId=100, TableNum=6),_starrocks_audit_db_(DbId=10004, TableNum=1),_statistics_(DbId=10023, TableNum=8) veload_test(DbId=10120, TableNum=1). Her biri için Kota 8.388.608,000 TB'dır ve LastConsistencyCheckTime sütunu boştur. -
Ayrıntılı tablo bilgilerini görüntülemek için aşağıdaki komutu çalıştırın:
SHOW PROC '/dbs/10120';Sonuçta TableId, TableName, IndexNum, PartitionColumnName, PartitionNum, State, Type, ReplicaCount, PartitionType ve StoragePath gibi sütunlar bulunur.
Depolama-hesaplama ayrımı modunda
CLOUD_NATIVEType değeri bir Shared-data tablosunu tanımlar.StoragePathtablonun verilerinin nerede depolandığını gösterir.
5. Adım: Önbellek özelliğini gösterin
Sol gezinme bölmesinde seçeneğini belirleyin.
Sorguyu bulun ve sorgu kimliğine tıklayın.
-
Yürütme Ayrıntıları sekmesine tıklayın.
Profil yürütme ağacında ilgili düğümleri bulup şu ölçümleri bulun: CompressedBytesReadLocalDisk (yerel önbellekten okunan) ve CompressedBytesReadRemote (uzak OSS'ten okunan).
Bu örnekte insert_wiki_edit_cache tablosu için yerel önbellek etkindir ve ölçümler sorgunun yerel önbelleği tamamen isabet ettiğini doğrular.
CONNECTOR_SCAN düğümünün ölçüm panelinde CompressedBytesReadLocalDisk değeri 729,52 MB ve CompressedBytesReadRemote değeri 0,00'dır.
insert_wiki_edit_nocache tablosu için ölçümler, sorgunun yerel önbelleği isabet etmediğini ve tüm verilerin uzak OSS'ten okunduğunu gösterir.
insert_wiki_edit_nocache tablosu için CONNECTOR_SCAN düğümünde CompressedBytesReadLocalDisk değeri
0.00ve CompressedBytesReadRemote değeri804.63 MBolup tüm verilerin uzak OSS'ten okunduğunu doğrular.
6. Adım: Performans testi çalıştırın
Bu örnek, yerel önbellekli depolama-hesaplama ayrımı ile depolama-hesaplama entegrasyonu arasındaki sorgu performansını karşılaştırır. SSB test kümesi kullanılarak daha ayrıntılı bir karşılaştırma için bkz. SSB performans testi talimatları.
-
Veri ortamını hazırlayın.
Küme kaynak yapılandırması: 1 FE (8 CU) + 3 CN (Hesaplama: 16 CU | Depolama: 1.000 GB).
Küme parametreleri: Varsayılan ayarları kullanın. Depolama-hesaplama ayrımı kümesi için yerel önbelleği etkinleştirin.
Veri hacmi: 500 GB (sf=500)
-
Test sonuçları.
Depolama-hesaplama entegrasyonu için toplam süre: 21.586 sn.
Depolama-hesaplama ayrımı (ikinci yürütmede yerel önbellek etkin) için toplam süre: 27.364 sn.
Depolama-hesaplama ayrımı (yerel önbellek etkin değil) için toplam süre: 117.529 sn.
sh ssb_query.sh ssb betiğiyle SSB testi çalıştırıldıktan sonra sonuçlar, yerel önbellek etkinleştirildiğinde depolama-hesaplama ayrımının depolama-hesaplama entegrasyonuyla neredeyse aynı performansı gösterdiğini ve yerel önbellek olmayan yapılandırmaya göre önemli ölçüde daha iyi performans sağladığını gösterir.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(İsteğe Bağlı) 7. Adım: Örneği serbest bırakın
Bu işlem örneği ve tüm kaynaklarını siler. Bu eylem geri alınamaz. Dikkatli ilerleyin.
Ek ücretlerden kaçınmak için artık ihtiyaç duymadığınızda örneği serbest bırakın.
Instances sayfasında örneğin İşlemler sütunundaki Release düğmesine tıklayın.
Görüntülenen iletişim kutusunda OK düğmesine tıklayın.
İlgili belgeler
SQL Düzenleyicisi hakkında daha fazla bilgi için bkz. SQL Düzenleyicisi.
SQL sorgu ayrıntılarını görüntülemek, yürütme planlarını analiz etmek ve SQL sorunlarını gidermek için bkz. Tanılama ve Analiz.
Tüm veritabanı işlemlerini görüntülemek ve analiz etmek için bkz. Denetim Günlüğü.
Bize ulaşın
Sorularınız için 24010016636 kimliğini arayarak destek DingTalk grubumuza katılın.