Tüm Ürünler
Search
Belge Merkezi

E-MapReduce:Quick start with a Shared-data instance

Son Güncelleme:Oct 26, 2026

Shared-data örneği, depolamayı hesaplamadan ayırır ve verileri Alibaba Cloud OSS üzerinde saklar. OLAP analizi ve veri ambarı gibi maliyet duyarlı iş yükleri için idealdir ve veri geçişi gerektirmeden OSS, OSS-HDFS ve HDFS üzerindeki Apache Hive, Iceberg, Hudi ve Paimon için veri gölü sorgularını destekler; Presto'ya göre üç ila beş kat daha yüksek performans sunar.

Ön koşullar

  • Bir Alibaba Cloud hesabı kaydedin ve kimlik doğrulamasını tamamlayın.

  • RAM kullanıcısı olarak AliyunEMRStarRocksFullAccess sistem ilkesine sahip olmanız gerekir. Daha fazla bilgi için bkz. RAM kullanıcısına izin atama.

    Not

    StarRocks örneklerini oluşturmak ve yönetmek için AliyunEMRStarRocksFullAccess sistem ilkesi gereklidir.

Dikkat edilmesi gerekenler

Kodunuzun çalışma zamanı ortamını yönetmek ve yapılandırmak sizin sorumluluğunuzdadır.

Yordam

1. Adım: Shared-data StarRocks örneği oluşturun

  1. E-MapReduce Serverless StarRocks örnek listesi sayfasına gidin.

    1. E-MapReduce konsolu oturumunu açın.

    2. Sol gezinme bölmesinde EMR Serverless > StarRocks seçeneğini belirleyin.

    3. Üst menü çubuğunda gerekli bölgeyi seçin.

  2. Instances sayfasında Create Instance düğmesine tıklayın.

  3. E-MapReduce Serverless StarRocks sayfasında örneği yapılandırın.

    Parametre

    Örnek

    Açıklama

    Product Type

    kullandıkça öde

    Pay-as-you-go seçeneğini belirleyin. Faturalandırma ayrıntıları için bkz. kullandıkça öde.

    Region

    Çin (Pekin)

    Örneğin fiziksel konumu.

    Önemli

    Örnek oluşturulduktan sonra bölge değiştirilemez. Bölgeyi dikkatle seçin.

    Network and zone

    • vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

    • Alan I

    • vsw_i/vsw-bp1e2f5fhaplp0g6p****

    Bir sanal özel cloud (VPC), bir alan ve ilgili vSwitch seçin.

    • VPC: Alibaba Cloud'da tanımladığınız yalıtılmış bir ağ ortamıdır.

      Mevcut bir VPC seçin veya bir tane oluşturmak üzere VPC konsoluna gitmek için Create a VPC seçeneğine tıklayın. Daha fazla bilgi için bkz. VPC oluşturma ve yönetme.

      Not
      • VPC oluştururken RFC 1918'de tanımlanan aşağıdaki üç özel ağ aralığından bir IPv4 CIDR bloğu seçmeniz gerekir:

        • 10.0.0.0/8 (10.0.0.0 - 10.255.255.255)

        • 172.16.0.0/12 (172.16.0.0 - 172.31.255.255)

        • 192.168.0.0/16 (192.168.0.0 - 192.168.255.255)

      • Serverless StarRocks örneğinizin İnternet'e erişmesi gerekiyorsa (örneğin, veri aktarmak veya harici tabloları sorgulamak için) VPC'sinin İnternet erişimine sahip olduğundan emin olun. VPC'ye bir İnternet NAT ağ geçidi dağıtabilir ve SNAT özelliğini etkinleştirebilirsiniz. Daha fazla bilgi için bkz. İnternet NAT ağ geçidinin SNAT özelliğini kullanarak İnternet'e erişme.

    • Alan: Örneğin bulunduğu alandır.

    • vSwitch: vSwitch, farklı cloud kaynaklarını bağlayan bir VPC'nin temel ağ modülüdür.

      Mevcut bir vSwitch seçin veya bir tane oluşturmak üzere VPC konsoluna gitmek için . Create vSwitch seçeneğine tıklayın. Daha fazla bilgi için bkz. vSwitch oluşturma ve yönetme.

    Instance Type

    Shared-data

    OLAP çok boyutlu analiz, veri gölü analitiği, harici tablolarda birleşik sorgular, gerçek zamanlı analitik ve veri ambarı gibi daha düşük sorgu performansı gereksinimine sahip iş yükleri için uygundur.

    Instance Edition

    Standart Sürüm

    Basic Edition ve Standard Edition desteklenir. Daha fazla bilgi için bkz. Örnek sürümüne genel bakış.

    Not

    Temel Sürüm yalnızca Çin (Pekin), Çin (Şanghay), Çin (Shenzhen) ve Çin (Hangzhou) bölgelerinde kullanılabilir.

    Kernel Version

    3,3

    StarRocks topluluk sürüm numarası.

    FE Specifications

    • Teknik özellik türü: Standard Specifications

    • Hesaplama birimleri (CU): 8 CU

    • Veri diski: ESSD PL1

    • Yüksek kullanılabilirlik: Varsayılan olarak etkindir

    • Düğüm sayısı: 3

    • Yük dengeleme: Yerleşik PrivateZone

    • Teknik özellik türü: FE düğümlerinin teknik özellik türü, StarRocks'un Instance Edition ile değişir.

      • Basic Edition: Standard Specifications desteklenir.

      • Standard Edition: Standard Specifications ve Memory-optimized Specifications desteklenir.

    • Compute CUs: Hesaplama birimi (CU) sayısını seçin.

      Gereksinimlerinize uygun CU teknik özelliklerini seçin. CU ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.

    • Data Disk: Yalnızca PL1 ESSD desteklenir. Veri diski boyutu 100 GB ile 65000 GB arasında olup adım boyutu 100'dür.

      Cloud diskler hakkında daha fazla bilgi için bkz. Kurumsal SSD'ler.

    • HA: Varsayılan olarak etkindir. Standart sürüm yüksek kullanılabilirliği destekler. Yüksek kullanılabilirliği etkinleştirdiğinizde, StarRocks FE düğüm sayısı arızalanma riskini azaltmak için 1'den 3'e çıkar.

      Önemli

      Üretim ortamları için yüksek kullanılabilirliği etkinleştirmenizi kesinlikle öneririz.

    • Number of Nodes: FE düğüm sayısı. Değer 1 ile 11 arasında tek bir sayı olabilir.

    • Load balancing: Aşağıdaki yöntemleri destekler.

      • Built-in Private Zone: Ekstra maliyet olmadan PrivateZone alan adı çözümlemesi yoluyla trafiği dengeler. Hafif veya maliyet duyarlı senaryolar için uygundur.

        Üretim dışı ortamlar veya düşük yük dengeleme gereksinimine sahip hizmetler için önerilir.

      • Load balancing SLB: SLB hizmeti aracılığıyla yüksek performanslı yük dengeleme sağlar. Yüksek performans ve güvenilirlik gereksinimine sahip üretim ortamları için önerilir.

        FE liderini sorgu trafiğinden kaldırma özelliği yalnızca SLB etkinleştirildikten sonra kullanılabilir.

        Ek ücrete neden olan SLB hizmetini etkinleştirmeniz gerekir. Daha fazla bilgi için bkz. CLB faturalandırmasına genel bakış.

    CN Specifications

    • Teknik özellik türü: Standard Specifications

    • Hesaplama birimleri (CU): 8 CU

    • Veri diski: ESSD PL1, 200 GB, 1 disk

    • Düğüm sayısı: 3

    • Teknik özellik türü: CN düğümlerinin teknik özellik türü, StarRocks'un Instance Edition ile değişir.

      • Basic Edition: Standard Specifications desteklenir.

      • Standard Edition: Aşağıdaki teknik özellikler desteklenir.

        • Standard Specifications: Varsayılan ve önerilen seçenek. 1 CU = 1 CPU çekirdeği + 4 GiB bellek. Bu teknik özellik StarRocks depolama için ESSD kullanır.

        • Memory-optimized Specifications: 1 RCU = 1 CPU çekirdeği + 8 GiB bellek. Bu teknik özellik, çok sayıda karmaşık sorgu çalıştırmak veya yüksek eşzamanlı istekleri işlemek gibi bellek yoğun senaryolar için uygundur. StarRocks depolama için ESSD kullanır.

        • Network-enhanced Specifications: 1 NCU = 1 CPU çekirdeği + 4 GiB bellek olup standart teknik özelliklere göre iki katından fazla ağ bant genişliği sunar. Bu teknik özellik, harici tablolardan büyük miktarda veri taramayı içeren senaryolar için uygundur. StarRocks depolama için ESSD kullanır.

        • High-performance Storage: Bu tür için ayrıntılı teknik özellikleri seçmeniz gerekir. StarRocks depolama için yerel SSD kullanır ve sıkı G/Ç performansı gereksinimleri olan senaryolar için idealdir.

        • High-specification Storage: Bu tür için ayrıntılı teknik özellikleri seçmeniz gerekir. StarRocks depolama için yerel HDD kullanır. Bu tür, çok büyük veri hacimlerini daha düşük maliyetle depolamak için idealdir ancak daha düşük G/Ç performansına sahiptir.

    • Compute CUs: Hesaplama birimi (CU) sayısını seçin.

      Gereksinimlerinize uygun CU teknik özelliklerini seçin. CU ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.

    • Data Disk: ESSD PL0, ESSD PL1 Cloud Disk (Recommended), ESSD PL2, ESSD PL3, Elastic temporary disk (standard edition) ve Elastic temporary disk (Advanced Edition) desteklenir. Cloud disk ve esnek geçici disk ücretleri hakkında daha fazla bilgi için bkz. Faturalandırılabilen öğeler.

      Daha fazla bilgi için bkz. Kurumsal SSD'ler ve Esnek geçici diskler.

      Not
      • Gerekli depolama kapasitesini girebilirsiniz ve sistem otomatik olarak bir yapılandırma önerir. Seçtiğiniz kapasite önerilen eşiği aşarsa, optimal performans için ayarlamanıza yardımcı olacak bir uyarı görüntülenir.

      • Yalnızca Standard Specifications, Memory-optimized Specifications ve Compute enhanced teknik özellikler esnek geçici diskleri destekler. Esnek geçici disklerin bölgeler ve alanlar üzerinde sınırlamaları vardır.

    • Number of Nodes: CN düğüm sayısı. Değer 1 ile 100 arasında olabilir.

    Instance Name

    Özel bir örnek adı girin.

    Örnek adı 1 ila 64 karakter uzunluğunda olmalı ve Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.

    Administrator

    admin

    StarRocks yönetimi için yerleşik yönetici hesabı. Varsayılan kullanıcı adı değiştirilemez.

    Password ve Confirm Password

    Özel bir parola girin.

    StarRocks örneğinin yerleşik admin hesabı için parola. Bu parolayı ileride kullanmak üzere kaydedin. Parolayı unutursanız sıfırlayabilirsiniz. Daha fazla bilgi için bkz. Örnek parolasını nasıl sıfırlarım?

    Örnek parametreleri hakkında daha fazla bilgi için bkz. Örnek oluşturma.

  4. Hizmet sözleşmesini seçin, Create Instance düğmesine tıklayın ve istendiği gibi ödemeyi tamamlayın.

    Ödemeden sonra örnek yönetim sayfasına dönün. Status Running olarak değiştiğinde örnek başarıyla oluşturulmuş olur.

2. Adım: StarRocks örneğine bağlanın

  1. Instances sayfasında hedef örneği bulun ve Actions sütunundaki Connect düğmesine tıklayın.

    StarRocks örneğine başka şekillerde de bağlanabilirsiniz.

  2. StarRocks örneğine bağlanın.

    1. New Connection sekmesinde aşağıdaki parametreleri yapılandırın.

      Yapılandırmayı tamamladıktan sonra bağlantıyı doğrulamak için Ağ Bağlantısını Test Et düğmesine tıklayın ve ardından bağlantıyı oluşturmak için Tamam düğmesine tıklayın.


      Parametre


      Örnek


      Açıklama


      Region


      Çin (Hangzhou)


      StarRocks örneğinizin bulunduğu bölgeyi seçin.


      Instance


      StarRocks_Serverless


      Bağlanmak istediğiniz StarRocks örneğini seçin.


      Name


      Connection_Serverless

      Özel bir bağlantı adı girin.

      Ad 1 ila 64 karakter uzunluğunda olmalı ve Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.


      Username


      Gerçek ihtiyaçlarınıza göre bir değer girin.


      Varsayılan kullanıcı adı admin'dir. Gerektiğinde başka kullanıcılar da oluşturabilirsiniz. Daha fazla bilgi için bkz. Kullanıcıları Yönetme ve Veri Yetkilendirme.


      Password


      Gereksinimlerinize göre bir değer girin.


      Belirtilen kullanıcı adı için parola.

    2. Test Connectivity düğmesine tıklayın.

    3. Bağlantı testi başarılı olduktan sonra OK düğmesine tıklayın.

      SQL sorguları çalıştırabileceğiniz SQL Düzenleyicisi sayfasına yönlendirilirsiniz. Daha fazla bilgi için bkz. EMR StarRocks Manager kullanarak StarRocks örneğine bağlanma.

3. Adım: SQL sorguları çalıştırın

  1. SQL Düzenleyicisi sayfasının Queries sekmesinde image.png simgesine tıklayın.

  2. New iletişim kutusunda Confirm düğmesine tıklayın.

  3. Yeni dosyada aşağıdaki komutları girin. Tüm komutları seçin ve Run düğmesine tıklayın.

    /**Create a database**/
    CREATE DATABASE IF NOT EXISTS load_test;
    
    /**Use the database**/
    USE load_test;
    
    /**Create a table**/
    CREATE TABLE insert_wiki_edit
    (
        event_time DATETIME,
        channel VARCHAR(32) DEFAULT '',
        user VARCHAR(128) DEFAULT '',
        is_anonymous TINYINT DEFAULT '0',
        is_minor TINYINT DEFAULT '0',
        is_new TINYINT DEFAULT '0',
        is_robot TINYINT DEFAULT '0',
        is_unpatrolled TINYINT DEFAULT '0',
        delta INT SUM DEFAULT '0',
        added INT SUM DEFAULT '0',
        deleted INT SUM DEFAULT '0'
    )
    AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
    PARTITION BY RANGE(event_time)
    (
        PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
        PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
        PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
        PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
    )
    DISTRIBUTED BY HASH(user) BUCKETS 10
    PROPERTIES("replication_num" = "1");
    
    /**Insert data**/
    INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);
    
    /**Query data**/
    select * from insert_wiki_edit;

Sorgu sonuçları görüntülenir.

Not

Shared-data örneğinin etkin olduğunu doğrulamak için SHOW CREATE TABLE load_test.insert_wiki_edit; komutunu çalıştırın ve datacache.enable özelliğini kontrol edin. Veritabanını ve tabloyu oluşturduktan sonra dizinlerini OSS paketinizde bulabilirsiniz.

SHOW CREATE TABLE load_test.insert_wiki_edit; komutunu çalıştırın. Sonuç, depolama-hesaplama ayrımının etkin olduğunu onaylayan datacache.enable özelliğini içerir. Aşağıdaki örnek ana PROPERTIES bölümünü göstermektedir.

DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");

4. Adım: Tablo bilgilerini görüntüleyin

  1. Yeni dosyada veritabanlarını görüntülemek için aşağıdaki komutu çalıştırın:

    SHOW PROC '/dbs';

    Sonuçta beş veritabanı listelenir: information_schema (DbId=1, TableNum=46), sys (DbId=100, TableNum=6), _starrocks_audit_db_ (DbId=10004, TableNum=1), _statistics_ (DbId=10023, TableNum=8) ve load_test (DbId=10120, TableNum=1). Her biri için Kota 8.388.608,000 TB'dır ve LastConsistencyCheckTime sütunu boştur.

  2. Ayrıntılı tablo bilgilerini görüntülemek için aşağıdaki komutu çalıştırın:

    SHOW PROC '/dbs/10120';

    Sonuçta TableId, TableName, IndexNum, PartitionColumnName, PartitionNum, State, Type, ReplicaCount, PartitionType ve StoragePath gibi sütunlar bulunur.

    Depolama-hesaplama ayrımı modunda CLOUD_NATIVE Type değeri bir Shared-data tablosunu tanımlar. StoragePath tablonun verilerinin nerede depolandığını gösterir.

5. Adım: Önbellek özelliğini gösterin

  1. Sol gezinme bölmesinde Diagnostics and Analytics > SQL Tasks seçeneğini belirleyin.

  2. Sorguyu bulun ve sorgu kimliğine tıklayın.

  3. Yürütme Ayrıntıları sekmesine tıklayın.

    Profil yürütme ağacında ilgili düğümleri bulup şu ölçümleri bulun: CompressedBytesReadLocalDisk (yerel önbellekten okunan) ve CompressedBytesReadRemote (uzak OSS'ten okunan).

    Bu örnekte insert_wiki_edit_cache tablosu için yerel önbellek etkindir ve ölçümler sorgunun yerel önbelleği tamamen isabet ettiğini doğrular.

    CONNECTOR_SCAN düğümünün ölçüm panelinde CompressedBytesReadLocalDisk değeri 729,52 MB ve CompressedBytesReadRemote değeri 0,00'dır.

    insert_wiki_edit_nocache tablosu için ölçümler, sorgunun yerel önbelleği isabet etmediğini ve tüm verilerin uzak OSS'ten okunduğunu gösterir.

    insert_wiki_edit_nocache tablosu için CONNECTOR_SCAN düğümünde CompressedBytesReadLocalDisk değeri 0.00 ve CompressedBytesReadRemote değeri 804.63 MB olup tüm verilerin uzak OSS'ten okunduğunu doğrular.

6. Adım: Performans testi çalıştırın

Bu örnek, yerel önbellekli depolama-hesaplama ayrımı ile depolama-hesaplama entegrasyonu arasındaki sorgu performansını karşılaştırır. SSB test kümesi kullanılarak daha ayrıntılı bir karşılaştırma için bkz. SSB performans testi talimatları.

  • Veri ortamını hazırlayın.

    • Küme kaynak yapılandırması: 1 FE (8 CU) + 3 CN (Hesaplama: 16 CU | Depolama: 1.000 GB).

    • Küme parametreleri: Varsayılan ayarları kullanın. Depolama-hesaplama ayrımı kümesi için yerel önbelleği etkinleştirin.

    • Veri hacmi: 500 GB (sf=500)

  • Test sonuçları.

    • Depolama-hesaplama entegrasyonu için toplam süre: 21.586 sn.

    • Depolama-hesaplama ayrımı (ikinci yürütmede yerel önbellek etkin) için toplam süre: 27.364 sn.

    • Depolama-hesaplama ayrımı (yerel önbellek etkin değil) için toplam süre: 117.529 sn.

sh ssb_query.sh ssb betiğiyle SSB testi çalıştırıldıktan sonra sonuçlar, yerel önbellek etkinleştirildiğinde depolama-hesaplama ayrımının depolama-hesaplama entegrasyonuyla neredeyse aynı performansı gösterdiğini ve yerel önbellek olmayan yapılandırmaya göre önemli ölçüde daha iyi performans sağladığını gösterir.


SQL


Depolama-hesaplama entegrasyonu


Depolama-hesaplama ayrımı (önbellek etkin)


Depolama-hesaplama ayrımı (önbellek devre dışı)


Q1.1


0m0,373sn


0m0,380sn


0m2,080sn


Q1.2


0m0,303sn


0m0,292sn


0m2,141sn


Q1.3


0m0,101sn


0m0,097sn


0m0,144sn


Q2.1


0m2,461sn


0m2,821sn


0m14,401sn


Q2.2


0m2,272sn


0m2,735sn


0m13,048sn


Q2.3


0m2,168sn


0m2,588sn


0m13,957sn


Q3.1


0m4,536sn


0m4,864sn


0m14,810sn


Q3.2


0m2,371sn


0m2,682sn


0m11,292sn


Q3.3


0m2,082sn


0m2,648sn


0m13,651sn


Q3.4


0m0,195sn


0m0,212sn


0m0,572sn


Q4.1


0m5,122sn


0m5,847sn


0m29,576sn


Q4.2


0m1,141sn


0m1,369sn


0m1,465sn


Q4.3


0m0,661sn


0m0,829sn


0m0,792sn


Toplam


21.586sn


27.364sn


117.529sn

(İsteğe Bağlı) 7. Adım: Örneği serbest bırakın

Önemli

Bu işlem örneği ve tüm kaynaklarını siler. Bu eylem geri alınamaz. Dikkatli ilerleyin.

Ek ücretlerden kaçınmak için artık ihtiyaç duymadığınızda örneği serbest bırakın.

  1. Instances sayfasında örneğin İşlemler sütunundaki Release düğmesine tıklayın.

  2. Görüntülenen iletişim kutusunda OK düğmesine tıklayın.

İlgili belgeler

  • SQL Düzenleyicisi hakkında daha fazla bilgi için bkz. SQL Düzenleyicisi.

  • SQL sorgu ayrıntılarını görüntülemek, yürütme planlarını analiz etmek ve SQL sorunlarını gidermek için bkz. Tanılama ve Analiz.

  • Tüm veritabanı işlemlerini görüntülemek ve analiz etmek için bkz. Denetim Günlüğü.

Bize ulaşın

Sorularınız için 24010016636 kimliğini arayarak destek DingTalk grubumuza katılın.