All Products
Search

This Product

    E-MapReduce:Memulai dengan instans Shared-data

    Document Center

    E-MapReduce:Memulai dengan instans Shared-data

    Last Updated:Jun 22, 2026

    Instans Shared-data ideal untuk beban kerja yang sensitif terhadap biaya penyimpanan dan memiliki persyaratan kinerja kueri yang lebih rendah, seperti analisis multidimensi OLAP dan aplikasi data warehouse. Tipe instans ini juga cocok untuk mengkueri data yang disimpan di berbagai data lake, termasuk Apache Hive, Apache Iceberg, Apache Hudi, dan Apache Paimon, di berbagai platform seperti Object Storage Service (OSS), OSS-HDFS, dan HDFS. Dengan instans ini, Anda dapat mengkueri dan menganalisis data lake secara cepat tanpa perlu memindahkan data, dengan kinerja tiga hingga lima kali lebih tinggi dibandingkan Presto. Tipe instans ini menggunakan arsitektur pemisahan penyimpanan dan komputasi serta menyimpan data di Alibaba Cloud OSS.

    Prasyarat

    • Daftarkan Akun Alibaba Cloud dan lengkapi verifikasi identitas.

    • Sebagai Pengguna RAM, Anda harus memiliki kebijakan sistem AliyunEMRStarRocksFullAccess. Untuk informasi selengkapnya, lihat Memberikan izin kepada Pengguna RAM.

      Catatan

      Kebijakan sistem AliyunEMRStarRocksFullAccess diperlukan untuk membuat dan mengelola instans StarRocks.

    Peringatan

    Anda bertanggung jawab untuk mengelola dan mengkonfigurasi lingkungan runtime untuk kode Anda.

    Prosedur

    Langkah 1: Membuat instans StarRocks Shared-data

    1. Buka halaman daftar instans E-MapReduce Serverless StarRocks.

      1. Masuk ke Konsol E-MapReduce.

      2. Pada panel navigasi di sebelah kiri, pilih EMR Serverless > StarRocks.

      3. Pada bilah menu atas, pilih wilayah yang diperlukan.

    2. Pada halaman Instances, klik Create Instance.

    3. Pada halaman E-MapReduce Serverless StarRocks, konfigurasikan instans.

      Parameter

      Contoh

      Deskripsi

      Product Type

      pay-as-you-go

      Pilih Pay-as-you-go. Untuk detail penagihan, lihat pay-as-you-go.

      Region

      China (Beijing)

      Lokasi fisik instans.

      Penting

      Anda tidak dapat mengubah wilayah setelah instans dibuat. Pilih wilayah dengan hati-hati.

      Network and zone

      • vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

      • Zone I

      • vsw_i/vsw-bp1e2f5fhaplp0g6p****

      Pilih virtual private cloud (VPC), zona, dan vSwitch yang sesuai.

      • VPC: Lingkungan jaringan terisolasi yang Anda definisikan di Alibaba Cloud.

        Pilih VPC yang sudah ada, atau klik Create a VPC untuk membuka Konsol VPC dan membuatnya. Untuk informasi selengkapnya, lihat Membuat dan mengelola VPC.

        Catatan

        • Saat membuat VPC, Anda harus memilih Blok CIDR IPv4 dari salah satu dari tiga rentang jaringan pribadi berikut yang didefinisikan dalam RFC 1918:

          • 10.0.0.0/8 (10.0.0.0 hingga 10.255.255.255)

          • 172.16.0.0/12 (172.16.0.0 hingga 172.31.255.255)

          • 192.168.0.0/16 (192.168.0.0 hingga 192.168.255.255)

        • Jika instans Serverless StarRocks Anda perlu mengakses Internet (misalnya, untuk mengimpor data atau mengkueri tabel eksternal), pastikan VPC-nya memiliki akses Internet. Anda dapat men-deploy Internet NAT gateway di VPC dan mengaktifkan fitur SNAT. Untuk informasi selengkapnya, lihat Menggunakan fitur SNAT pada Internet NAT gateway untuk mengakses Internet.

      • Zone: Zona tempat instans berada.

      • vSwitch: vSwitch adalah modul jaringan dasar dari VPC yang menghubungkan berbagai sumber daya cloud.

        Pilih vSwitch yang sudah ada, atau klik . Create vSwitch untuk membuka Konsol VPC dan membuatnya. Untuk informasi selengkapnya, lihat Membuat dan mengelola vSwitch.

      Instance Type

      Shared-data

      Cocok untuk skenario dengan persyaratan kinerja kueri yang lebih rendah, seperti analisis multidimensi OLAP, analitik data lake, kueri federasi pada tabel eksternal, analitik real-time, dan data warehousing.

      Instance Edition

      Standard Edition

      Mendukung Basic Edition dan Standard Edition. Untuk informasi selengkapnya, lihat Ikhtisar edisi instans.

      Catatan

      Basic Edition hanya tersedia di wilayah China (Beijing), China (Shanghai), China (Shenzhen), dan China (Hangzhou).

      Kernel Version

      3.3

      Nomor versi komunitas StarRocks.

      FE Specifications

      • Specification type: Standard Specifications

      • Compute units (CUs): 8 CU

      • Data disk: ESSD PL1

      • High availability: Diaktifkan secara default

      • Number of nodes: 3

      • Load balancing: Built-in PrivateZone

      • Specification type: Jenis spesifikasi node FE bervariasi tergantung pada Instance Edition StarRocks.

        • Basic Edition: Mendukung Standard Specifications.

        • Standard Edition: Mendukung spesifikasi Standard Specifications dan Memory-optimized Specifications.

      • Compute CUs: Pilih jumlah unit komputasi (CUs).

        Pilih spesifikasi CU yang sesuai sesuai kebutuhan. Untuk informasi selengkapnya tentang biaya CU, lihat Item yang ditagihkan.

      • Data Disk: Hanya ESSD PL1 yang didukung. Ukuran disk data berkisar antara 100 GB hingga 65000 GB, dengan ukuran langkah 100.

        Untuk informasi selengkapnya tentang disk cloud, lihat Enterprise SSDs.

      • HA: Diaktifkan secara default. Edisi Standard mendukung ketersediaan tinggi. Setelah Anda mengaktifkan ketersediaan tinggi, jumlah node FE StarRocks meningkat dari 1 menjadi 3 untuk mengurangi risiko kegagalan.

        Penting

        Kami sangat menyarankan Anda mengaktifkan ketersediaan tinggi untuk lingkungan produksi.

      • Number of Nodes: Jumlah node FE. Nilainya dapat berupa angka ganjil dari 1 hingga 11.

      • Load balancing: Mendukung metode berikut.

        • Built-in Private Zone: Menyeimbangkan traffic melalui resolusi nama domain PrivateZone tanpa biaya tambahan. Cocok untuk skenario ringan atau yang sensitif terhadap biaya.

          Disarankan untuk lingkungan non-produksi atau layanan dengan persyaratan load balancing rendah.

        • Load balancing SLB: Menyediakan load balancing berkinerja-tinggi melalui layanan SLB. Disarankan untuk lingkungan produksi dengan persyaratan kinerja dan keandalan tinggi.

          Fitur untuk menghapus FE leader dari traffic kueri hanya tersedia setelah SLB diaktifkan.

          Anda harus mengaktifkan layanan SLB, yang akan menimbulkan biaya tambahan. Untuk informasi selengkapnya, lihat Ikhtisar penagihan CLB.

      CN Specifications

      • Specification type: Standard Specifications

      • Compute units (CUs): 8 CU

      • Data disk: ESSD PL1, 200 GB, 1 disk

      • Number of nodes: 3

      • Specification type: Jenis spesifikasi node CN bervariasi tergantung pada Instance Edition StarRocks.

        • Basic Edition: Mendukung Standard Specifications.

        • Standard Edition: Mendukung spesifikasi berikut.

          • Standard Specifications: Opsi default dan yang direkomendasikan. 1 CU = 1 core CPU + 4 GiB memori. Spesifikasi ini menggunakan ESSD untuk penyimpanan StarRocks.

          • Memory-optimized Specifications: 1 RCU = 1 core CPU + 8 GiB memori. Spesifikasi ini cocok untuk skenario intensif memori, seperti menjalankan banyak kueri kompleks atau menangani permintaan konkurensi tinggi. Spesifikasi ini menggunakan ESSD untuk penyimpanan StarRocks.

          • Network-enhanced Specifications: 1 NCU = 1 core CPU + 4 GiB memori, menawarkan lebar pita jaringan lebih dari dua kali lipat dibandingkan spesifikasi standar. Spesifikasi ini cocok untuk skenario yang melibatkan pemindaian volume data besar dari tabel eksternal. Spesifikasi ini menggunakan ESSD untuk penyimpanan StarRocks.

          • High-performance Storage: Anda perlu memilih spesifikasi detail untuk jenis ini. Spesifikasi ini menggunakan SSD lokal untuk penyimpanan StarRocks dan ideal untuk skenario dengan persyaratan kinerja I/O ketat.

          • High-specification Storage: Anda perlu memilih spesifikasi detail untuk jenis ini. Spesifikasi ini menggunakan HDD lokal untuk penyimpanan StarRocks. Jenis ini ideal untuk menyimpan volume data sangat besar dengan biaya lebih rendah, tetapi memiliki kinerja I/O lebih rendah.

      • Compute CUs: Pilih jumlah unit komputasi (CUs).

        Pilih spesifikasi CU yang sesuai sesuai kebutuhan. Untuk informasi selengkapnya tentang biaya CU, lihat Item yang ditagihkan.

      • Data Disk: Mendukung ESSD PL0, ESSD PL1 Cloud Disk (Recommended), ESSD PL2, ESSD PL3, Elastic temporary disk (standard edition), dan Elastic temporary disk (Advanced Edition). Untuk informasi selengkapnya tentang biaya disk cloud dan disk sementara elastis, lihat Item yang ditagihkan.

        Untuk informasi selengkapnya, lihat Enterprise SSDs dan Elastic ephemeral disks.

        Catatan

        • Anda dapat memasukkan kapasitas penyimpanan yang diperlukan, dan sistem akan secara otomatis merekomendasikan konfigurasi. Jika kapasitas yang Anda pilih melebihi ambang batas yang direkomendasikan, prompt akan ditampilkan untuk membantu Anda menyesuaikan demi kinerja optimal.

        • Hanya spesifikasi Standard Specifications, Memory-optimized Specifications, dan Compute enhanced yang mendukung disk sementara elastis. Disk sementara elastis memiliki keterbatasan pada wilayah dan zona.

      • Number of Nodes: Jumlah node CN. Nilainya dapat berkisar dari 1 hingga 100.

      Instance Name

      Masukkan nama instans kustom.

      Nama instans harus terdiri dari 1 hingga 64 karakter dan dapat berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_).

      Administrator

      admin

      Akun administrator untuk mengelola StarRocks. Username admin default tidak dapat diubah.

      Password dan Confirm Password

      Masukkan password kustom.

      Password untuk akun administrator bawaan admin dari instans StarRocks. Catat password ini untuk penggunaan di masa depan. Jika Anda lupa password, Anda dapat mengatur ulang. Untuk informasi selengkapnya, lihat Bagaimana cara mengatur ulang password instans?

      Untuk informasi selengkapnya tentang parameter instans, lihat Membuat instans.

    4. Pilih perjanjian layanan, klik Create Instance, dan selesaikan pembayaran sesuai petunjuk.

      Setelah pembayaran, kembali ke halaman manajemen instans. Instans berhasil dibuat ketika Status-nya berubah menjadi Running.

    Langkah 2: Menghubungkan ke instans StarRocks

    1. Pada halaman Instances, temukan instans target dan klik Connect pada kolom Actions.

      Anda juga dapat menghubungkan ke instans StarRocks dengan cara lain.

    2. Hubungkan ke instans StarRocks.

      1. Pada tab New Connection, konfigurasikan parameter berikut.

        Setelah menyelesaikan konfigurasi, klik Test Network Connectivity untuk memvalidasi koneksi, lalu klik OK untuk membuatnya.

        Parameter

        Contoh

        Deskripsi

        Region

        China (Hangzhou)

        Pilih lokasi fisik instans StarRocks yang telah dibuat.

        Instance

        StarRocks_Serverless

        Pilih nama instans StarRocks yang telah dibuat.

        Name

        Connection_Serverless

        Masukkan nama koneksi kustom.

        Nama harus terdiri dari 1 hingga 64 karakter dan dapat berisi karakter Tionghoa, huruf, angka, tanda hubung (-), dan garis bawah (_).

        Username

        Masukkan nilai sesuai kebutuhan aktual Anda.

        Username awal default adalah admin. Anda dapat menggunakan username ini untuk terhubung atau membuat pengguna lain sesuai kebutuhan. Untuk informasi selengkapnya tentang cara membuat pengguna, lihat Mengelola Pengguna dan Otorisasi Data.

        Password

        Masukkan nilai sesuai kebutuhan Anda.

        Password yang sesuai dengan username yang dibuat di instans StarRocks.

      2. Klik Test Connectivity.

      3. Setelah pengujian koneksi berhasil, klik OK.

        Anda akan diarahkan ke halaman SQL Editor, tempat Anda dapat menjalankan kueri SQL. Untuk informasi selengkapnya, lihat Menghubungkan ke instans StarRocks menggunakan EMR StarRocks Manager.

    Langkah 3: Menjalankan kueri SQL

    1. Pada halaman Queries di SQL Editor, klik ikon image.png.

    2. Pada kotak dialog New, klik Confirm.

    3. Pada file baru, masukkan perintah berikut. Pilih semua perintah dan klik Run.

      /**Membuat database**/
CREATE DATABASE IF NOT EXISTS load_test;

/**Menggunakan database**/
USE load_test;

/**Membuat tabel**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**Memasukkan data**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**Mengkueri data**/
select * from insert_wiki_edit;

    Sistem mengembalikan informasi yang relevan.

    Catatan

    Anda dapat menjalankan perintah SHOW CREATE TABLE load_test.insert_wiki_edit; dan memeriksa properti datacache.enable untuk memastikan bahwa instans Shared-data aktif. Setelah membuat database dan tabel, Anda juga dapat menemukan direktorinya di Bucket OSS Anda.

    Jalankan perintah SHOW CREATE TABLE load_test.insert_wiki_edit;. Hasil yang dikembalikan berisi properti datacache.enable, yang mengonfirmasi bahwa pemisahan penyimpanan dan komputasi sedang berlaku. Kode berikut memberikan contoh bagian PROPERTIES utama.

    DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");

    Langkah 4: Melihat informasi tabel

    1. Pada file baru, jalankan perintah berikut untuk melihat database:

      SHOW PROC '/dbs';

      Hasilnya mencantumkan lima database: information_schema (DbId=1, TableNum=46), sys (DbId=100, TableNum=6), _starrocks_audit_db_ (DbId=10004, TableNum=1), _statistics_ (DbId=10023, TableNum=8), dan load_test (DbId=10120, TableNum=1). Quota masing-masing adalah 8.388.608,000 TB, dan kolom LastConsistencyCheckTime kosong.

    2. Jalankan perintah berikut untuk melihat informasi tabel secara detail:

      SHOW PROC '/dbs/10120';

      Hasilnya mencakup kolom seperti TableId, TableName, IndexNum, PartitionColumnName, PartitionNum, State, Type, ReplicaCount, PartitionType, dan StoragePath.

      Dalam mode pemisahan penyimpanan dan komputasi, tipe CLOUD_NATIVE mengidentifikasi tabel Shared-data. StoragePath menunjukkan lokasi penyimpanan data tabel tersebut.

    Langkah 5: Menunjukkan fitur cache

    1. Pada panel navigasi di sebelah kiri, pilih Diagnostics and Analytics > SQL Tasks.

    2. Temukan kueri dan klik ID kueri tersebut.

    3. Klik tab Execution Details.

      Dalam pohon eksekusi profil, Anda dapat menemukan node yang relevan dan melihat metrik berikut di sebelah kanan: CompressedBytesReadLocalDisk (dibaca dari cache lokal) dan CompressedBytesReadRemote (dibaca dari OSS remote).

      Dalam contoh ini, tabel insert_wiki_edit_cache telah mengaktifkan caching lokal. Dengan mengamati nilai metrik, Anda dapat memastikan bahwa kueri sepenuhnya mengenai cache lokal.

      Pada panel metrik node CONNECTOR_SCAN, nilai CompressedBytesReadLocalDisk adalah 729,52 MB, dan nilai CompressedBytesReadRemote adalah 0,00.

      Metrik untuk tabel insert_wiki_edit_nocache menunjukkan bahwa kueri tidak mengenai cache lokal dan semua data dibaca dari OSS remote.

      Pada node CONNECTOR_SCAN yang sesuai dengan tabel insert_wiki_edit_nocache, CompressedBytesReadLocalDisk adalah 0,00, dan CompressedBytesReadRemote adalah 804,63 MB. Hal ini menunjukkan bahwa semua data dibaca dari OSS remote dan tidak mengenai cache lokal.

    Langkah 6: Menjalankan uji kinerja

    Contoh ini membandingkan kinerja kueri antara pemisahan penyimpanan-komputasi (dengan cache lokal) dan integrasi penyimpanan-komputasi. Anda dapat menggunakan test set SSB untuk perbandingan kinerja yang lebih detail. Untuk informasi selengkapnya, lihat Petunjuk uji kinerja SSB.

    • Siapkan lingkungan data.

      • Konfigurasi sumber daya kluster: 1 FE (8 CUs) + 3 CN (Komputasi: 16 CUs | Penyimpanan: 1.000 GB).

      • Parameter kluster: Gunakan pengaturan default. Aktifkan cache lokal untuk kluster pemisahan penyimpanan-komputasi.

      • Volume data: 500 GB (sf=500)

    • Hasil pengujian.

      • Total waktu untuk integrasi penyimpanan-komputasi: 21,586 detik.

      • Total waktu untuk pemisahan penyimpanan-komputasi (dengan cache lokal diaktifkan pada eksekusi kedua): 27,364 detik.

      • Total waktu untuk pemisahan penyimpanan-komputasi (tanpa cache lokal diaktifkan): 117,529 detik.

    Setelah menjalankan pengujian SSB dengan skrip sh ssb_query.sh ssb, hasilnya menunjukkan bahwa ketika cache lokal diaktifkan, kinerja kueri pemisahan penyimpanan-komputasi hampir identik dengan integrasi penyimpanan-komputasi dan jauh lebih baik daripada kinerja tanpa cache lokal.

    SQL     

    Storage-compute integration

    Storage-compute separation (cache enabled)

    Storage-compute separation (cache disabled)

    Q1.1    

    0m0.373s

    0m0.380s

    0m2.080s

    Q1.2    

    0m0.303s

    0m0.292s

    0m2.141s

    Q1.3    

    0m0.101s

    0m0.097s

    0m0.144s

    Q2.1    

    0m2.461s

    0m2.821s

    0m14.401s

    Q2.2    

    0m2.272s

    0m2.735s

    0m13.048s

    Q2.3    

    0m2.168s

    0m2.588s

    0m13.957s

    Q3.1    

    0m4.536s

    0m4.864s

    0m14.810s

    Q3.2    

    0m2.371s

    0m2.682s

    0m11.292s

    Q3.3    

    0m2.082s

    0m2.648s

    0m13.651s

    Q3.4    

    0m0.195s

    0m0.212s

    0m0.572s

    Q4.1    

    0m5.122s

    0m5.847s

    0m29.576s

    Q4.2    

    0m1.141s

    0m1.369s

    0m1.465s

    Q4.3    

    0m0.661s

    0m0.829s

    0m0.792s

    Total   

    21.586s

    27.364s

    117.529s

    (Opsional) Langkah 7: Melepas instans

    Penting

    Operasi ini menghapus instans dan semua sumber dayanya. Tindakan ini tidak dapat dikembalikan. Lakukan dengan hati-hati.

    Untuk menghindari biaya tambahan, lepaskan instans jika Anda tidak lagi membutuhkannya.

    1. Pada halaman Instances, klik Release pada kolom Actions instans tersebut.

    2. Pada kotak dialog yang muncul, klik OK.

    Dokumentasi terkait

    • Untuk informasi selengkapnya tentang SQL Editor, lihat SQL Editor.

    • Untuk melihat informasi kueri SQL untuk instans saat ini, menganalisis rencana eksekusi SQL, serta mendiagnosis dan memecahkan masalah SQL, lihat Diagnostics and Analysis.

    • Untuk melihat dan menganalisis semua operasi yang terjadi di database, lihat Audit Log.

    Hubungi kami

    Untuk pertanyaan, bergabunglah dengan grup dukungan DingTalk kami dengan mencari ID 24010016636.