E-MapReduce:Apa itu EMR Serverless StarRocks

Kerangka kerja MPP

StarRocks membagi setiap kueri menjadi unit-unit komputasi fisik yang dijalankan secara paralel di berbagai mesin, masing-masing dengan CPU dan memori khusus. Saat Anda melakukan scale out kluster, performa kueri tunggal juga meningkat secara proporsional.

Mesin eksekusi vektorisasi

Mesin eksekusi vektorisasi mengoptimalkan semua operator, fungsi, modul pemindaian dan penyaringan, serta modul impor dan ekspor pada level CPU. Mesin ini menggunakan instruksi single instruction, multiple data (SIMD) untuk memproses lebih banyak data per siklus clock—benchmark pada dataset standar menunjukkan peningkatan performa operator keseluruhan sebesar 3–10 kali lipat.

Mesin ini juga mencakup Operation on Encoded Data, yang menjalankan operator join, agregasi, dan ekspresi langsung pada string terenkripsi tanpa perlu dekode. Hal ini mengurangi kompleksitas eksekusi SQL dan meningkatkan kecepatan kueri lebih dari dua kali lipat.

Pemisahan komputasi dan penyimpanan

Diperkenalkan dalam StarRocks 3.0, arsitektur pemisahan komputasi dan penyimpanan memisahkan komponen komputasi dari penyimpanan sehingga masing-masing dapat diskalakan secara independen. Node komputasi dapat diskalakan dalam hitungan detik, menghilangkan kebutuhan over-provisioning yang biasanya diperlukan ketika komputasi dan penyimpanan harus berkembang bersamaan.

Lapisan penyimpanan memanfaatkan berbagai layanan penyimpanan objek dengan kapasitas hampir tak terbatas dan kompatibel dengan Hadoop Distributed File System (HDFS). Arsitektur pemisahan komputasi dan penyimpanan mempertahankan paritas fitur penuh dengan arsitektur integrasi komputasi-penyimpanan—pembaruan data, analisis data lake, dan akselerasi tampilan yang di-materialisasi semuanya berfungsi dengan cara yang sama. Performa penulisan data dan kueri data panas hampir identik pada kedua arsitektur tersebut.

Pengoptimal berbasis biaya

Pada kueri join multi-tabel yang kompleks, jumlah rencana eksekusi valid meningkat secara eksponensial seiring bertambahnya jumlah tabel, sehingga pemilihan rencana optimal menjadi NP-hard. CBO StarRocks menggunakan arsitektur bergaya cascades yang disesuaikan untuk mesin eksekusi vektorisasi. CBO ini mendukung:

• Penggunaan ulang sub-ekspresi umum dan penulisan ulang subkueri

• Lateral Join dan Join Reorder

• Pemilihan kebijakan eksekusi join terdistribusi

• Optimasi pengodean kamus untuk kardinalitas rendah

CBO ini mendukung 99 pernyataan SQL TPC-DS.

Mesin penyimpanan kolom real-time

StarRocks menyimpan data dalam format kolom, meningkatkan rasio kompresi, mengurangi I/O disk, dan mempercepat kueri yang hanya membaca sebagian kolom—pola umum dalam beban kerja OLAP. StarRocks memungkinkan Anda memuat data dalam hitungan detik dan menyediakan kemampuan pemrosesan data near-real-time.

Mesin penyimpanan ini menjamin ACID (atomicity, consistency, isolation, dan durability) untuk impor data. Impor batch berhasil atau gagal secara atomik, dan transaksi konkuren memperoleh manfaat dari isolasi snapshot. Mesin ini juga mendukung operasi partial update dan upsert, serta menggunakan indeks kunci primer dengan mode Delete-and-Insert untuk menghindari overhead sort-and-merge saat membaca. Indeks sekunder menangani skenario pembaruan data ber-throughput tinggi.

Tampilan yang di-materialisasi cerdas

Tampilan yang di-materialisasi di StarRocks bekerja secara otomatis:

• Sinkronisasi otomatis — saat data di tabel sumber berubah, tampilan yang di-materialisasi terkait mendeteksi dan menerapkan pembaruan secara real-time, menjaga konsistensi data

• Penulisan ulang kueri transparan — selama perencanaan kueri, StarRocks mendeteksi kapan tampilan yang di-materialisasi dapat mempercepat kueri dan menulis ulang kueri tersebut secara otomatis; tidak diperlukan perubahan aplikasi

• Manajemen siklus hidup latar belakang — buat dan hapus tampilan yang di-materialisasi tanpa intervensi manual; sistem menangani operasi tersebut di latar belakang

• Pengganti ETL — gunakan tampilan yang di-materialisasi untuk mentransformasi dan memproses data di tempatnya, menggantikan pipeline extract, transform, and load (ETL) tradisional dan pra-pemrosesan hulu

Analisis data lake

Gunakan katalog eksternal untuk mengkueri data lake secara langsung—tanpa perlu migrasi data. StarRocks mendukung:

• Format tabel: Apache Hive, Apache Iceberg, Apache Hudi, Delta Lake

• Format file: Parquet, ORC, CSV

• Layanan penyimpanan: HDFS, Amazon Simple Storage Service (S3), Object Storage Service (OSS)

Dalam model ini, data lake berfungsi sebagai single source of truth (SSOT) untuk beban kerja BI, AI, kueri ad hoc, dan pelaporan, sedangkan StarRocks menangani komputasi dan analisis menggunakan mesin vektorisasinya dan CBO.