E-MapReduce:StarRocks

Apa itu StarRocks

• StarRocks adalah database Massively Parallel Processing (MPP) generasi berikutnya yang dirancang untuk analitik cepat dan terpadu di berbagai skenario.

• StarRocks kompatibel dengan MySQL. Anda dapat menghubungkan klien MySQL dan alat BI untuk menganalisis data.

• StarRocks menggunakan arsitektur terdistribusi:

  • Tabel data dipartisi secara horizontal dan disimpan sebagai beberapa replika.

  • Kluster dapat diskalakan hingga menangani data sebesar 10 PB.

  • Menggunakan komputasi paralel MPP untuk mempercepat kueri.

  • Mendukung beberapa replika untuk menjamin toleransi kesalahan.

Fitur utama

StarRocks menggabungkan desain sistem MPP dan terdistribusi. Fitur utamanya meliputi:

Arsitektur yang disederhanakan

• StarRocks mengeksekusi kueri SQL melalui framework MPP-nya, memanfaatkan semua node secara paralel untuk analitik interaktif.

• Kluster StarRocks tidak memiliki dependensi eksternal, sehingga menyederhanakan penerapan dan pemeliharaan sekaligus meningkatkan keandalan.

Mesin vektorisasi penuh

Lapisan komputasi sepenuhnya divectorisasi. Sistem ini menggunakan tata letak memori kolom dan instruksi SIMD untuk memaksimalkan paralelisme CPU, memungkinkan analitik multidimensi dalam waktu kurang dari satu detik.

Optimalisasi kueri cerdas

StarRocks menggunakan cost-based optimizer (CBO) yang memperkirakan biaya eksekusi dan menghasilkan rencana kueri optimal tanpa intervensi manual, sehingga meningkatkan efisiensi untuk beban kerja ad hoc dan ETL.

Kueri federasi

StarRocks mendukung kueri federasi pada tabel eksternal. Anda dapat langsung mengkueri data Hive, MySQL, Elasticsearch, Iceberg, dan Hudi tanpa perlu mengimpornya terlebih dahulu.

Pembaruan efisien

StarRocks mendukung model data detail, agregasi, primary key, dan update. Model primary key mendukung operasi Upsert dan Delete. Penyimpanan dan indeks yang dioptimalkan memungkinkan kueri efisien selama pembaruan konkuren, ideal untuk gudang data real-time.

Tampilan materialisasi cerdas

• Anda dapat membuat materialized view untuk melakukan pre-kalkulasi tabel agregasi dan mempercepat kueri.

• Materialized view secara otomatis mengagregasi data selama proses impor, sehingga tetap konsisten dengan tabel sumber.

• StarRocks secara otomatis memilih materialized view terbaik untuk setiap kueri.

SQL Standar

• StarRocks mendukung Standard SQL, termasuk agregasi, JOIN, pengurutan, window function, dan user-defined function.

• StarRocks mendukung penuh 22 kueri TPC-H dan 99 kueri TPC-DS.

• StarRocks kompatibel dengan MySQL. Anda dapat menggunakan alat klien dan perangkat lunak BI yang sudah ada untuk analisis drag-and-drop.

Pemrosesan aliran dan batch terpadu

• StarRocks mendukung impor data real-time maupun batch.

• Sumber yang didukung: Kafka, HDFS, dan file lokal.

• Format yang didukung: ORC, Parquet, dan CSV.

• StarRocks mengonsumsi data dari Kafka secara real-time dengan semantik exactly-once.

• Impor batch didukung dari file lokal dan HDFS.

Ketersediaan tinggi dan skalabilitas mudah

• StarRocks menyimpan metadata dan data sebagai beberapa replika dengan layanan hot standby untuk mencegah single point of failure.

• Kluster secara otomatis melakukan self-healing. Kegagalan node tidak memengaruhi stabilitas layanan secara keseluruhan.

• Penyimpanan dan komputasi dapat diskalakan hampir secara linear, dengan satu klaster mendukung hingga ratusan node dan data mencapai 10 PB.

• Anda dapat melakukan scale up atau scale down tanpa mengganggu layanan—kueri tetap berjalan selama proses penskalaan.

• StarRocks mendukung perubahan skema secara online. Anda dapat menambah atau menghapus kolom serta membuat materialized view tanpa mengganggu proses impor dan kueri yang sedang berjalan.

Kasus penggunaan