E-MapReduce:Ikhtisar StarRocks

Apa itu StarRocks

• StarRocks adalah database Massively Parallel Processing (MPP) generasi berikutnya yang dirancang untuk analitik cepat dan terpadu di berbagai skenario.

• StarRocks kompatibel dengan MySQL. Anda dapat menghubungkan klien MySQL dan alat BI untuk menganalisis data.

• StarRocks menggunakan arsitektur terdistribusi:

  • Tabel data dipartisi secara horizontal dan disimpan sebagai beberapa replika.

  • Kluster dapat diskalakan untuk menangani hingga 10 PB data.

  • Menggunakan komputasi paralel MPP untuk mempercepat kueri.

  • Mendukung beberapa replika untuk memastikan toleransi kesalahan.

Fitur utama

StarRocks menggabungkan desain sistem MPP dan terdistribusi. Fitur utamanya meliputi:

Arsitektur yang disederhanakan

• StarRocks mengeksekusi kueri SQL melalui framework MPP-nya, memanfaatkan semua node secara paralel untuk analitik interaktif.

• Kluster StarRocks tidak memiliki dependensi eksternal, sehingga menyederhanakan penerapan dan pemeliharaan sekaligus meningkatkan keandalan.

Mesin vektorisasi penuh

Lapisan komputasi sepenuhnya divectorisasi. Mesin ini menggunakan tata letak memori kolom dan instruksi SIMD untuk memaksimalkan paralelisme CPU, memungkinkan analitik multidimensi dalam waktu kurang dari satu detik.

Optimalisasi kueri cerdas

StarRocks menggunakan cost-based optimizer (CBO) yang memperkirakan biaya eksekusi dan menghasilkan rencana kueri optimal tanpa intervensi manual, sehingga meningkatkan efisiensi untuk beban kerja ad hoc dan ETL.

Kueri federasi

StarRocks mendukung kueri federasi pada tabel eksternal. Anda dapat langsung mengkueri data Hive, MySQL, Elasticsearch, Iceberg, dan Hudi tanpa perlu mengimpornya terlebih dahulu.

Pembaruan efisien

StarRocks mendukung model data detail, agregasi, primary key, dan pembaruan. Model primary key mendukung operasi Upsert dan Delete. Penyimpanan dan indeks yang dioptimalkan memungkinkan kueri efisien selama pembaruan konkuren, menjadikannya ideal untuk gudang data real-time.

Tampilan materialisasi cerdas

• Anda dapat membuat materialized view untuk melakukan pra-perhitungan tabel agregasi dan mempercepat kueri.

• Materialized view secara otomatis mengagregasi data selama impor, sehingga tetap konsisten dengan tabel sumber.

• StarRocks secara otomatis memilih materialized view terbaik untuk setiap kueri.

SQL Standar

• StarRocks mendukung Standard SQL, termasuk agregasi, JOIN, pengurutan, window function, dan user-defined function.

• StarRocks mendukung penuh ke-22 kueri TPC-H dan ke-99 kueri TPC-DS.

• StarRocks kompatibel dengan MySQL. Anda dapat menggunakan alat klien dan perangkat lunak BI yang sudah ada untuk analisis drag-and-drop.

Pemrosesan aliran dan batch terpadu

• StarRocks mendukung impor data real-time dan batch.

• Sumber yang didukung: Kafka, HDFS, dan file lokal.

• Format yang didukung: ORC, Parquet, dan CSV.

• StarRocks mengonsumsi data dari Kafka secara real-time dengan semantik exactly-once.

• Impor batch didukung dari file lokal dan HDFS.

Ketersediaan tinggi dan skalabilitas mudah

• StarRocks menyimpan metadata dan data sebagai beberapa replika dengan layanan hot standby untuk mencegah single point of failure.

• Kluster secara otomatis melakukan self-healing. Kegagalan node tidak memengaruhi stabilitas layanan secara keseluruhan.

• Penyimpanan dan komputasi dapat diskalakan hampir secara linear. Satu klaster mendukung ratusan node dan hingga 10 PB data.

• Anda dapat melakukan scale up atau scale down tanpa gangguan layanan; kueri tetap berjalan selama proses penskalaan.

• StarRocks mendukung perubahan skema secara online. Anda dapat menambah atau menghapus kolom serta membuat materialized view tanpa menghentikan proses impor dan kueri.

Kasus penggunaan