XUANWU analytical storage engine menyediakan penyimpanan data kelas perusahaan yang andal dan tersedia dengan performa tinggi pada biaya rendah. Mesin ini mendukung AnalyticDB for MySQL dalam mengimplementasikan penulisan data real-time berkapasitas tinggi dan kueri real-time berperforma tinggi.
XUANWU analytical storage engine (XUANWU)
Penulisan data real-time berkapasitas tinggi
AnalyticDB for MySQL menggunakan arsitektur tiga lapis untuk memberikan throughput tinggi. Lapisan node akses, lapisan node penyimpanan, dan lapisan penyimpanan terdistribusi persisten dapat diskalakan secara paralel. AnalyticDB for MySQL mendukung format penyimpanan hibrid baris-kolom serta migrasi asinkron data tambahan untuk mencapai penulisan data real-time berkapasitas tinggi dan konkurensi tinggi.
AnalyticDB for MySQL menggunakan protokol konsensus Raft dan metode apply untuk menulis data secara sinkron. Hal ini memungkinkan pengguna untuk langsung menanyakan data setelah ditulis sambil memastikan konsistensi penulisan. Mesin XUANWU menggunakan teknologi mark-for-delete untuk memperbarui dan menghapus data secara real-time dengan kapasitas tinggi, serta teknologi kontrol konkurensi multiversion (MVCC) untuk menjaga keatomikan dan integritas data.
Penyimpanan hibrid baris-kolom
Mesin XUANWU mendukung format penyimpanan hibrid baris-kolom, mirip dengan format Optimized Row Columnar (ORC) atau Parquet di Apache Hadoop. Format ini mendukung pemangkasan kolom analitik, pemindaian data berkapasitas tinggi, dan penyelarasan baris untuk mencapai kueri acak berperforma tinggi, terutama dalam skenario yang melibatkan penyaringan indeks multidimensi.
Gambar berikut mengilustrasikan format penyimpanan hibrid baris-kolom.
Pengindeksan adaptif
Dalam skenario pemrosesan analitik online (OLAP), diperlukan kueri multidimensi, namun indeks satu kolom atau gabungan tradisional dalam skenario OLTP tidak cukup memenuhi persyaratan. Mesin XUANWU menggunakan pengindeksan adaptif pada kolom untuk secara otomatis mengonfigurasi struktur data indeks berdasarkan jenis kolom seperti STRING, NUMBER, TEXT, JSON, dan VECTOR. Selain itu, mesin XUANWU menggunakan indeks tingkat kolom untuk mengimplementasikan penggabungan multidimensi progresif dalam aliran bertahap, meningkatkan performa penyaringan data secara signifikan.
Jenis indeks yang didukung meliputi: indeks terbalik, indeks BKD-tree, dan indeks bitmap. Performa indeks bervariasi berdasarkan karakteristik distribusi data, seperti kardinalitas dan jumlah catatan tabel untuk kueri rentang. Dalam beberapa skenario, overhead pengindeksan lebih tinggi daripada overhead pemindaian. Contohnya adalah kueri dengan kondisi usia > 0 dan usia < 100. Mesin XUANWU menentukan apakah akan mengindeks atau memindai data berdasarkan optimasi berbasis biaya (CBO).
Gambar berikut menunjukkan cara menggunakan penggabungan multiway untuk berbagai jenis indeks.
Fusi indeks terstruktur dan tidak terstruktur
Pengelola indeks mesin XUANWU mengelola indeks terstruktur dan tidak terstruktur di lapisan penyimpanan secara terpusat. Indeks mencakup indeks BKD nilai numerik, indeks terbalik string, indeks JSON dan vektor tidak terstruktur, serta indeks teks penuh data teks. Pengelola indeks memberikan ekspresi seragam untuk lapisan komputasi, memungkinkan logika SQL lapisan komputasi kompatibel dengan berbagai tipe data dan mempercepat kueri. AnalyticDB for MySQL melakukan analisis korelasi antara data teks penuh dan tabel terstruktur untuk mendukung logika SQL kompleks. Contoh:
Kueri di atas melakukan analisis asosiasi pada set hasil dari pencarian teks penuh dalam subquery, mengurutkan hasil secara menurun berdasarkan skor, dan mengembalikan 10.000 baris pertama.
XUANWU analytical storage engine V2 (XUANWU_V2)
Mesin XUANWU_V2 adalah mesin penyimpanan generasi berikutnya yang dikembangkan berdasarkan mesin XUANWU untuk AnalyticDB for MySQL.
Organisasi data yang efisien
Mesin XUANWU_V2 mengoptimalkan metode organisasi data. Data ditulis ke mesin real-time dalam mode append dan kemudian disimpan ke mesin data lengkap yang ramah pembacaan. Tugas compaction memadatkan data di dalam atau di antara level mesin data lengkap, memastikan bahwa data di bawah level L0 diurutkan secara partisi dan diorganisasikan secara fisik berdasarkan ukuran tetap.
Gambar berikut menggambarkan bagaimana data diorganisasikan.
Metode ini memastikan bahwa mesin real-time dapat membangun data untuk mesin data lengkap yang ramah pembacaan secara tepat waktu, meningkatkan performa kueri. Selain itu, metode ini mengurangi masalah amplifikasi baca selama compaction, mengurangi konsumsi CPU dan I/O. Mesin XUANWU_V2 dapat membagi dan memadatkan file partisi yang terlalu besar atau kecil secara adaptif tanpa memerlukan pemilihan kunci partisi manual.
Format penyimpanan yang efisien
Mesin XUANWU_V2 menggunakan format file yang mengatur blok I/O berdasarkan ukuran tetap di atas format file asli yang mengatur blok I/O tingkat kolom berdasarkan jumlah baris tetap. Metode baru ini mengoptimalkan manajemen I/O dan memori, menyelesaikan masalah penyelarasan baris dan ketidaksesuaian ukuran I/O, meningkatkan efisiensi penggunaan ulang memori, serta mengurangi overhead aplikasi dan pengambilan kembali memori. Metode ini juga menyelaraskan operasi memori dan I/O, mengurangi amplifikasi baca dan biaya I/O.
Elastisitas penskalaan horizontal yang lebih baik
Mesin XUANWU_V2 menyimpan semua data di Object Storage Service (OSS), yang secara signifikan mengurangi biaya penyimpanan pengguna dan meningkatkan efisiensi penskalaan horizontal serta migrasi node. Mesin XUANWU_V2 menggunakan Enterprise SSD (ESSD) sebagai cache kueri dan memungkinkan pengguna menjalankan pernyataan DDL untuk mempramuat data di partisi tertentu dan kueri data yang dicache secara otomatis, meningkatkan performa kueri secara efektif.