Seiring pertumbuhan pesat volume data bisnis, biaya penyimpanan dan efisiensi analitik untuk dataset besar menjadi tantangan kritis bagi banyak perusahaan. Untuk mengatasi hal ini, PolarDB for MySQL memperkenalkan fitur tabel berorientasi kolom X-Engine. Fitur ini memanfaatkan penyimpanan berorientasi kolom, kompresi efisien, dan teknologi komputasi paralel untuk mengurangi biaya penyimpanan hingga 90% dibandingkan biaya awal serta meningkatkan performa kueri analitik hingga satu orde lebih tinggi. Fitur ini memungkinkan pengarsipan data berbiaya rendah dan analisis real-time berkinerja tinggi, sekaligus menjaga kompatibilitas penuh dengan ekosistem MySQL.
Ikhtisar Fitur
Tabel berorientasi kolom X-Engine menggunakan arsitektur terpisah penyimpanan-komputasi. Sumber daya komputasi dan penyimpanan dapat diskalakan secara independen, mendukung pemrosesan data skala PB. Lapisan penyimpanan mengandalkan sistem file terdistribusi dan Object Storage Service (OSS). Lapisan komputasi mencapai analitik berkinerja tinggi melalui optimalisasi mendalam pada Pengoptimal kueri, operator eksekusi, dan Mesin penyimpanan.
Arsitektur Teknis
PolarDB Arsitektur Keseluruhan
PolarDB menggunakan arsitektur komputasi-penyimpanan terpisah yang dibangun di atas lapisan penyimpanan terdistribusi. Dengan protokol ParallelRaft, sistem ini menjamin konsistensi multi-replika dan mendukung OSS secara transparan. Node komputasi terdiri dari satu node baca/tulis (RW) dan satu atau lebih node read-only (RO). Sistem ini mendukung engine InnoDB maupun X-Engine. Proksi database bertindak sebagai jembatan antara aplikasi dan node komputasi, menyediakan pemisahan baca/tulis dan penyeimbangan beban.
Arsitektur Tabel Berorientasi Kolom
Komponen teknis intinya meliputi hal-hal berikut:
Pengoptimal kueri: Pengoptimal berbasis biaya (CBO) bawaan untuk penyimpanan hibrida baris-kolom yang secara cerdas menentukan dan secara otomatis memilih rencana eksekusi optimal—memilih antara penyimpanan baris atau penyimpanan kolom—berdasarkan biaya kueri.
Operator eksekusi: Menggunakan teknologi vektorisasi berorientasi kolom dan eksekusi paralel untuk mempercepat kueri analitik secara signifikan pada penggabungan tabel tunggal maupun multi-tabel melalui pemrosesan batch.
Mesin penyimpanan: Mendukung pembaruan transaksional real-time. Tabel utama menggunakan penyimpanan berorientasi kolom dan memberikan kemampuan pembaruan cepat melalui komponen NCI (Non-Clustered Index). Data yang dihapus ditandai menggunakan mekanisme Delete-mask, memungkinkan kueri paralel efisien tanpa mengganggu operasi tulis real-time. Indeks sekunder berorientasi barisnya secara cepat menyaring data tidak valid, sehingga lebih meningkatkan efisiensi kueri.
Perbandingan Solusi
Untuk membantu Anda memahami dan memilih jenis tabel yang sesuai, tabel berikut membandingkan perbedaan utama antara tabel berorientasi baris tradisional (seperti InnoDB) dan tabel berorientasi kolom PolarDB:
Dimensi Perbandingan | Row-Oriented Table (X-Engine) | Tabel Berorientasi Kolom |
Organisasi Data | Menyimpan data secara berurutan per baris, dengan semua kolom dalam satu baris disimpan bersamaan. | Menyimpan data secara berurutan per kolom, dengan semua nilai dalam satu kolom disimpan bersamaan. |
Rasio Kompresi Data | Sedang. Dibandingkan dengan InnoDB, data dapat dikompresi hingga maksimal 30% dari ukuran aslinya. | Tinggi. Dengan penyimpanan berorientasi kolom dan enkode khusus seperti dictionary encoding, data dapat dikompresi hingga 10% dari ukuran aslinya dibandingkan dengan InnoDB. |
Performa Kueri | Performa kueri titik tinggi. Cocok untuk skenario yang memerlukan pembacaan cepat satu atau beberapa baris berdasarkan primary key atau indeks (OLTP). | Performa analitik kuat. Hanya membaca kolom yang terlibat dalam kueri, sehingga mengurangi I/O. Dikombinasikan dengan komputasi paralel vektorisasi, performa agregasi dan analisis meningkat hingga satu orde lebih tinggi dibandingkan tabel berorientasi baris. |
Performa Pembaruan dan Penghapusan | Tinggi. Langsung menemukan dan memodifikasi baris. | Relatif lebih rendah. Mendukung pembaruan real-time. Dengan komponen NCI, sistem dapat dengan cepat menemukan catatan yang perlu dimodifikasi. |
Skenario | Pemrosesan Transaksi Online (OLTP), seperti operasi insert, delete, update, dan query dengan konkurensi tinggi. | Pemrosesan Analitik Online (OLAP), seperti pengarsipan data, pembuatan laporan, kueri ad hoc, serta agregasi dan analisis data besar. |
Fitur
Biaya Efektif Tinggi: Penyimpanan berorientasi kolom, enkode efisien, dan algoritma kompresi rasio tinggi—dikombinasikan dengan media penyimpanan berbiaya rendah seperti OSS—mengurangi biaya penyimpanan dan pemrosesan data besar hingga 90%.
Analis Real-time Berkinerja Tinggi: Data langsung tersedia untuk kueri analitik setelah dimasukkan. Paralelisme multi-core, vektorisasi, dan teknologi Pemrosesan Paralel Masif (MPP) memberikan performa kueri yang sebanding dengan database analitik khusus, memenuhi kebutuhan analisis real-time yang menuntut.
Kompatibilitas MySQL 100%: Menyediakan sistem tipe data dan protokol yang konsisten dengan MySQL serta mendukung konversi tipe fleksibel. Aplikasi dan alat yang ada dapat terhubung tanpa modifikasi.
Skalabilitas Elastis Independen: Arsitektur komputasi-penyimpanan terpisah memungkinkan node komputasi dan kapasitas penyimpanan diskalakan secara independen sesuai permintaan, menangani lonjakan bisnis dan pertumbuhan data secara mulus.
Dukungan Tabel Lebar Besar yang Andal: Satu tabel mendukung hingga 10.000 kolom, memenuhi kebutuhan bisnis untuk penyimpanan tabel lebar besar dan operasi tulis dengan konkurensi tinggi.
Kepraktisan Unggul: Memberikan penyimpanan terkompresi tinggi dan analitik berkinerja tinggi dalam satu mesin database, serta menyediakan dukungan penuh untuk DDL dan DML, menyederhanakan tumpukan teknologi serta operasi dan maintenance Anda.
Skenario
Pengarsipan Data Historis Besar Berbiaya Rendah
Permasalahan: Seiring pertumbuhan bisnis, data historis—seperti pesanan, log, dan catatan transaksi—di database inti berkembang pesat, mengonsumsi banyak penyimpanan mahal. Solusi migrasi data tradisional memang mengurangi biaya, tetapi membuat data offline, sehingga mencegah kueri online langsung dan meningkatkan kompleksitas penggunaan data.
Solusi: Gunakan tabel berorientasi kolom untuk pengarsipan data online. Migrasikan data dingin atau seluruh tabel data historis dari tabel berorientasi baris (InnoDB) ke tabel berorientasi kolom dalam kluster PolarDB yang sama.
Nilai inti:
Pengurangan biaya drastis: Dengan rasio kompresi hingga 10:1 dan media penyimpanan berbiaya rendah seperti OSS, biaya penyimpanan turun hingga 90%.
Data tetap online: Data yang diarsipkan tetap online dan tersedia. Lakukan kueri dan analisis kapan saja menggunakan SQL standar, tanpa perlu migrasi data kembali yang rumit.
Transparansi bisnis: Bagi lapisan aplikasi, tabel ini berperilaku seperti tabel MySQL biasa, sehingga tidak memerlukan modifikasi apa pun.
Membangun Gudang Data Khusus
Permasalahan: Membangun gudang data khusus sering kali menimbulkan biaya perangkat keras tinggi, memerlukan pipeline sinkronisasi data kompleks (ekstrak, transformasi, dan muat), serta meningkatkan ambang batas operasi dan maintenance—terutama saat memperkenalkan tumpukan teknologi baru seperti ClickHouse.
Solusi: Manfaatkan kemampuan penyimpanan data besar PolarStore untuk mengagregasi data dari berbagai sumber input dan menyimpannya secara terpadu menggunakan tabel berorientasi kolom X-Engine. Anda memperoleh penyimpanan besar berbiaya rendah sekaligus performa agregasi dan analisis real-time.
Nilai inti:
Biaya dan kompleksitas jauh lebih rendah: Tidak perlu membeli perangkat keras khusus yang mahal atau memperkenalkan sistem analitik heterogen. Bangun gudang data dalam ekosistem MySQL yang sudah dikenal, sehingga menyederhanakan tumpukan teknologi serta operasi dan maintenance.
Analis data real-time: Mendukung agregasi data input real-time ke dalam tabel berorientasi kolom untuk analisis, menghindari latensi data T+1 yang disebabkan oleh solusi ekstrak, transformasi, dan muat (ETL) tradisional.
Kemampuan pemrosesan data besar: Memanfaatkan arsitektur penyimpanan dan kompresi efisien X-Engine, sistem ini menyimpan dan memproses data besar skala PB dengan biaya rendah.
Analis Query Terfederasi
Permasalahan: Data bisnis perusahaan sering kali tersebar. Sebagian data berada di database online seperti PolarDB, sedangkan data lain disimpan dalam format terbuka seperti Parquet dan ORC di Object Storage Service (OSS). Analisis gabungan sumber data ini biasanya memerlukan proses ekstrak, transformasi, dan muat (ETL) kompleks untuk mengimpor data OSS ke dalam database.
Solusi: Gunakan fitur tabel eksternal PolarDB untuk langsung mengaitkan data di OSS.
Nilai inti:
Analis in-place: Tidak perlu memindahkan atau mengimpor data. Buat langsung tabel eksternal untuk file di OSS dalam PolarDB, lalu lakukan kueri menggunakan SQL.
Query terfederasi: Lakukan operasi
JOINdengan mudah antara tabel lokal (penyimpanan baris atau kolom) di PolarDB dan tabel eksternal OSS untuk mencapai analisis terpadu data online dan offline.
Laporan Uji Performa
Data performa berikut diperoleh dalam lingkungan staging tertentu untuk membantu mengevaluasi manfaat tabel berorientasi kolom.
Implementasi TPC-H dalam topik ini didasarkan pada Pengujian benchmark TPC-H dan tidak dapat dibandingkan dengan hasil Pengujian benchmark TPC-H resmi yang dipublikasikan. Pengujian dalam topik ini tidak sepenuhnya memenuhi semua persyaratan TPC-H.
Performa Pemuatan Data
Dataset TPC-H: Ruang penyimpanan 5,5 kali lebih kecil daripada InnoDB. Kecepatan pemuatan lima kali lebih cepat daripada engine InnoDB.
Dataset maskapai penerbangan: Ruang penyimpanan 20 kali lebih kecil daripada InnoDB. Kecepatan pemuatan 30 kali lebih cepat daripada engine InnoDB.
Performa Kueri TPC-H
Uji performa dataset TPC-H 100 GB: Performa kueri setara dengan gudang data khusus (ClickHouse), dengan sebagian besar kueri lebih cepat daripada ClickHouse.
Analis paralel multi-node: Dalam uji performa dataset TPC-H 1 TB, waktu kueri membaik dari 1.400 detik pada node tunggal menjadi 167 detik pada enam node.
