IMCIs - PolarDB - 阿里云

Topik ini menjelaskan fitur Indeks Kolom dalam Memori (IMCI) dari PolarDB for MySQL.

Informasi latar belakang

PolarDB for MySQL dirancang untuk skenario Pemrosesan Transaksi Online (OLTP) yang melibatkan bisnis online dengan volume data besar. Namun, karena berbasis penyimpanan baris, PolarDB for MySQL tidak selalu memenuhi persyaratan kinerja query di semua skenario. Dalam banyak kasus, untuk menjalankan query analitik kompleks, Anda perlu mengekspor data dari PolarDB for MySQL dan mengimpornya ke sistem Pemrosesan Analitik Online (OLAP) untuk analisis lebih lanjut. Pendekatan ini meningkatkan biaya, kompleksitas arsitektur, serta beban operasional dan pemeliharaan.

PolarDB for MySQL menyediakan fitur IMCI untuk mendukung skenario OLAP yang melibatkan query kompleks pada volume data besar. Dengan fitur IMCI, PolarDB for MySQL menawarkan solusi pemrosesan transaksi/analitik hibrida (HTAP) terintegrasi, menggabungkan pemrosesan transaksi waktu nyata dan analisis data waktu nyata. Dengan demikian, Anda dapat memenuhi kebutuhan OLTP dan OLAP hanya dengan satu sistem database.

Cara kerja

Gambar berikut mengilustrasikan cara kerja fitur IMCI di PolarDB for MySQL. Multi-zone architecture

Tiga lapisan utama terlibat: mesin penyimpanan, operator, dan pengoptimal.

Lapisan mesin penyimpanan: Mendukung penyimpanan hibrida baris-kolom yang memastikan konsistensi transaksional waktu nyata.
Lapisan operator: Menggunakan Operator paralel vektorisasi yang dioptimalkan untuk penyimpanan kolom. Query tabel tunggal dan multi-tabel dapat dijalankan dengan latensi minimal.
Lapisan pengurai SQL dan pengoptimal: Menggunakan Optimalisasi berbasis biaya (CBO) yang dioptimalkan untuk penyimpanan hibrida baris-kolom. Pengoptimal secara otomatis memilih antara penyimpanan baris atau kolom berdasarkan threshold biaya untuk mengeksekusi query.

Arsitektur ini membantu PolarDB for MySQL mempercepat query beberapa kali lipat, sementara tetap sepenuhnya kompatibel dengan protokol MySQL.

Implementasi

Untuk mencapai isolasi sumber daya komputasi antara layanan OLAP dan OLTP, sistem hanya mengizinkan pembuatan IMCI pada node baca-saja. Query OLAP dikirim secara eksklusif ke node baca-saja. Anda dapat mengonfigurasi aturan distribusi query untuk menentukan apakah query OLAP dikirim ke node penyimpanan baris baca-saja atau node penyimpanan kolom baca-saja. Untuk informasi lebih lanjut, lihat Ikhtisar Distribusi Permintaan Berbasis HTAP di Antara Node Penyimpanan Baris dan Kolom.

Manfaat

Dengan fitur IMCI, PolarDB for MySQL menawarkan manfaat berikut:

Kompatibilitas penuh dengan MySQL: Sistem penyimpanan kolom konsisten dengan sistem penyimpanan baris dan mendukung konversi tipe fleksibel.
Kinerja HTAP Ultimate: PolarDB memberikan performa optimal untuk OLTP, sementara IMCI menawarkan performa OLAP setara dengan sistem OLAP tradisional.
Penyimpanan Hibrida Baris-Kolom: Mendukung penyimpanan baris dan kolom, menghemat biaya sekaligus menjamin konsistensi transaksional. Penyimpanan kolom juga menawarkan keunggulan biaya lebih rendah.

Skenario

Fitur IMCI dari PolarDB for MySQL menyediakan pengalaman HTAP terpadu yang dapat digunakan dalam berbagai skenario bisnis.

Skenario yang memerlukan analisis waktu nyata dari data online, seperti laporan waktu nyata.
Skenario gudang data yang memanfaatkan kapasitas penyimpanan data volume besar PolarDB untuk mengumpulkan sumber data upstream dan menggunakan PolarDB sebagai gudang data khusus.
Skenario komputasi data percepatan berbasis ETL yang memanfaatkan kemampuan komputasi kuat dan fleksibel dari IMCI yang disediakan oleh PolarDB untuk mengimplementasikan fitur ETL menggunakan sintaks SQL.

Harga

Fitur IMCI disediakan secara gratis. Namun, Anda akan dikenakan biaya untuk node penyimpanan kolom baca-saja berdasarkan harga node komputasi umum. Untuk informasi lebih lanjut, lihat Harga Bayar Sesuai Pemakaian Node Komputasi dan Harga Langganan Node Komputasi. IMCI juga menempati ruang penyimpanan yang dapat dikenakan biaya. Untuk informasi lebih lanjut, lihat Harga Penyimpanan.

Versi yang didukung

Cluster Enterprise Edition yang memenuhi salah satu persyaratan berikut:
- PolarDB for MySQL 8.0.1 dengan versi revisi 8.0.1.1.22 atau lebih baru.
- PolarDB for MySQL 8.0.2 dengan versi revisi 8.0.2.2.12 atau lebih baru.
Cluster Standard Edition yang menggunakan X86 arsitektur CPU dan memenuhi salah satu kondisi berikut:
- PolarDB for MySQL 8.0.1 dengan versi revisi 8.0.1.1.38 atau lebih baru.
- PolarDB for MySQL 8.0.2 dengan versi revisi 8.0.2.2.19 atau lebih baru.

Peringatan

Fitur Indeks Kolom dalam Memori (IMCI) tidak mendukung Global Database Network (GDN).
IMCI dapat digunakan bersama dengan modul Voting Disk Service (VDS) dari fitur failover dengan replika panas hanya di bawah kondisi berikut:
- Untuk cluster dengan versi revisi 8.0.1.1.42 dan lebih baru atau 8.0.2.2.23 dan lebih baru:
  - Jika cluster berisi node baca-saja di mana fitur failover dengan replika panas diaktifkan, Anda dapat menambahkan node penyimpanan kolom baca-saja ke cluster.
  - Jika node penyimpanan kolom baca-saja sudah ada di cluster, Anda tidak dapat mengaktifkan fitur hot standby untuk node baca-saja apa pun di cluster.
- Untuk cluster dengan versi revisi lebih awal dari 8.0.1.1.42 atau lebih awal dari 8.0.2.2.23, fitur IMCI tidak dapat digunakan bersama dengan fitur failover dengan replika panas.
  - Jika cluster berisi node baca-saja di mana fitur failover dengan replika panas diaktifkan, Anda tidak dapat menambahkan node penyimpanan kolom baca-saja ke cluster.
    Catatan
    Jika Anda ingin menambahkan node penyimpanan kolom baca-saja ke cluster, hubungi dukungan teknis untuk menonaktifkan VDS. Saat VDS dinonaktifkan, semua node di cluster secara otomatis di-restart.
  - Jika node penyimpanan kolom baca-saja sudah ada di cluster, Anda tidak dapat mengaktifkan fitur hot standby untuk node baca-saja apa pun di cluster.

Peningkatan kinerja

Fitur IMCI secara signifikan mempercepat query yang dieksekusi menggunakan Pernyataan SQL hingga seratus kali lipat. Bagian berikut menyediakan hasil tes query untuk memverifikasi efek percepatan. Tabel data dan Pernyataan SQL yang terkandung dalam benchmark standar TPC-H digunakan dalam contoh.

Metode Tes: TPC-H adalah benchmark yang umum digunakan yang dikembangkan dan dirilis oleh Transaction Processing Performance Council (TPC) untuk mengevaluasi kemampuan query analitik database. Benchmark TPC-H berisi delapan tabel dan 22 Pernyataan SQL yang kompleks. Sebagian besar query berisi klausa JOIN pada beberapa tabel, subquery, dan klausa GROUP BY.

Catatan

Tes ini diimplementasikan berdasarkan benchmark TPC-H, tetapi tidak memenuhi semua persyaratan tes benchmark TPC-H. Oleh karena itu, hasil tes tidak dapat dibandingkan dengan hasil yang diterbitkan dari tes benchmark TPC-H.

Ukuran Data: 100 GB.
Hasil Tes:
- Perbandingan antara skenario dengan IMCI diaktifkan dan dinonaktifkan
  Gambar berikut menunjukkan perbedaan waktu respons antara skenario dengan IMCI diaktifkan dan dinonaktifkan saat 22 Pernyataan SQL kompleks dari benchmark TPC-H dieksekusi.
- Perbandingan antara ClickHouse dan PolarDB for MySQL dengan IMCI diaktifkan
  Gambar berikut menunjukkan perbedaan waktu respons antara ClickHouse dan PolarDB for MySQL dengan IMCI diaktifkan saat 21 Pernyataan SQL kompleks dari benchmark TPC-H dieksekusi. Kedua database memiliki jumlah data dan skema data yang sama. Pernyataan Query 21 tidak dieksekusi karena ClickHouse tidak mendukung Pernyataan Query 21.
Kesimpulan:
- Fitur IMCI secara signifikan mempercepat sebagian besar query kompleks hingga seratus kali lipat.
- Baik layanan database OLAP tradisional ClickHouse maupun PolarDB for MySQL dengan IMCI diaktifkan memiliki keunggulan masing-masing. PolarDB for MySQL dengan IMCI diaktifkan unggul dalam skenario seperti operasi SCAN dan AGGREGATE pada tabel dan operasi JOIN. Di masa depan, fitur IMCI dari PolarDB for MySQL akan terus dioptimalkan dan membuat terobosan dalam hal percepatan agregasi dan fungsi jendela.