Instans hanya baca analitik berbasis DuckDB untuk ApsaraDB RDS memanfaatkan penyimpanan kolom dan vektorisasi untuk memberikan peningkatan performa hingga 100 kali lipat pada kueri analitik kompleks. Solusi ini mendukung analitik real-time untuk skenario data berskala besar dan membantu bisnis mengambil keputusan berbasis data lebih cepat.
Pengenalan produk
Instans hanya baca analitik berbasis DuckDB dilengkapi engine DuckDB bawaan dengan fitur-fitur berikut:
Analitik berperforma tinggi: Mendukung penyimpanan kolom, kompilasi just-in-time (JIT), eksekusi vektorisasi, manajemen memori efisien, dan pemrosesan paralel.
Kompatibilitas tinggi dengan MySQL: Sangat kompatibel dengan sintaks dan format data MySQL, sehingga Anda dapat memperoleh hasil secara efisien tanpa mengubah pernyataan kueri asli.
Mekanisme sinkronisasi data:
Sinkronisasi data historis: Saat membuat instans hanya baca analitik berbasis DuckDB, sistem akan menyinkronkan data historis dari instans utama dan secara otomatis mengonversinya ke format engine DuckDB.
Sinkronisasi data inkremental: Setelah instans hanya baca analitik berbasis DuckDB dibuat, data inkremental dari instans utama disinkronkan secara real time menggunakan replikasi binary logging native MySQL. Aliran data terjadi di dalam RDS dan tidak memerlukan alat sinkronisasi data eksternal. Untuk informasi selengkapnya, lihat Prinsip teknis instans analitik berbasis DuckDB.
Skenario penggunaan
Agregasi dan analisis: Untuk agregasi dan analisis—seperti data log—instans hanya baca analitik berbasis DuckDB menyediakan kueri agregasi yang efisien.
Kueri penggabungan multi-tabel: Untuk layanan yang menggunakan kueri
JOINmulti-tabel, tipe instans ini dapat meningkatkan performa analitik MySQL secara signifikan.
Perbandingan antara instans hanya baca analitik berbasis DuckDB, instans hanya baca standar, dan database OLAP
Saat digunakan untuk kueri kompleks, instans hanya baca analitik berbasis DuckDB menawarkan keunggulan berikut dibandingkan instans utama, instans hanya baca standar, atau database OLAP:
Performa tinggi: Memberikan peningkatan performa hingga 100 kali lipat untuk kueri kompleks dibandingkan engine InnoDB.
Kompatibilitas tinggi: 100% kompatibel dengan protokol dan tipe data MySQL serta sangat kompatibel dengan sintaks SQL dan Data Definition Language (DDL).
Sinkronisasi data yang efisien dan stabil: Menggunakan saluran replikasi binary logging native buatan sendiri untuk tautan sinkronisasi yang lebih stabil dan efisien. Tidak ada biaya tambahan untuk sinkronisasi data.
Isolasi sumber daya: Instans hanya baca analitik berbasis DuckDB menangani kueri analitik kompleks, sedangkan instans utama dan instans hanya baca standar menangani pemrosesan transaksi. Sumber daya terisolasi dan tidak saling memengaruhi.
Item perbandingan | Instans hanya baca analitik berbasis DuckDB | Instans hanya baca | Database OLAP | |
Use Cases | Kueri analitik kompleks | Pemrosesan transaksi | Kueri analitik kompleks | |
Menganalisis performa kueri | Kuat | Rendah | Kuat | |
Metode sinkronisasi data | Replikasi binary logging native | Replikasi binary logging native | Tautan sinkronisasi data DTS | |
Kompatibilitas MySQL | Tipe data | Sepenuhnya kompatibel | Sepenuhnya kompatibel | Tidak kompatibel (memerlukan pemetaan field) |
Sintaks SQL | Sangat kompatibel (lebih dari 99,9%) | Sepenuhnya kompatibel | Tidak kompatibel (memerlukan rewrite SQL) | |
DDL | Sangat kompatibel | Sepenuhnya kompatibel | Sebagian kompatibel | |
Biaya O&M | Rendah (instans terintegrasi) | Rendah (instans terintegrasi) | Tinggi (memerlukan maintenance tambahan untuk database dan tautan sinkronisasi) | |
Lampiran: Uji performa instans hanya baca analitik berbasis DuckDB
Bagian berikut menggunakan benchmark standar TPC-H, yang mengevaluasi performa kueri kompleks database, untuk menunjukkan performa kueri analitik instans hanya baca analitik berbasis DuckDB.
Lingkungan pengujian
Set data: Dataset TPC-H sf-100 digunakan, dengan ukuran data 100 GB. Data berasal dari website resmi DuckDB.
Lingkungan eksekusi: Setiap database dijalankan pada host ECS dengan spesifikasi yang sama: CPU 32-core, memori 128 GB, dan SSD Perusahaan (ESSD) untuk penyimpanan. Hal ini memastikan lingkungan pengujian yang konsisten.
Objek perbandingan: Instans ApsaraDB RDS for MySQL standar (versi 8.0.36, engine InnoDB) dan ClickHouse Community Edition (versi 25.3).
Metode pengujian: Untuk memastikan hasil kueri yang konsisten, setiap database menjalankan tiga putaran prefetch terlebih dahulu, dan hasilnya tidak dihitung. Kemudian, tiga putaran pengujian resmi dijalankan, dan rata-rata dari ketiga putaran tersebut digunakan sebagai hasil performa akhir.
Hasil pengujian
Tabel berikut menunjukkan waktu eksekusi untuk setiap kueri pada instans hanya baca analitik berbasis DuckDB, instans ApsaraDB RDS for MySQL (engine InnoDB), dan instans ClickHouse dalam skenario TPC-H sf-100.
ID Kueri | Waktu eksekusi (detik) | ||
Instans hanya baca analitik berbasis DuckDB | Instans ApsaraDB RDS for MySQL standar (engine InnoDB) | ClickHouse | |
q1 | 0,92 | 1134,25 | 3,47 |
q2 | 0,15 | 1800 | 1,52 |
q3 | 0,53 | 802,94 | 3,65 |
q4 | 0,46 | 1000,45 | 2,77 |
q5 | 0,5 | 1800 | 5,38 |
q6 | 0,22 | 566,73 | 0,73 |
q7 | 0,59 | 1800 | 6,06 |
q8 | 0,68 | 1800 | 6,99 |
q9 | 1,44 | 1800 | 13,29 |
q10 | 0,91 | 894,35 | 3,22 |
q11 | 0,11 | 79,63 | 1.1 |
q12 | 0,44 | 734,35 | 1,69 |
q13 | 1,59 | 454,15 | 5,85 |
q14 | 0,38 | 574,07 | 0,83 |
q15 | 0,31 | 568,43 | 1,53 |
q16 | 0,32 | 63,56 | 0,52 |
q17 | 0,89 | 1800 | 7,96 |
q18 | 1,59 | 1800 | 3,11 |
q19 | 0,8 | 1800 | 2,96 |
q20 | 0,51 | 1800 | 3,38 |
q21 | 1,64 | 1800 | Out of memory |
q22 | 0,33 | 361,4 | 4 |
Total | 15,31 | 25234,31 | 80,01 |
Kesimpulan pengujian
Instans hanya baca analitik berbasis DuckDB vs. instans ApsaraDB RDS for MySQL (engine InnoDB)
Dalam pengujian TPC-H, total waktu eksekusi untuk instans ApsaraDB RDS for MySQL (engine InnoDB) adalah 25.234,31 detik, sedangkan total waktu eksekusi untuk instans hanya baca analitik berbasis DuckDB hanya 15,31 detik. Ini merepresentasikan peningkatan performa lebih dari 1.000 kali lipat. Instans ApsaraDB RDS for MySQL (engine InnoDB) menunjukkan kelemahan signifikan dalam menangani kueri kompleks. Kueri seperti q5, q7, q8, q9, q17, q18, q19, q20, dan q21 mengalami timeout dan tidak dapat diselesaikan. Setiap timeout dicatat sebagai 1.800 detik. Hal ini menunjukkan bahwa instans hanya baca analitik berbasis DuckDB berkinerja luar biasa untuk tugas kueri analitik data berskala besar dan secara signifikan meningkatkan efisiensi kueri kompleks.
Instans hanya baca analitik berbasis DuckDB vs. ClickHouse
Total waktu eksekusi untuk ClickHouse adalah 80,01 detik. Sebagai perbandingan, total waktu eksekusi untuk instans hanya baca analitik berbasis DuckDB hanya 15,31 detik, yang menunjukkan keunggulan signifikan dalam performa keseluruhan. ClickHouse gagal menyelesaikan kueri q21 karena error kehabisan memori (
Memory limit exceeded). Untuk kueri lainnya, instans hanya baca analitik berbasis DuckDB secara signifikan mengungguli ClickHouse, menunjukkan performa dan stabilitas kueri yang lebih kuat dalam skenario analitik kompleks.