Topik ini memberikan ikhtisar mengenai mesin MaxQA (MaxCompute Query Accelerator 2.0), mencakup arsitektur, kasus penggunaan, keterbatasan, dan cara penggunaannya.
MaxQA telah tersedia secara umum. Jika Anda memiliki pertanyaan, kirimkan tiket, dan tim teknis MaxCompute akan membantu Anda.
Untuk detail operasional, lihat Panduan operasi Query Acceleration MaxQA.
Deskripsi fitur
MaxQA (MaxCompute Query Accelerator 2.0), sebelumnya dikenal sebagai MCQA 2.0, adalah solusi akselerasi kueri untuk MaxCompute yang menjawab kebutuhan yang terus meningkat akan analitik data real-time dan near-real-time. Fitur ini secara signifikan mengurangi waktu respons kueri dengan memanfaatkan kolam sumber daya akselerasi khusus serta optimasi komprehensif di seluruh jalur kontrol, Pengoptimal kueri, mesin eksekusi, mesin penyimpanan, dan mekanisme cache. MaxQA ideal untuk beban kerja yang sensitif terhadap latensi dan memerlukan stabilitas tinggi, seperti Intelijen bisnis (BI), analisis interaktif, dan skenario gudang data near-real-time.
Fitur MaxCompute MaxQA (sebelumnya MCQA 2.0) menyediakan kemampuan berikut:
Kueri dan penyisipan berkinerja tinggi
Mempercepat kueri dan pekerjaan penyisipan data untuk set data berskala terabyte, mencapai waktu eksekusi di bawah satu detik.
Kompatibilitas SQL
Sepenuhnya kompatibel dengan fitur MaxCompute SQL, termasuk user-defined functions (UDFs), Delta Tables, dan materialized view inkremental.
Isolasi sumber daya dan manajemen elastis
Menyediakan kolam sumber daya akselerasi kueri yang terisolasi dan didedikasikan untuk satu penyewa guna meningkatkan stabilitas.
Mendukung aturan alokasi sumber daya berbasis waktu dan auto-scaling untuk kelompok kuota interaktif serta kolam sumber daya pemrosesan batch guna meningkatkan pemanfaatan sumber daya.
Menyediakan caching end-to-end, di mana pekerjaan secara otomatis menyimpan hasil antara dan hasil akhir dari berbagai tahap eksekusi. Pekerjaan berikutnya dapat memanfaatkan cache ini pada tahap apa pun, sehingga mempercepat eksekusi kueri secara signifikan.
Mendukung berbagai alat BI (FineBI, Tableau, QuickBI).
Keterbatasan
Hanya pernyataan DDL/DML/DQL yang dapat dieksekusi di MaxQA (misalnya, pernyataan operasi izin, pernyataan terkait Tunnel, mengunggah/mengunduh resource, dll.).
MaxQA mendukung User-Defined Functions (UDFs). Untuk menjamin keamanan, setiap UDF dijalankan dalam lingkungan terisolasi. Guna mencegah fluktuasi kinerja yang drastis, maksimal hanya 50% sumber daya dalam sebuah instans MaxQA yang dapat digunakan untuk menjalankan UDF.
Untuk pernyataan DQL, secara default maksimal 1 juta baris data dikembalikan. Anda dapat melebihi batas ini dengan mengatur parameter
odps.sql.select.auto.limitke nilai yang lebih besar (disarankan untuk mengaturnya secara hati-hati sesuai kebutuhan bisnis aktual, karena nilai kembali yang terlalu besar dapat memengaruhi efisiensi eksekusi).Pekerjaan yang memerlukan Workers resident dalam rencana eksekusi, seperti Distributed MapJoin, saat ini tidak didukung.
Jika pekerjaan MaxQA gagal karena keterbatasan ini, Anda harus mencoba ulang pekerjaan tersebut secara manual atau mengirimkannya ke kolam sumber daya pemrosesan batch.
Arsitektur layanan
Keunggulan teknis utama MaxQA meliputi kolam sumber daya terisolasi dinamis yang cerdas, mekanisme caching end-to-end, I/O lokal, rencana eksekusi yang dioptimalkan untuk latensi (QueryPlan), serta mesin eksekusi yang lebih efisien guna meningkatkan efisiensi kueri.
Kolam sumber daya terisolasi dinamis yang cerdas
Setiap instans MaxQA beroperasi dalam lingkungan komputasi yang sepenuhnya terisolasi. Seorang penyewa dapat membuat beberapa instans, masing-masing terkait dengan satu kelompok kuota interaktif. Model ini mencegah masalah "noisy neighbor" yang umum terjadi di lingkungan multi-penyewa dan menjamin latensi kueri yang stabil.
Mekanisme cache end-to-end
Data seperti tabel yang dipindai, metadata, rencana eksekusi, hasil antara, dan hasil kueri akhir disimpan dalam cache secara otomatis. Pekerjaan berikutnya dapat memanfaatkan cache ini pada berbagai tahap, sehingga mempercepat eksekusi. Karena lingkungan komputasi diisolasi pada tingkat instans, cache memiliki masa pakai lebih lama dan tidak terpengaruh oleh pekerjaan dari instans lain.
Local IO
Memaksimalkan penggunaan penyimpanan lokal untuk data I/O dari operasi seperti shuffle dan spill. Hal ini mengurangi ketergantungan pada sistem eksternal dan meningkatkan stabilitas latensi.
Rencana eksekusi yang dioptimalkan untuk latensi
Pengoptimal kueri memprioritaskan latensi rendah dalam semua aspek perencanaan kueri, termasuk pemilihan rencana eksekusi fisik, perhitungan konkurensi, dan pemilihan algoritma kompresi.
Jalur kontrol yang disederhanakan
Antarmuka depan terhubung langsung ke koordinator. Arsitektur jalur kontrol dioptimalkan dan bersifat asinkron agar interaksi lebih efisien.
Arsitektur teknis MaxQA ditunjukkan pada gambar berikut.
Skema penggunaan
Fitur MaxQA mencakup berbagai skenario aplikasi mulai dari laporan operasional harian hingga analisis data lanjutan, terutama cocok untuk skenario bisnis yang memiliki persyaratan tinggi terhadap waktu respons kueri dan stabilitas. Baik untuk dukungan keputusan jangka pendek maupun perencanaan strategis jangka panjang, MaxQA memberikan dukungan teknis yang kuat bagi perusahaan, sehingga meningkatkan kemampuan penciptaan nilai yang digerakkan oleh data.
Skenario | Deskripsi | Karakteristik | Contoh |
Ad hoc query | Secara fleksibel memilih kondisi kueri berdasarkan kebutuhan aktual, cepat memperoleh hasil kueri, dan menyesuaikan logika kueri. Ini cocok untuk pengembang data atau analis data yang ingin melakukan analisis kueri menggunakan alat client yang sudah dikenal. | • Memerlukan latensi kueri beberapa detik hingga puluhan detik. • Biasanya digunakan oleh pengembang data dan analis data yang memiliki kemampuan SQL. • Memungkinkan kondisi kueri fleksibel untuk cepat beradaptasi dengan kebutuhan bisnis yang berubah. | • Ilmuwan data yang melakukan analisis data eksplorasi.• Insinyur data yang melakukan debugging kueri sementara dalam proses ETL. |
Business intelligence (BI) | Gunakan MaxCompute untuk membangun gudang data tingkat perusahaan, dan proses data melalui ETL menjadi data agregat yang dapat dikonsumsi oleh bisnis. Manfaatkan fitur latensi rendah, isolasi sumber daya, konkurensi elastis, caching data, dan lainnya dari MaxQA untuk memenuhi persyaratan pembuatan laporan multi-konkuren dengan respons cepat, analisis statistik, dan analisis laporan tetap. | • Kueri biasanya dijalankan pada data hasil agregasi. • Paling cocok untuk skenario dengan volume data lebih kecil, kueri multidimensi, kueri tetap, dan frekuensi kueri tinggi. • Memerlukan kinerja tinggi, dengan respons dikembalikan dalam hitungan detik (misalnya, sebagian besar kueri selesai dalam waktu kurang dari 5 detik). | • Menghasilkan laporan penjualan harian. • Memantau indikator bisnis utama secara real-time. • Menghasilkan laporan keuangan secara berkala. |
Interactive data analysis | Alat BI self-service dan platform eksplorasi data interaktif memudahkan pengguna non-teknis untuk melakukan analisis data kompleks. Alat-alat ini biasanya menerapkan fungsi seperti filter dinamis, pengurutan, agregasi, dan lainnya melalui serangkaian kueri pendek, memberikan pengalaman operasional yang fleksibel dan intuitif. | • Mendukung operasi drag-and-drop, sehingga tidak perlu menulis pernyataan SQL yang kompleks. • Memberikan umpan balik kueri cepat untuk membantu pengguna melakukan iterasi analisis. • Cocok untuk analis data dari berbagai tingkat keahlian, mulai dari pemula hingga ahli. | • Menggunakan Tableau atau Fine BI untuk analisis visualisasi.• Eksplorasi data pada platform analisis data online. |
Detailed queries and analysis of large amounts of data | MaxQA dapat secara otomatis mengenali karakteristik pekerjaan kueri, merespons dan memproses pekerjaan skala kecil dengan cepat, serta secara otomatis mencocokkan kebutuhan sumber daya untuk pekerjaan skala besar, memenuhi kebutuhan analis dalam menganalisis kueri dengan berbagai skala dan kompleksitas. | Eksplorasi dataset historis besar, biasanya hanya memerlukan subset kecil dari data tersebut. • Persyaratan latensi moderat, menyeimbangkan antara kecepatan real-time dan pemrosesan batch. • Biasanya digunakan oleh analis bisnis untuk mengungkap pola, mengidentifikasi peluang, dan memvalidasi hipotesis dari data detail. | • Menganalisis jalur perilaku pengguna. • Membangun segmen dan profil pelanggan. • Menambang pola penggunaan produk. |
Deskripsi parameter sistem untuk spesifikasi CU yang berbeda
Jumlah CU | Jumlah maksimum pekerjaan paralel | Timeout pekerjaan (menit) | Konkurensi maksimum per pekerjaan |
32CU | 32 | 120 menit | Jumlah CU × 30 |
64CU | 48 | 120 menit | Jumlah CU × 30 |
96CU | 64 | 120 menit | Jumlah CU × 30 |
128CU | 80 | 120 menit | Jumlah CU × 30 |
160CU | 96 | 120 menit | Jumlah CU × 30 |
192CU | 112 | 120 menit | Jumlah CU × 30 |
224CU | 128 | 120 menit | Jumlah CU × 30 |
[256, 1024)CU | 144 | 120 menit | Jumlah CU × 30 |
[1024, 1536)CU | 288 | 120 menit | Jumlah CU × 30 |
[1536, 2048)CU | 432 | 180 menit | Jumlah CU × 30 |
[2048, 2560)CU | 576 | 240 menit | Jumlah CU × 30 |
[2560, 3072)CU | 720 | 300 menit | Jumlah CU × 30 |
[3072, 3584)CU | 864 | 360 menit | Jumlah CU × 30 |
[3584, 4096)CU | 1008 | 420 menit | Jumlah CU × 30 |
[4096, 4608)CU | 1152 | 480 menit | Jumlah CU × 30 |
[4608, 5120)CU | 1296 | 540 menit | Jumlah CU × 30 |
[5120, 5632)CU | 1440 | 600 menit | Jumlah CU × 30 |
[5632, 6144)CU | 1584 | 660 menit | Jumlah CU × 30 |
Hasil Pengujian Kinerja TPC-DS
Hasil dapat sedikit berbeda tergantung wilayah. Kinerja aktual di lingkungan Anda mungkin berbeda.
Spesifikasi | 10GB | 100GB | 1TB |
64CU | 468s | 672s | 1978s |
128CU | 319s | 418s | 1001s |
Laporan pengujian kinerja di atas diperoleh dari lingkungan pengujian di wilayah China (Beijing).
Untuk rencana dan konten pengujian lengkap, lihat Pengujian Kinerja TPC-DS.
Perbandingan MaxQA vs. MCQA
Item perbandingan | MCQA | MaxQA (MCQA 2.0) |
Architecture | Berdasarkan kolam sumber daya Serverless. | Lingkungan komputasi terisolasi single-tenant. |
Latency stability | Rata-rata. | Baik. |
Computing performance | Jauh lebih baik daripada mode offline, tetapi stabilitasnya kurang memadai. | Menggabungkan berbagai optimasi, kinerja lebih baik. |
Supported job types | Hanya mendukung DQL. | Semua jenis kemampuan SQL, termasuk DDL, DQL, dan DML. |
Use method | Aktifkan mode interaktif. | Tentukan nama kelompok kuota interaktif saat mengirimkan pekerjaan. Untuk informasi lebih lanjut, lihat Metode koneksi fitur MaxQA. |
Quota routing | Didukung. | Saat ini tidak didukung. |
Pay-as-you-go | Didukung. | Saat ini tidak didukung. |
Session concept | Ya. Pekerjaan yang dikirimkan dari client yang sama dalam periode waktu berdekatan mungkin termasuk dalam satu session, dengan setiap session sesuai dengan satu Instance ID. | Tidak. Setiap pekerjaan SQL sesuai dengan satu Instance ID. |
Fallback mechanism | Memiliki kemampuan fallback otomatis ke mode pemrosesan batch. | Tidak mendukung fallback otomatis. |
Metode penggunaan
Untuk metode penggunaan MaxQA yang spesifik, lihat Panduan operasi Query Acceleration MaxQA.