Tema ini memperkenalkan fitur MaxCompute Query Accelerator 2.0 (MaxQA) dan membantu Anda memahami arsitektur sistemnya, skenario aplikasi, batasan, serta metode penggunaannya.
Panduan versi
Fitur MaxQA saat ini dalam pratinjau publik. Untuk berpartisipasi dalam pratinjau publik, ajukan tiket untuk meminta aktivasi. Bergabunglah dengan grup dukungan pengguna resmi MaxQA di DingTalk (nomor: 87535025714), di mana tim teknis MaxCompute akan membantu menangani pertanyaan terkait. Untuk informasi lebih lanjut tentang pratinjau publik dan fitur spesifik, lihat Panduan Operasi Akselerasi Query MaxQA.
Deskripsi fitur
Dengan meningkatnya kebutuhan analisis data real-time dan mendekati real-time, waktu respons query menjadi semakin penting dalam analisis data modern dan aplikasi bisnis. MaxQA (MaxCompute Query Accelerator 2.0, sebelumnya MCQA2.0) adalah solusi akselerasi query yang diluncurkan oleh Alibaba Cloud MaxCompute untuk memenuhi kebutuhan tersebut. Berdasarkan kumpulan sumber daya akselerasi query khusus, MaxQA dioptimalkan secara menyeluruh di berbagai aspek termasuk jalur kontrol, pengoptimal query, mesin eksekusi, mesin penyimpanan, dan mekanisme caching, sehingga secara signifikan mengurangi waktu respons query. Solusi ini sangat cocok untuk skenario yang memerlukan latensi rendah dan stabil, seperti Business Intelligence (BI), analisis interaktif, dan gudang data mendekati real-time.
Fitur MaxCompute MaxQA (sebelumnya MCQA2.0) mencakup kemampuan berikut:
Mendukung optimasi akselerasi untuk pekerjaan query data kecil hingga menengah dan pekerjaan penyisipan data (dalam skala TB), dengan waktu eksekusi tercepat pada tingkat sub-detik.
Sepenuhnya kompatibel dengan fitur SQL MaxCompute, termasuk Fungsi yang Didefinisikan Pengguna (UDF), Tabel Delta, fitur tampilan material bertambah Delta Live MV, dan lainnya.
Mendukung kumpulan sumber daya akselerasi query terisolasi yang menyediakan layanan khusus untuk tenant dan memastikan stabilitas tinggi.
Mendukung aturan alokasi sumber daya berbagi waktu khusus untuk kumpulan sumber daya akselerasi query dan kumpulan sumber daya pemrosesan batch, bersama dengan penskalaan otomatis kelompok kuota interaktif dan kelompok kuota pemrosesan batch, meningkatkan pemanfaatan sumber daya secara keseluruhan.
Menampilkan caching end-to-end, di mana pekerjaan secara otomatis menyimpan hasil antara dan akhir dari beberapa tahap eksekusi. Pekerjaan berikutnya dapat mencapai cache ini di setiap tahap, secara signifikan mempercepat eksekusi query.
Mendukung berbagai alat BI (FineBI, Tableau, QuickBI).
Arsitektur layanan
Keunggulan teknis inti MaxQA meliputi kumpulan sumber daya terisolasi dinamis cerdas, mekanisme caching ujung ke ujung, I/O lokal, rencana eksekusi dioptimalkan latensi (QueryPlan), dan mesin eksekusi yang lebih efisien untuk meningkatkan efisiensi query.
Kumpulan sumber daya terisolasi dinamis cerdas: Setiap instance MaxQA merupakan lingkungan komputasi sepenuhnya terisolasi. Tenant dapat membuat beberapa instance (sesuai dengan beberapa kelompok kuota interaktif), menghindari masalah interferensi umum dalam lingkungan multi-tenant dan memastikan latensi query yang stabil.
Mekanisme caching ujung ke ujung: Tabel dan metadata yang dipindai oleh pekerjaan, rencana eksekusi yang dihasilkan, hasil perantara dari beberapa tahap selama eksekusi, dan hasil query secara otomatis disimpan dalam cache. Pekerjaan berikutnya mungkin mengenai cache di beberapa tahap seluruh proses, mempercepat kecepatan eksekusi. Karena ini adalah lingkungan komputasi terisolasi tingkat instance, cache memiliki masa validitas lebih lama dan tidak terpengaruh oleh pekerjaan dari instance lain.
I/O lokal: Memaksimalkan retensi data I/O dari operasi seperti Shuffle dan Spill saat membaca tabel sumber pada perangkat penyimpanan lokal, mengurangi ketergantungan pada sistem eksternal dan meningkatkan stabilitas latensi.
Rencana eksekusi dioptimalkan latensi: Memberi prioritas pada latensi di berbagai dimensi, termasuk pemilihan rencana eksekusi fisik, perhitungan konkurensi, dan pemilihan algoritma kompresi.
Jalur kontrol disederhanakan: Frontend langsung terhubung ke koordinator, dengan arsitektur jalur kontrol dioptimalkan dan transformasi asinkron, meningkatkan efisiensi interaksi.
Arsitektur teknis MaxQA ditunjukkan pada gambar berikut.
Skenario
Fitur MaxQA mencakup berbagai skenario aplikasi mulai dari laporan operasional harian hingga analisis data tingkat lanjut, sangat cocok untuk skenario bisnis dengan persyaratan tinggi untuk waktu respons query dan stabilitas. Baik untuk dukungan keputusan jangka pendek maupun perencanaan strategis jangka panjang, MaxQA memberikan dukungan teknis yang kuat bagi perusahaan, meningkatkan kemampuan penciptaan nilai yang didorong oleh data.
Skenario | Deskripsi | Karakteristik | Contoh |
Query ad hoc | Pilih kondisi query secara fleksibel berdasarkan kebutuhan aktual, dapatkan hasil query dengan cepat, dan sesuaikan logika query. Ini cocok untuk pengembang data atau analis data yang ingin melakukan analisis query menggunakan alat klien yang dikenal. | • Persyaratan latensi query dalam hitungan detik atau puluhan detik. • Pengguna biasanya adalah pengembang data atau analis dengan keterampilan SQL. • Pemilihan kondisi query yang fleksibel, respons cepat terhadap perubahan kebutuhan bisnis. | • Ilmuwan data melakukan analisis eksplorasi data. • Insinyur data men-debug query sementara dalam proses ETL. |
Business intelligence (BI) | Gunakan MaxCompute untuk membangun gudang data tingkat perusahaan, dan proses data melalui ETL menjadi data agregat yang dapat dikonsumsi oleh bisnis. Manfaatkan fitur latensi rendah MaxQA, isolasi sumber daya, konkurensi elastis, caching data, dan lainnya untuk memenuhi persyaratan pembuatan laporan multi-konkuren, analisis statistik, dan analisis laporan tetap dengan respons cepat. | • Objek data query biasanya merupakan data hasil agregat. • Cocok untuk skenario dengan volume data kecil, query multi-dimensi, query tetap, dan query frekuensi tinggi. • Persyaratan latensi query tinggi, pengembalian tingkat detik (misalnya, sebagian besar query tidak melebihi 5 detik). | • Menghasilkan laporan penjualan harian. • Pemantauan real-time metrik bisnis utama. • Pembuatan laporan keuangan secara berkala. |
Analisis data interaktif | Alat BI mandiri dan platform eksplorasi data interaktif memudahkan pengguna non-teknis untuk melakukan analisis data kompleks. Alat ini biasanya mengimplementasikan penyaringan dinamis, pengurutan, agregasi, dan fungsi lainnya melalui serangkaian query pendek, memberikan pengalaman operasional yang fleksibel dan intuitif. | • Mendukung operasi seret dan lepas tanpa perlu menulis pernyataan SQL yang kompleks. • Menyediakan umpan balik hasil query dengan cepat untuk membantu pengguna mengulangi proses analisis. • Cocok untuk analis data dari berbagai tingkat, dari pemula hingga ahli. | • Menggunakan Tableau atau Fine BI untuk analisis visualisasi. • Eksplorasi data pada platform analisis data online. |
Query rinci dan analisis data dalam jumlah besar | MaxQA dapat secara otomatis mengidentifikasi karakteristik pekerjaan query, merespons dan memproses pekerjaan skala kecil dengan cepat, dan secara otomatis mencocokkan kebutuhan sumber daya pekerjaan skala besar, memenuhi kebutuhan analis untuk menganalisis query dengan skala dan kompleksitas yang berbeda. | • Jumlah data historis yang perlu dieksplorasi besar, tetapi jumlah data efektif yang sebenarnya dibutuhkan tidak besar. • Persyaratan latensi query moderat, antara segera dan pemrosesan batch. • Pengguna biasanya adalah analis bisnis yang perlu mengeksplorasi pola bisnis dari data rinci, menemukan peluang bisnis, dan memverifikasi hipotesis bisnis. | • Analisis jalur perilaku pengguna. • Segmentasi pelanggan dan pembuatan profil. • Penambangan pola penggunaan produk. |
Batasan
Hanya pernyataan DDL/DML/DQL yang dapat dieksekusi di MaxQA (seperti pernyataan operasi izin, pernyataan terkait Tunnel, mengunggah/mengunduh sumber daya, dll.).
MaxQA mendukung Fungsi yang Didefinisikan Pengguna (UDF). Untuk memastikan keamanan, setiap UDF diluncurkan di lingkungan terisolasi. Untuk mencegah fluktuasi performa yang drastis, maksimum hanya 50% dari sumber daya dalam instans MaxQA yang dapat digunakan untuk menjalankan UDF.
Untuk pernyataan DQL, maksimum 1 juta baris data dikembalikan secara default. Anda dapat melebihi batas ini dengan mengatur parameter
odps.sql.select.auto.limitke nilai yang lebih besar (disarankan untuk mengatur ini dengan hati-hati sesuai dengan kebutuhan bisnis aktual, karena nilai pengembalian yang terlalu besar dapat memengaruhi efisiensi eksekusi).Pekerjaan yang memerlukan Workers tetap dalam rencana eksekusi, seperti Distributed MapJoin, saat ini tidak didukung.
Jika pekerjaan MaxQA gagal karena batasan penggunaan, Anda perlu mencoba kembali secara manual atau mencoba mengirimkan pekerjaan ke kelompok kuota pemrosesan batch.
Deskripsi parameter sistem untuk spesifikasi CU yang berbeda
Jumlah CU | Jumlah maksimum pekerjaan paralel | Timeout pekerjaan (min) | Konkurensi maksimum per pekerjaan |
32CU | 32 | 120 min | Jumlah CU × 30 |
64CU | 48 | 120 min | Jumlah CU × 30 |
96CU | 64 | 120 min | Jumlah CU × 30 |
128CU | 80 | 120 min | Jumlah CU × 30 |
160CU | 96 | 120 min | Jumlah CU × 30 |
192CU | 112 | 120 min | Jumlah CU × 30 |
224CU | 128 | 120 min | Jumlah CU × 30 |
[256, 1024)CU | 144 | 120 min | Jumlah CU × 30 |
[1024, 1536)CU | 288 | 120 min | Jumlah CU × 30 |
[1536, 2048)CU | 432 | 180 min | Jumlah CU × 30 |
[2048, 2560)CU | 576 | 240 min | Jumlah CU × 30 |
[2560, 3072)CU | 720 | 300 min | Jumlah CU × 30 |
[3072, 3584)CU | 864 | 360 min | Jumlah CU × 30 |
[3584, 4096)CU | 1008 | 420 min | Jumlah CU × 30 |
[4096, 4608)CU | 1152 | 480 min | Jumlah CU × 30 |
[4608, 5120)CU | 1296 | 540 min | Jumlah CU × 30 |
[5120, 5632)CU | 1440 | 600 min | Jumlah CU × 30 |
[5632, 6144)CU | 1584 | 660 min | Jumlah CU × 30 |
Hasil Pengujian Performa TPC-DS
Hasil mungkin sedikit bervariasi menurut wilayah. Hasil pengujian aktual harus digunakan sebagai standar.
Spesifikasi | 10GB | 100GB | 1TB |
64CU | 468s | 672s | 1978s |
128CU | 319s | 418s | 1001s |
Laporan pengujian performa di atas diperoleh dari lingkungan pengujian di wilayah China (Beijing).
Untuk rencana pengujian dan konten terperinci, lihat Pengujian Performa TPC-DS.
MaxQA vs. MCQA
Item perbandingan | MCQA | MaxQA (MCQA2.0) |
Arsitektur | Berdasarkan kumpulan sumber daya Serverless. | Lingkungan komputasi terisolasi satu tenant. |
Stabilitas latensi | Rata-rata. | Baik. |
Kinerja komputasi | Jauh lebih baik daripada mode offline, tetapi stabilitas kurang. | Menggabungkan berbagai optimasi, kinerja lebih baik. |
Jenis pekerjaan yang didukung | Hanya mendukung DQL. | Semua jenis kemampuan SQL, termasuk DDL, DQL, dan DML. |
Cara penggunaan | Aktifkan mode interaktif. | Tentukan nama kelompok kuota interaktif saat mengirimkan pekerjaan. Untuk informasi lebih lanjut, lihat Metode koneksi fitur MaxQA. |
Routing kuota | Didukung. | Saat ini tidak didukung. |
Pembayaran sesuai pemakaian | Didukung. | Saat ini tidak didukung. |
Konsep sesi | Ya. Pekerjaan yang dikirimkan dari klien yang sama dalam periode waktu berdekatan mungkin termasuk dalam satu sesi, dengan setiap sesi sesuai dengan ID Instance. | Tidak. Setiap pekerjaan SQL sesuai dengan ID Instance. |
Mekanisme fallback | Memiliki kemampuan untuk secara otomatis fallback ke mode pemrosesan batch. | Tidak mendukung fallback otomatis. |
Cara penggunaan
Untuk metode penggunaan spesifik MaxQA, lihat Panduan Operasi Akselerasi Query MaxQA.