ApsaraDB for ClickHouse:Catatan rilis untuk edisi kompatibel komunitas 26.3

Materialized CTE

Versi 26.3 LTS memperkenalkan sintaks materialized CTE. Dengan menggunakan kata kunci MATERIALIZED, ClickHouse menyimpan hasil CTE dalam tabel sementara di memori untuk menghindari komputasi berulang dan meningkatkan efisiensi eksekusi kueri SQL pelaporan kompleks dan analisis multidimensi.

Contoh:

SET enable_materialized_cte = 1;

WITH top_users AS MATERIALIZED (
    SELECT user_id, count() AS cnt
    FROM events
    GROUP BY user_id
    ORDER BY cnt DESC
    LIMIT 1000
)
SELECT *
FROM top_users
INNER JOIN (SELECT user_id FROM top_users WHERE ...) ON ...;

Pengurutan JOIN cerdas untuk semua jenis JOIN

Pengoptimal berbasis biaya (CBO) dalam 26.3 LTS kini mendukung penukaran sisi Build/Probe secara otomatis untuk LEFT ANTI JOIN, SEMI JOIN, dan FULL JOIN, selain INNER JOIN dan LEFT/RIGHT JOIN standar. Pengoptimal secara otomatis membangun tabel hash dari sisi yang lebih kecil berdasarkan statistik tabel, mencegah error kehabisan memori (OOM) akibat pengurutan SQL manual yang tidak tepat.

Sharded Map

Untuk skenario di mana tipe Map menyimpan tag profil pengguna dan fitur dinamis, versi 26.3 LTS memperkenalkan tata letak serialisasi fisik berbasis bucket. Pencarian kunci tunggal meningkat 2x hingga 49x karena data dalam Map di-hash ke dalam bucket berdasarkan kunci.

Contoh:

CREATE TABLE user_profiles (
    id UInt64,
    attributes Map(String, UInt64)
) ENGINE = MergeTree
ORDER BY id
SETTINGS map_serialization_version = 'with_buckets', max_buckets_in_map = 32;

Pembersihan TTL tabel lebar: Merge vertikal

Versi 26.3 LTS memperkenalkan algoritma merge vertikal untuk operasi TTL DELETE. Merge memprioritaskan penyaringan kunci primer dan kolom TTL tanpa membaca kolom lebar yang tidak relevan, sehingga secara signifikan mengurangi overhead I/O dan memori selama pembersihan data latar belakang.

Kodek floating-point lossless adaptif (ALP)

Tersedia kodek kompresi floating-point lossless baru CODEC(ALP, ZSTD). ALP (Adaptive Lossless floating-Point) dioptimalkan untuk data Float32 dan Float64 dalam skenario pemantauan industri dan metrik deret waktu, memberikan rasio kompresi dan kecepatan dekompresi lebih baik dibanding encoding Gorilla klasik.

Eksekusi kueri dan pengoptimal

• Cache kondisi kueri, kompilasi JIT ekspresi, dan filter runtime JOIN diaktifkan secara default untuk mengurangi pemindaian berulang dan overhead JOIN tabel besar.

• RIGHT JOIN dan FULL JOIN menggunakan ConcurrentHashJoin, dengan peningkatan performa hingga 2x dalam beberapa skenario. Optimalisasi pengurutan JOIN baru secara otomatis mengatur ulang JOIN multi-tabel berdasarkan statistik.

• Pemangkasan indeks kunci primer dan kunci partisi diperluas: kunci primer mendukung ekspresi deterministik arbitrer untuk skipping data, dan kunci partisi yang dibungkus dalam rantai fungsi deterministik masih dapat dipangkas.

• Kueri ORDER BY ... LIMIT N dapat secara signifikan mengurangi baris yang dipindai melalui skip index dan filter ambang batas dinamis.

Mesin penyimpanan dan skipping data

• Reader Parquet v3 diaktifkan secara default dengan pushdown filter tingkat halaman dan dukungan PREWHERE. Pembacaan data lake secara otomatis menyesuaikan pipeline berdasarkan thread pemrosesan, mencapai peningkatan sekitar 40x pada mesin multi-core.

• Filtering streaming skip index selama pembacaan diaktifkan secara default. Indeks teks mendukung lebih banyak bentuk predikat dan dapat digunakan dalam PREWHERE.

• Dalam skenario pemangkasan partisi berat, kueri SELECT pada tabel dengan lebih dari 10.000 partisi menjadi hingga 8x lebih cepat. Tabel Iceberg mendukung optimalisasi PREWHERE dan pra-ambil metadata asinkron.

Eksekusi terdistribusi dan paralel

• INSERT SELECT terdistribusi paralel diaktifkan secara default dan dieksekusi secara independen pada setiap shard. Subkueri IN terdistribusi secara otomatis menambahkan DISTINCT untuk mengurangi transfer data sementara antar-shard.

• Analisis indeks terdistribusi mendukung skenario SharedMergeTree dan penyimpanan bersama. Replika paralel mendukung materialisasi malas dengan distribusi beban yang ditingkatkan untuk mengurangi latensi ekor panjang.

Fungsi dan indeks

• LIKE dan ekspresi reguler secara otomatis ditulis ulang ke implementasi yang lebih efisien dan diaktifkan secara default. StringZilla mempercepat pencarian string case-sensitive, dan SIMD dynamic dispatch mempercepat fungsi logis dan konversi kolom boolean.

Memori, observabilitas, dan jaringan

• Cache mark, uncompressed, dan page menggunakan arena jemalloc independen untuk mengurangi fragmentasi. Halaman kotor jemalloc dibersihkan dalam thread independen. Tabel log sistem menambahkan indeks minmax dan bloom_filter untuk mempercepat troubleshooting.

• Serialisasi dan kompresi Blok dalam kueri terdistribusi dapat dialihkan ke thread pipeline untuk meningkatkan efisiensi transfer data volume besar.

Persiapan sebelum peningkatan

1. Verifikasi lingkungan klon atau pengujian: Deploy versi baru terlebih dahulu di lingkungan klon atau pengujian untuk mengevaluasi dampak perubahan versi terhadap konfigurasi dan kueri yang ada.

2. Periksa kompatibilitas dependensi: Pastikan kompatibilitas driver client dan alat pihak ketiga dengan versi baru.

Catatan penting

• Validasi fitur eksperimental: Materialized CTE dan dialek Polyglot ditandai sebagai Eksperimental dalam versi ini. Kami menyarankan Anda memvalidasi fitur-fitur ini di kluster pengujian sebelum menggunakannya di produksi.

• Pengujian regresi performa: Setelah peningkatan, bandingkan waktu eksekusi kueri utama untuk memastikan optimalisasi seperti cache Parquet, inverted index, dan pengurutan JOIN berjalan efektif.

• Penyesuaian pemantauan dan peringatan: Sesuaikan ambang batas pemantauan berdasarkan metrik baru dan perubahan yang ada.