全部产品
Search

搜索本产品

    Hologres：Catatan rilis

    文档中心

    Hologres：Catatan rilis

    更新时间：Feb 12, 2026

    Topik ini menjelaskan informasi rilis fitur Hologres.

    2026

    Hologres V4.1（Januari 2026）

    Peningkatan fitur inti

    Deskripsi

    Referensi

    Execution engine

    • Peningkatan execution engine inti (QE v2)

      • Terobosan konkurensi: Untuk skenario dengan sumber daya Worker yang melimpah tetapi distribusi Shard yang jarang, QE v2 telah mengoptimalkan paralelisasi internalnya. Engine ini kini mendukung peningkatan konkurensi untuk operator yang intensif CPU (misalnya, JOIN, AGG) tanpa menambahkan overhead Shuffle, memastikan pemanfaatan sumber daya secara optimal dan secara signifikan mengurangi latensi kueri.

      • Eksekusi adaptif yang ditingkatkan: Rencana eksekusi kini menyediakan status operator yang lebih detail, termasuk kondisi filter, kondisi join, kolom redistribusi, dan kolom filter.

    • Akselerasi kueri cerdas (HBO & rewrite)

      • Query Rewrite untuk Dynamic Table: Pengoptimal kini secara resmi mendukung penulisan ulang kueri tabel tunggal dan dapat secara otomatis mengarahkan permintaan kueri yang menargetkan tabel dasar ke Dynamic Table yang telah dihitung sebelumnya, mencapai respons tingkat milidetik tanpa perlu modifikasi kode SQL oleh pengguna.

      • Aturan HBO (History-Based Optimization) yang diperluas: Memperkenalkan beberapa aturan baru, termasuk urutan join adaptif, agregasi segmen adaptif, dan filter runtime adaptif.

      • Tuning paksa untuk kueri besar: Untuk kueri yang melebihi 20 detik dalam waktu eksekusi dan memiliki potensi tuning, eksekusi berikutnya akan menerapkan rencana HBO secara paksa. Rencana eksekusi akan secara eksplisit menunjukkan status tuning tersebut.

    • Operator lanjutan & optimasi analitik real-time

      • Peningkatan perhitungan UV berkecepatan tinggi: Mendukung fungsi UserId Encoding. Dengan memetakan ID string kardinalitas tinggi ke ID integer dan memanfaatkan komputasi inkremental Dynamic Table, fitur ini memungkinkan perhitungan UV skala ultra-besar secara real-time dengan biaya rendah dan kecepatan tinggi.

      • Optimasi eksekusi streaming Window TopN: Dalam skenario partisi hash, Window TopN kini beralih dari pengurutan penuh ke pengurutan streaming. Pemrosesan batch dalam partisi secara signifikan mengurangi tekanan memori puncak.

      • Peningkatan performa Scan: Memungkinkan Filter TopN selama proses Scan untuk memanfaatkan Result Cache, sehingga secara efektif mengurangi overhead scan tingkat bawah.

      • Optimasi DML hibrida pada tabel row-store: Saat mengeksekusi INSERT pada tabel row-store, mekanisme sampling diperkenalkan untuk menentukan strategi Join secara dinamis, yang secara signifikan meningkatkan performa saat mengimpor data masif ke tabel kecil.

    Lakehouse deep integration

    • EXTERNAL_FILES untuk schema-on-read:

      • Kueri ad-hoc yang disederhanakan: Fungsi baru EXTERNAL_FILES memungkinkan analisis langsung file Parquet atau ORC di OSS tanpa membuat tabel eksternal, menggunakan SQL standar.

      • Ekspor data: Fungsi ini mendukung penulisan langsung data tabel internal ke OSS, mengoptimalkan arsip data dingin dan alur kerja pertukaran data lintas platform.

    • Peningkatan pembacaan langsung MaxCompute:

      • Pemangkasan detail halus: Selama pembacaan langsung tabel terpartisi logika, pemangkasan partisi dan pemangkasan kunci clustering kini didukung, sehingga sangat mengurangi volume pemindaian I/O.

      • Kompatibilitas tipe native: Mendukung pembacaan langsung tipe data JSON MaxCompute, meningkatkan efisiensi pemrosesan data semi-terstruktur.

    • Impor near real-time:

      • Mendukung impor near real-time berdasarkan penyimpanan sementara Stage. Dibandingkan dengan penulisan real-time dan batch yang ada, pendekatan ini secara efektif menyeimbangkan performa tulis, overhead sumber daya, dan visibilitas data.

    Retrieval dan analisis multi-modal

    • Peningkatan kemampuan pencarian teks penuh:

      • Peningkatan Tokenizer: Mendukung tokenizer IK, Ngram, dan Pinyin, memungkinkan retrieval teks Tiongkok yang lebih efisien untuk teks deskriptif, pencarian fuzzy pada data log, serta pencarian berbasis Pinyin untuk produk/nama Tiongkok.

    • Peningkatan kemampuan pencarian vektor:

      • Optimasi sumber daya indeks vektor HGraph: Indeks in-memory HGraph kini mendukung kompresi, menghemat 50% memori dengan hanya mengorbankan 5% performa.

      • Optimasi performa indeks vektor: HGraph mendukung pelampiran informasi kolom ke file indeks. Selama retrieval, nilai kolom yang sesuai dapat langsung diperoleh dari indeks tanpa perlu melakukan kueri ke kolom tabel target, sehingga meningkatkan performa pencarian vektor.

    O&M tingkat enterprise & stabilitas sistem

    • Isolasi beban arsitektural:

      • Isolasi thread pool kueri: Untuk mencegah interferensi antara beban kueri, tulis real-time, dan tautan kontrol mesin penyimpanan, logika eksekusi kueri kini diisolasi dalam thread pool independen. Hal ini memastikan stabilitas respons lapisan kontrol dalam skenario konkurensi tinggi.

    • Peningkatan kemampuan serverless:

      • Peningkatan Serverless Adaptif: Mendukung isolasi beban otomatis. Selama beban tinggi, trafik secara otomatis dialihkan ke kolam sumber daya Komputasi Serverless, sehingga secara signifikan meningkatkan throughput dan stabilitas sistem.

    • Peningkatan manajemen sumber daya & stabilitas:

      • Penggantian virtual warehouse melalui SQL: Mendukung penggantian virtual warehouse yang terhubung melalui perintah SQL standar, memperkuat isolasi multi-tenant dan manajemen operasional fleksibel.

      • Peningkatan kemampuan perubahan struktur tabel (Rebuild): Proses migrasi metadata dan data dioptimalkan. Durasi dampak tulis selama perubahan struktur tabel telah dikurangi menjadi di bawah 10 detik, dengan tabel tetap dapat dikueri selama eksekusi.

      • Kontrol timeout tunggu lock: Memperkenalkan parameter hg_experimental_lock_wait_timeout_ms, memungkinkan pengguna menyesuaikan timeout tunggu lock untuk tulis non-FixedQE.

      • Manajemen memori detail halus: Indeks teks penuh dioptimalkan untuk dimuat melalui Block Cache alih-alih berada di memori permanen, sehingga secara efektif membebaskan memori. Algoritma batching yang dioptimalkan dan dukungan untuk streaming ConcatRecordBatch sebagian mengatasi kesalahan yang disebabkan oleh struktur Arrow melebihi 2 GB, mengurangi tekanan memori puncak.

    2025

    Hologres V4.0 (September 2025)

    Peningkatan fitur inti

    Deskripsi

    Referensi

    Peningkatan kemampuan AI dan retrieval

    • (Beta) Bekerja dengan data tidak terstruktur: Gunakan fungsi AI berbasis LLM untuk mencari dan menganalisis data tidak terstruktur, termasuk teks dan gambar. Semua model sepenuhnya di-host di node AI Hologres untuk memastikan keamanan data, performa, skalabilitas, dan kepatuhan. Fungsi AI memungkinkan kasus penggunaan berikut:

      • Dengan model embedding dan Object Tables, Anda dapat melakukan pencarian vektor dan teks penuh pada data tidak terstruktur.

      • Memperoleh insight dari teks dan gambar.

      • Menyaring dan mengklasifikasikan teks menggunakan bahasa alami, serta menerjemahkan dan melokalisasi konten multibahasa.

      • Melakukan analisis sentimen dan analisis berbasis dimensi untuk meningkatkan layanan pelanggan.

      • Mengurai dokumen untuk mendukung analisis data dan proses Generasi yang Diperkaya dengan Pengambilan Data (RAG).

    • (Beta) Tingkatkan pencarian vektor dengan HGraph: Teknologi ini meningkatkan performa lebih dari 10 kali lipat. Mendukung pencarian hibrida untuk data skalar dan vektor, ideal untuk aplikasi seperti pencarian gambar dan video, rekomendasi berbasis perilaku, serta deteksi keamanan dan penipuan. Mendukung indeks hibrida in-memory dan on-disk, mengurangi penggunaan memori hingga 80%, dengan pengorbanan QPS hanya 5% pada VectorDBBench standar. HGraph memungkinkan solusi hemat biaya untuk kasus penggunaan yang memerlukan retrieval efisien pada data vektor masif, seperti kendaraan otonom.

    • (Beta) Dukungan pencarian teks penuh: Memperkenalkan indeks terbalik dan tokenizer bawaan untuk mengaktifkan pencarian teks penuh. Kasus penggunaan:

      • Pencarian kata kunci, frasa, dan bahasa alami.

      • Mendukung algoritma skoring BM25 untuk pencarian kesamaan teks.

      • Menggabungkan pencarian teks penuh dan vektor.

      • Menggabungkan pencarian teks penuh dan data skalar.

    • (Beta) Global secondary index: Mendukung kueri titik efisien pada kolom non-primary key. Ideal untuk feature store dan platform e-commerce.

    Peningkatan engine

    • Mendukung filter runtime TopN untuk mempercepat kueri data dalam skenario TopN.

    • (Beta) Mendukung Time Travel untuk tabel internal. Fitur ini memungkinkan Anda mengkueri data historis pada titik waktu apa pun dalam periode waktu yang ditentukan.

    • (Beta) Mendukung History-Based Optimization (HBO). Hologres mengumpulkan detail eksekusi dari kueri lambat, secara otomatis menganalisis rencana kueri untuk mencari peluang tuning, dan secara cerdas menyesuaikan rencana kueri.

    N/A

    Dynamic Table

    (Beta) Mendukung penulisan kembali data yang diproses ke mode penuh atau inkremental Paimon. Dynamic Tables kini mendukung pemrosesan data near real-time untuk kasus penggunaan warehouse-to-warehouse, lake-to-warehouse, warehouse-to-lake, dan lake-to-lake. Saat dikombinasikan dengan instans serverless, mereka memungkinkan pemrosesan data pada data lake dengan biaya ultra-rendah.

    Sintaksis

    Mendukung klausa QUALIFY untuk menyaring hasil fungsi jendela.

    QUALIFY (Beta)

    Fungsi dan ekosistem

    Kompatibilitas ClickHouse yang ditingkatkan: Mendukung beberapa fungsi trunc waktu, seperti toDayOfMonth, toDayOfYear, dan toHour. Fungsi-fungsi ini dapat meningkatkan performa hingga 50% dibandingkan fungsi extract(field from timestamp).

    Fungsi tanggal dan waktu

    Serverless dan elastisitas

    • (Beta) Instans virtual warehouse memberikan isolasi tulis maksimal. Sebelumnya, tulis batch bergantung pada virtual warehouse leader. Sekarang Anda dapat menggunakan virtual warehouse apa pun untuk jenis tugas ini, tanpa memuat grup tabel.

    • (Beta) Instans virtual warehouse kini memiliki upgrade mulus (Beta), memungkinkannya diperbarui tanpa dampak pada kueri SQL yang sedang berjalan dan menyediakan rekoneksi klien otomatis.

    • (Beta) Peningkatan hot-update virtual warehouse yang ditingkatkan, mendukung eksekusi SQL tanpa loss dan rekoneksi instan.

    • Didukung penggantian virtual warehouse yang terhubung dalam SQL.

    • Komputasi Serverless kini dapat mengakses tabel asing DLF.

    Analitik data lake

    (Beta) Pencerminan data MaxCompute: Mencerminakan data dari MaxCompute ke Hologres tanpa ETL, sangat meningkatkan efisiensi kueri. Performanya mirip dengan mengkueri tabel internal Hologres.

    N/A

    Hologres V3.2 (Juli 2025)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Peningkatan engine

    • Mendukung reuse atau inlining ekspresi CTE adaptif.

    • Mengoptimalkan perhitungan ekspresi BETWEEN.

    Optimasi strategi reuse CTE

    Dynamic Table

    • Mode pembaruan inkremental kini mendukung fungsi seperti ARRAY_AGG dan STRING_AGG.

    • DataWorks Data Map kini mendukung analisis alur data pada Dynamic Tables.

    Kemampuan Penyajian yang Ditingkatkan

    Fixed Plan kini mendukung ekspresi sederhana, yang memungkinkan kueri titik dan tulis QPS tinggi dalam lebih banyak skenario.

    Percepat eksekusi SQL menggunakan Fixed Plan

    Ekstensi fungsi dan ekosistem

    Mendukung ekspresi Lambda dan fungsi array orde tinggi yang menggunakannya.

    Ekspresi LAMBDA dan fungsi terkait

    Kemampuan serverless

    • Komputasi Serverless kini mendukung membaca dan menulis data ke tabel terenkripsi, termasuk tabel internal dan tabel asing/eksternal MaxCompute.

    • Kemampuan Query Queue yang ditingkatkan: Secara otomatis mengarahkan permintaan SQL untuk tabel tertentu ke Komputasi Serverless.

    Kemampuan analitik data lake

    • Mendukung pencerminan tabel lake Paimon untuk mempercepat kueri data lake.

    • Berintegrasi dengan DLF 2.5 untuk manajemen metadata, yang mendukung akses ke katalog Apache Paimon di DLF menggunakan REST API DLF.

    • Mendukung pencerminan katalog Apache Paimon, yang mereplikasi data lake ke tabel internal yang dicerminkan melalui zero ETL dan sangat meningkatkan efisiensi kueri.

    • Menyediakan fitur kueri Time Travel untuk Paimon, yang memungkinkan Anda membaca data historis dengan menentukan timestamp atau tag.

    • Mendukung pembacaan data dari branch spesifik atau fallback dari tabel Paimon.

    • Mendukung menonaktifkan pemindaian tabel penuh pada tabel terpartisi untuk mencegah konsumsi sumber daya berlebihan.

    • Performa yang ditingkatkan: Tes benchmark TPC-H menunjukkan bahwa mengkueri tabel Paimon pada dataset 1 TB mencapai kecepatan eksekusi 2× lebih cepat.

    Kemampuan ekosistem yang ditingkatkan

    Mendukung trimming dan kompresi binary logs, yang mengurangi penggunaan I/O selama konsumsi binary log.

    N/A

    Peluncuran instans serverless Hologres (Juli 2025)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Peluncuran instans serverless Hologres (Beta)

    Instans serverless Hologres (beta) tersedia untuk pratinjau undangan secara gratis. Instans serverless Hologres adalah tipe instans baru yang dikembangkan oleh Hologres berdasarkan arsitektur serverless cloud-native. Anda dapat menikmati layanan komputasi dan penyimpanan Hologres yang fleksibel, scalable, dan mudah digunakan tanpa perlu membeli sumber daya komputasi eksklusif atau menanggung biaya idle.

    Anda dapat menggunakan Akun Alibaba Cloud Anda untuk mengisi formulir dan meminta uji coba.

    Instans serverless

    Hologres V3.1 (April 2025)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Dynamic Table

    • Mendukung partisi dinamis tabel terpartisi logika, yang secara signifikan menyederhanakan penggunaan tabel terpartisi.

    • Menambahkan mode auto-refresh. Dalam mode ini, Anda hanya perlu menentukan kesegaran data, dan engine secara otomatis mengoptimalkan strategi refresh. Ini meningkatkan fleksibilitas refresh data.

    • Pembaruan inkremental mendukung join pada dua aliran data, yang meningkatkan fleksibilitas pemrosesan data real-time.

    • Pembaruan inkremental mendukung fungsi RoaringBitmap, yang digunakan untuk perhitungan inkremental dalam skenario kompleks seperti unique visitor (UV) dan page view (PV).

    • Mode pembaruan penuh mendukung Adaptive Execution (Beta), yang memungkinkan engine beradaptasi secara internal. Sambil mempertahankan latensi rendah, ini secara signifikan meningkatkan stabilitas eksekusi dengan mengurangi probabilitas kesalahan OOM dan meningkatkan kegunaan dengan fitur seperti estimasi dinamis sumber daya komputasi dan penyesuaian rencana eksekusi.

    Kemampuan serverless

    • Komputasi Serverless yang dioptimalkan untuk mendukung skenario DML kompleks seperti INSERT OVERWRITE, resharding, dan CREATE TABLE AS, bersama dengan prosedur tersimpan, Rebuild, dan tabel terenkripsi.

    • Mencapai scaling tanpa loss pada virtual warehouse (Beta), yang memastikan kelangsungan bisnis selama scaling virtual warehouse.

    • Mendukung throttling otomatis (Beta). Fitur ini secara dinamis membatasi konkurensi antrian kueri berdasarkan workload, yang secara signifikan meningkatkan stabilitas kluster.

    • Menambahkan kemampuan routing adaptif. Kueri besar dieksekusi secara otomatis menggunakan sumber daya serverless.

    • Mendukung konfigurasi batas atas untuk penggunaan harian sumber daya komputasi serverless.

    • Kemampuan reuse cache Komputasi Serverless dalam skenario konkurensi tinggi dioptimalkan, yang meningkatkan performa kueri.

    • Mendukung penggunaan peran RAM untuk scaling virtual warehouse.

    Optimasi performa dan peningkatan kemampuan kueri

    • Merestrukturisasi query engine, memperkenalkan QEv2, dan menambahkan dukungan untuk komputasi pada encoding ringan. Tes benchmark TPC-H 1 TB menunjukkan peningkatan performa 33%.

    • Mendukung optimasi adaptif engine dan pushdown otomatis rencana agregasi berdasarkan model biaya. Ini mengurangi data yang terlibat dalam operasi JOIN dan secara signifikan menurunkan latensi dan overhead komputasi.

    • Engine secara otomatis menyimpulkan atribut NOT NULL dari field JOIN dan melakukan pushdown kondisi NOT NULL untuk memfilter nilai NULL di awal. Engine juga secara otomatis menghilangkan field konstan dalam klausa GROUP BY dalam operasi agregasi.

    • Fitur query cache ditambahkan untuk mempercepat hasil kueri tertentu melalui caching.

    • Kemampuan diagnostik dari view hg_stats_missing untuk informasi statistik ditingkatkan dengan menambahkan field baru, seperti autovacuum_enabled (apakah AUTO ANALYZE diaktifkan) dan reason (penyebab informasi statistik hilang), sehingga lebih mudah mendiagnosis dan mengoreksi informasi statistik.

    • Optimasi AUTO ANALYZE: Pengumpulan statistik ditingkatkan dengan secara otomatis mengambil jumlah baris tabel untuk statistik yang hilang, meningkatkan kualitas rencana kueri. Statistik kini menawarkan persistensi dan ketahanan interferensi yang lebih baik, mengurangi pembersihan yang tidak perlu akibat perubahan skema (misalnya, RENAME, transisi penyimpanan dingin). Ini menurunkan beban sistem dan meningkatkan kualitas rencana eksekusi.

    Manajemen data dan optimasi tulis

    • Optimasi penyimpanan dan pengindeksan

      • Mendukung tabel terpartisi logika (Beta), yang meningkatkan fleksibilitas penggunaan tabel terpartisi, sekaligus menyederhanakan manajemen metadata dan data.

      • Mendukung kolom tergenerasi yang disimpan (Beta), yang menyederhanakan pemrosesan data dan mempercepat kueri melalui pre-computation.

      • Memperkenalkan alat Rebuild (Beta), mendukung indeks ringan (kunci distribusi, kunci clustering, dan kunci segmen) dan modifikasi struktur tabel lainnya.

    • Kemampuan tulis yang ditingkatkan

      • Tabel kunci primer mendukung pembaruan kolom parsial dalam operasi COPY, yang mengurangi kebutuhan untuk skenario FIXED COPY. Jika node frontend (FE) tetap digunakan, ini tidak mengonsumsi jumlah koneksi FE asli.

      • Dukungan native untuk sintaksis INSERT OVERWRITE memberikan lebih banyak fleksibilitas untuk melakukan operasi INSERT OVERWRITE pada tabel biasa dan tabel terpartisi logika.

    Ekstensi fungsi dan ekosistem

    • Fungsi bawaan baru

      • Menambahkan fungsi funnel asosiasi properti dan fungsi funnel pengelompokan dimensi.

      • Memperluas fungsi yang kompatibel dengan Spark dan Presto untuk meningkatkan efisiensi pengembangan lintas engine.

      • Fungsi bitmap roaring sebagian mendukung 64-bit, yang memperluas cakupan skenario analisis persona pengguna.

    • Dukungan fungsi remote

      • Mendukung pemanggilan fungsi user-defined (UDF) remote menggunakan Function Compute (FC), memungkinkan ekspansi fleksibel kemampuan ekstrak, transformasi, dan muat (ETL).

    Peningkatan fitur tingkat enterprise

    • Manajemen izin tingkat enterprise yang ditingkatkan. Anda dapat menentukan token keamanan dalam opsi koneksi protokol PostgreSQL, dan login peran RAM menggunakan JDBC atau PSQL didukung.

    • Mendukung recycle bin tabel, yang memungkinkan pemulihan tabel dan datanya yang tidak sengaja dihapus dari recycle bin.

    • Optimasi penyamaran data untuk menyamarkan hasil komputasi dan tipe field non-TEXT. Ini secara signifikan meningkatkan perlindungan data sensitif dan mencegah serangan brute-force pada informasi sensitif.

    Kemampuan analitik data lake

    • Dukungan untuk sumber data eksternal

      • Integrasi database eksternal yang ditingkatkan, yang memungkinkan akses mulus dari alat BI utama seperti Quick BI, Tableau, dan Superset.

      • Mendukung penentuan interval refresh metadata untuk database eksternal.

      • Mendukung ANALYZE dan AUTO ANALYZE untuk database eksternal.

      • Mendukung penggunaan INSERT INTO untuk menulis data ke tabel kunci primer Paimon, yang memfasilitasi alur data lakehouse yang fleksibel.

      • Mendukung penggunaan INSERT INTO untuk menulis data ke tabel Iceberg, yang memastikan kompatibilitas dengan lebih banyak format data lake terbuka.

    • Akselerasi transparan MaxCompute

      • Peningkatan kueri remote data MaxCompute ke 2.0 (Beta). Mekanisme dasar dibangun ulang menggunakan MaxCompute C++ Native SDK, yang semakin meningkatkan performa dan pengalaman akses Hologres ke sumber data MaxCompute.

      • Mendukung pembacaan langsung Tabel Delta MaxCompute (Beta).

      • Mendukung pembacaan langsung data MaxCompute yang telah dimasking secara dinamis, menawarkan pengalaman penyamaran data terintegrasi dan didesensitisasi (Beta).

      • Mendukung pembacaan langsung tabel MaxCompute yang telah mengalami perubahan skema. Operasi yang didukung termasuk menambah kolom, menghapus kolom, memodifikasi tipe kolom, dan menyesuaikan urutan kolom.

      • Mendukung pemetaan satu-klik proyek, skema, dan tabel MaxCompute ke Hologres dengan Pengembangan Data DataWorks (versi baru).

      • Mendukung impor satu-klik data tabel MaxCompute ke Hologres dengan Pengembangan Data DataWorks (versi baru).

    2024

    Hologres V3.0 (September 2024)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan engine

    • Memperkenalkan Dynamic Table, yang mendukung mode refresh penuh dan inkremental. Data secara otomatis dialirkan dan direfresh untuk memenuhi persyaratan ketat untuk layering gudang data real-time dan pemrosesan batch-stream terpadu, mengakomodasi berbagai kebutuhan ketepatan waktu analisis data.

    • Fitur Komputasi Serverless dioptimalkan untuk mendukung operasi SELECT dan COPY. Solusi penggunaan sumber daya cloud-native disediakan untuk kueri skala besar ad hoc.

    • Virtual warehouse mendukung penjadwalan penskalaan (Beta). Fitur ini menyediakan sumber daya komputasi elastis sesuai jadwal untuk memenuhi kebutuhan sumber daya yang bervariasi di periode waktu berbeda. Ini membantu mencegah interferensi timbal balik dan meningkatkan pemanfaatan sumber daya.

    • Antrian kueri didukung.

      • Buat antrian kueri berdasarkan kebutuhan bisnis dan konfigurasikan konkurensi dan panjang untuk antrian kueri. Ini membantu meningkatkan stabilitas instans.

      • Kemampuan mengatur kueri skala besar ditingkatkan. Anda dapat mengonfigurasi periode timeout antrian untuk kueri skala besar untuk mengurangi dampak negatif pada instans. Sumber daya komputasi serverless dapat menjalankan ulang kueri skala besar.

      • Fitur Komputasi Serverless didukung untuk mengeksekusi semua kueri dalam antrian kueri.

    • Performa tulis data, pembaruan data, dan kueri titik berdasarkan fixed plan ditingkatkan sekitar 10% dibandingkan Hologres V2.2.

    • Pernyataan INSERT OVERWRITE dapat dieksekusi pada tabel induk terpartisi.

    • Fitur prosedur tersimpan (Beta) didukung untuk mendefinisikan pernyataan SQL umum dan menyederhanakan kompleksitas bisnis.

    • Kemampuan evolusi skema ditingkatkan untuk memungkinkan Anda memodifikasi tipe data kolom.

    • Kemampuan COPY ditingkatkan. Kebijakan pembaruan baris penuh dapat dikonfigurasi untuk memperbarui catatan data, bukan melaporkan kesalahan, jika terjadi konflik kunci primer saat mengimpor data ke tabel dengan kunci primer.

    • Engine kueri ditingkatkan untuk mendukung cross join. Ini membantu meningkatkan performa kueri berdasarkan join non-equivalent. Agregasi parsial didukung. Jika operasi GROUP BY dilakukan berdasarkan beberapa field, Anda dapat menggunakan agregasi parsial untuk membatasi penggunaan memori dan mengurangi probabilitas kesalahan OOM.

    • Engine penyimpanan ditingkatkan untuk meningkatkan performa pembaruan tabel berorientasi kolom ketika kolom yang berisi data tidak terurut dikonfigurasi sebagai kunci segmen.

    • Kemampuan fungsi ditingkatkan dalam aspek berikut:

      • Fungsi TRY_CAST ditingkatkan untuk mendukung konversi data ke tipe DATE, TIMESTAMP, dan TIMESTAMPTZ.

      • Fungsi ARRAY_AGG dan STRING_AGG yang berisi klausa DISTINCT dan ORDER BY didukung oleh Hologres Query Engine (HQE). Ini membantu meningkatkan performa kueri.

    • Pratinjau publik fitur SQL Hint telah selesai, dan fitur ini dapat digunakan di lingkungan produksi. Secara default, fitur ini diaktifkan.

    • Di gudang metadata, dua catatan dihasilkan untuk operasi COPY alih-alih satu catatan. Untuk informasi lebih lanjut, lihat COPY.

    • Di Hologres V3.0.10 dan seterusnya, jumlah maksimum unit komputasi (CU) untuk setiap virtual warehouse dalam instans virtual warehouse meningkat dari 512 menjadi 1.024.

    Peningkatan O&M dan stabilitas

    • Fitur SQL Audit disediakan oleh Hologres berdasarkan Simple Log Service. Fitur ini digunakan untuk memantau, mencatat, dan menganalisis operasi database untuk memastikan keamanan data dan kepatuhan terhadap kebijakan terkait.

    • Kemampuan scale-out virtual warehouse ditingkatkan. Selama scale-out, pembacaan dan penulisan data tidak terganggu.

    • Statistik tentang pernyataan DML dan DQL yang mengonsumsi kurang dari 100 ms diagregasi dalam tabel sistem Query Log untuk meningkatkan kemampuan observasi dan analisis pernyataan SQL.

    Data lakehouse

    • Fitur database eksternal ditambahkan untuk mendukung pemetaan metadata tingkat katalog untuk tabel DLF dan MaxCompute. Ini membantu meningkatkan kemampuan manajemen metadata dan data data lake.

    • Hive Metastore Service (HMS) dapat diintegrasikan dengan Hologres untuk mendukung pemetaan metadata. Fitur ini membantu mempercepat kueri data di kluster EMR.

    • Pernyataan INSERT INTO dapat dieksekusi untuk menulis data ke tabel append-only Apache Paimon.

    • Data dapat dibaca dari data lake berbasis Iceberg. Ini membantu memperluas ekosistem data lake lebih jauh.

    • Kemampuan keamanan ditingkatkan. Secara default, peran terkait layanan digunakan untuk mengakses DLF2.0. Anda juga dapat menggunakan peran RAM untuk mengakses DLF2.0.

    • Kemampuan tabel ditingkatkan.

      • Reader Delta Lake direkonstruksi untuk secara signifikan meningkatkan performa baca.

      • Vektor penghapusan Paimon dapat dioptimalkan untuk meningkatkan performa kueri ketika sejumlah besar data dihapus tetapi kompaksi tidak dilakukan tepat waktu.

    • Akses ke tabel Delta MaxCompute dari Hologres didukung di Hologres V3.0.22 dan seterusnya.

    Fitur Komputasi Serverless tersedia secara komersial (Juli 2024)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Fase Beta fitur Komputasi Serverless Hologres selesai

    Fase Beta fitur Komputasi Serverless Hologres telah selesai. Fitur ini tersedia untuk penggunaan produksi dan didukung oleh SLA. Fitur ini secara resmi dikomersialkan pada pukul 00:00 pada 1 Juli 2024 (UTC+8).

    Fase Beta fitur Komputasi Serverless Hologres telah selesai dan fitur ini tersedia untuk penggunaan produksi.

    Hologres V2.2 (April 2024)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan engine

    • Kemampuan dasar engine terus dioptimalkan, dan performa keseluruhan ditingkatkan sekitar 15% dibandingkan versi sebelumnya. Hologres Query Engine (HQE) dan Query Optimizer (QO) terus dioptimalkan.

      • Kemampuan HQE dioptimalkan untuk meningkatkan performa dari aspek berikut:

        • Kemampuan filter runtime ditingkatkan untuk mendukung shuffle join. Ini membantu meningkatkan efisiensi kueri sekitar 30% dalam skenario di mana filter runtime digunakan.

        • Mekanisme panggilan prosedur remote (RPC) HQE dioptimalkan. Data digabungkan di antara worker dan kemudian didistribusikan ke worker lain. Ini secara signifikan mengurangi overhead jaringan dan meningkatkan performa kueri sebesar 8% dalam skenario di mana data di-shuffle.

      • Performa QO dioptimalkan untuk meningkatkan efisiensi pemrosesan pernyataan SQL dalam tahap perencanaan sebesar 40% dari aspek berikut:

        • Mekanisme alokasi memori dan algoritma join dioptimalkan untuk meningkatkan performa kueri dalam skenario multi-join.

        • Fungsi DATE_PART dioptimalkan untuk meningkatkan efisiensi kueri field terkait waktu, seperti field tahun.

        • Perbandingan antara field tipe DATE dan TIMESTAMP dioptimalkan untuk meningkatkan efisiensi kueri field terkait waktu.

        • Komputasi fungsi kompleks dengan klausa filter dioptimalkan. Setelah optimasi, urutan operasi filter disesuaikan untuk mengurangi jumlah data yang diproses dan meningkatkan efisiensi kueri.

    • Fitur Komputasi Serverless disediakan. Fitur ini memungkinkan Anda menjalankan tugas impor data atau ETL tertentu dalam kolam sumber daya serverless bersama. Ini mencegah konflik sumber daya dan interferensi timbal balik di antara tugas dalam suatu instans dan meningkatkan stabilitas instans. Fitur ini didukung di wilayah tertentu.

    • Fitur partisi dinamis dioptimalkan untuk memungkinkan Anda menyesuaikan waktu pembuatan atau penghapusan partisi dan waktu migrasi data dingin. Ini membuat fitur partisi dinamis lebih mudah digunakan.

    • Sintaksis SQL Hint didukung. Hint dapat digunakan untuk mengubah mode eksekusi pernyataan SQL. Ini memungkinkan Anda mengoptimalkan eksekusi pernyataan SQL secara detail halus.

    • View hg_stat_activity dioptimalkan untuk menyediakan metrik yang lebih akurat tentang sumber daya CPU dan memori. Anda juga dapat mengkueri view ini untuk mendapatkan progres impor data dari MaxCompute ke Hologres. Ini meningkatkan observabilitas kueri aktif.

    • Fungsi analisis jalur ditambahkan untuk memungkinkan Anda menganalisis trafik dan konsumsi waktu setiap event dalam suatu jalur. Ini membantu Anda menganalisis strategi operasi produk dan mengoptimalkan ide desain produk.

    • Kemampuan fungsi ditingkatkan dalam aspek berikut:

      • Fungsi try_cast didukung. Untuk data abnormal, fungsi ini mengembalikan NULL alih-alih pesan kesalahan. Ini mengurangi biaya pemrosesan data abnormal.

      • Fungsi tanggal dan waktu dateadd, datediff, dan last_day didukung.

      • Beberapa fungsi agregat tujuan umum dapat dijalankan pada HQE untuk meningkatkan performa kueri.

    • Di Hologres V2.2 dan seterusnya, nilai Engine Type untuk proses yang menggunakan fixed plan diubah dari SDK menjadi FixedQE dalam log kueri lambat. Ini memastikan konsistensi nama dalam log kueri lambat dan metrik.

    • Di Hologres V2.2 dan seterusnya, jumlah koneksi ke node FE ditingkatkan dari 128 menjadi 256. Jumlah total koneksi digandakan. Untuk informasi lebih lanjut, lihat Manajemen Instans.

    • INSERT OVERWRITE dan fungsi BSI kini tersedia secara umum.

    • Di Hologres V2.2 dan seterusnya, pernyataan SELECT hg_dump_script() mengembalikan properti pembuatan tabel dengan sintaksis WITH alih-alih sintaksis CALL. Perubahan ini meningkatkan kenyamanan dan keterbacaan pembuatan tabel. Untuk informasi lebih lanjut, lihat Lihat skema tabel.

    Peningkatan O&M dan stabilitas

    • Sidik jari SQL dapat dikumpulkan dan dicatat dalam log kueri lambat. Anda dapat melakukan analisis pengelompokan pada sidik jari SQL untuk meningkatkan kemampuan lokalisasi masalah dan pemantauan pengecualian.

    • Metrik terkait QE, FixedQE, dan binary log diekspos untuk meningkatkan observabilitas dan kemampuan O&M bisnis Anda.

    • Fitur Query Insight HoloWeb didukung untuk memungkinkan Anda mendapatkan informasi eksekusi kueri, informasi metadata tabel, dan informasi troubleshooting lock dengan beberapa klik. Ini meningkatkan efisiensi troubleshooting.

    • Pemulihan bencana lintas-AZ didukung untuk meningkatkan kemampuan pemulihan bencana instans. Fitur ini didukung di wilayah tertentu.

    • Kode kesalahan dan pesan kesalahan engine dioptimalkan untuk meningkatkan efisiensi analisis log kueri lambat.

      • Logika perhitungan durasi pernyataan DDL dioptimalkan untuk meningkatkan akurasi pengumpulan durasi eksekusi DDL.

      • Hasil pernyataan EXPLAIN ANALYZE dicatat dalam log kueri lambat agar Anda dapat melihat data runtime setiap operator.

    • Mekanisme dasar pembaruan versi dioptimalkan. Pemulihan fisik digunakan untuk secara signifikan mempersingkat durasi pembaruan ketika metadata dalam jumlah besar ada dan mengurangi dampak negatif pembaruan pada bisnis Anda.

    • Lock tabel untuk node FE ditingkatkan menjadi lock pendek untuk menyelesaikan masalah seperti kegagalan eksekusi pernyataan DDL dan ketidakkonsistenan metadata node FE. Ini meningkatkan stabilitas dan konsistensi metadata pada node FE.

    • Peningkatan kemampuan OpenAPI ini menambahkan API baru untuk akselerasi data lake, dan grup sumber daya untuk meningkatkan kemampuan manajemen operasi instans.

    Ekstensi ekosistem

    • Fitur Auto Load untuk tabel asing mendukung model tiga lapis MaxCompute, dan Anda dapat menggunakan parameter hg_experimental_auto_load_foreign_schema_mapping untuk menentukan pemetaan skema. Fitur ini juga mendukung Evolusi Skema untuk tabel asing MaxCompute, seperti menambah kolom, menghapus kolom, memodifikasi nama kolom, dan mengubah urutan kolom.

    • Fitur Auto Load dioptimalkan untuk mendukung pembuatan otomatis tabel asing berdasarkan metadata Data Lake Formation (DLF). Ini membantu mempercepat kueri dari tabel di Object Storage Service (OSS).

    • Arsitektur data lake ditingkatkan. Tabel asing dalam format ORC dan Parquet mendukung caching multi-level menggunakan disk berkecepatan tinggi dan memori bawaan, serta filtering predicate pushdown. Ini sangat meningkatkan performa baca.

    • Peran terkait layanan Hologres dapat digunakan untuk mengakses tabel asing MaxCompute. Ini membantu mengonfigurasi izin pada layanan Alibaba Cloud dengan lebih baik dan mencegah risiko yang disebabkan oleh kesalahan operasi. Anda dapat membuat peran terkait layanan dan memberikan izin kepada peran tersebut di konsol Hologres dengan beberapa klik.

    • Data di bucket OSS dan tabel di skema tertentu model tiga lapis MaxCompute dapat diakses di konsol HoloWeb.

    2023

    Hologres V2.1 (Oktober 2023)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan engine

    • Performa eksekusi satu atau lebih fungsi COUNT DISTINCT secara otomatis dioptimalkan saat runtime, yang secara signifikan meningkatkan efisiensi kueri.

    • Mekanisme Row Group Filter ditambahkan ke pengoptimal kueri. Untuk tabel berorientasi kolom, baris dalam suatu kolom membentuk grup baris, dan nilai maksimum dan minimum dalam setiap grup baris dicatat. Saat Anda mengkueri data dalam suatu kolom, sistem memfilter data dalam setiap grup baris tanpa membaca data dari tabel berorientasi kolom. Ini secara signifikan mengurangi overhead kueri dan meningkatkan efisiensi kueri.

    • Kemampuan Runtime Filter dioptimalkan untuk mendukung join multi-kolom. Ini secara signifikan meningkatkan efisiensi join.

    • Kompaksi penuh dapat dipicu secara manual untuk menggabungkan file kecil. Ini meningkatkan efisiensi kueri.

    • Fungsi analisis funnel berbasis rentang ditambahkan untuk memungkinkan Anda menganalisis dan membandingkan konversi aktivitas pengguna.

    • Pustaka ekstensi Bit-Sliced Index (BSI) ditambahkan untuk mengoptimalkan performa dan kegunaan kueri dalam skenario tag kardinalitas tinggi dan kueri join yang melibatkan tag atribut pengguna dan tag perilaku.

    • Data dapat diurutkan secara descending berdasarkan kunci clustering. Ini meningkatkan performa kueri dalam skenario pengurutan.

    • Mekanisme caching untuk penyimpanan Akses Jarang dioptimalkan untuk meningkatkan performa kueri.

    • Pernyataan CREATE TABLE WITH dan ALTER TABLE SET ditambahkan untuk menggantikan sintaksis set_table_property asli. Ini menyederhanakan proses konfigurasi properti tabel.

    • Kemampuan menulis data ke tabel tanpa kunci primer dioptimalkan. Tulis batch ke tabel-tabel ini memperoleh kunci baris alih-alih kunci tabel dan dapat dilakukan secara konkuren dengan Fixed Plan.

    • Fitur pemrosesan vektor berbasis Proxima dioptimalkan. Ini memungkinkan Anda membuat tabel, mengimpor data vektor ke tabel, lalu membuat indeks vektor. Ini membantu mempersingkat waktu pembuatan indeks dan menyederhanakan pemrosesan vektor.

    • Kemampuan fungsi ditingkatkan dalam aspek berikut:

      • Beberapa fungsi array dapat dijalankan pada HQE untuk meningkatkan performa fungsi.

      • Fungsi KeyValue ditambahkan untuk memisahkan string.

      • Fungsi IF ditambahkan untuk menyederhanakan skenario deteksi tipe dan mengurangi biaya migrasi MySQL.

    Peningkatan O&M dan stabilitas

    • Kemampuan kueri lambat ditingkatkan untuk meningkatkan efisiensi analisis kueri lambat.

      • Hasil pernyataan EXPLAIN ANALYZE dicatat dalam log kueri lambat agar Anda dapat melihat data eksekusi setiap operator.

      • Kemampuan diagnostik berbasis fixed plan ditingkatkan. Data untuk affected_rows dalam skenario tulis data dan untuk result_rows serta result_bytes dalam skenario kueri dilaporkan ke gudang metadata.

    • Fungsi hg_relation_size ditambahkan untuk mengkueri detail ukuran penyimpanan tabel.

    • Hologres kompatibel dengan perilaku PostgreSQL native dan mendukung load balancing. Load balancing dan failover instans otomatis didukung dalam skenario di mana instans primer dan sekunder dikonfigurasi. Ini meningkatkan ketersediaan layanan.

    • Kemampuan OpenAPI ditingkatkan. Operasi API untuk membuat, memperpanjang, meningkatkan atau menurunkan, dan melepaskan instans ditambahkan untuk meningkatkan kemampuan operasi dan manajemen instans.

    Ekstensi ekosistem

    Akselerasi data lake mendukung data yang disimpan dalam format Paimon.

    Akselerasi Data Lake OSS

    Hologres V2.0 (April 2023)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan engine

    • Fitur Runtime Filter ditambahkan untuk mengoptimalkan operasi filter dalam proses join. Ini mengurangi jumlah data yang dipindai, menurunkan overhead I/O, dan meningkatkan performa kueri lebih dari 20% dalam skenario join multi-tabel khas.

    • Mekanisme Lazy Create Fragment Instance ditambahkan ke engine kueri Hologres. Mekanisme ini membantu mengurangi overhead kueri dan secara signifikan meningkatkan performa kueri dalam skenario di mana data dalam tabel besar dikueri dan batas atas jumlah baris yang dikembalikan dikonfigurasi. Mekanisme ini umum digunakan dalam skenario pratinjau.

    • Format tampilan rencana eksekusi untuk Explain & Explain Analyze sepenuhnya dioptimalkan. Ini meningkatkan keterbacaan dan menyederhanakan optimasi performa SQL.

    • Kemampuan transaksi terdistribusi dioptimalkan. Beberapa pernyataan DML dapat dieksekusi dalam satu transaksi.

    • Mendukung penghapusan kolom.

    • Sintaksis CREATE TABLE AS didukung untuk menyederhanakan optimasi iteratif skema tabel.

    • Streaming COPY didukung. Anda tidak perlu melakukan batch data, yang menghasilkan throughput tulis lebih tinggi.

    • Anda dapat membuat indeks bitmap untuk kolom yang berisi data dalam format JSONB dalam mode penyimpanan berorientasi kolom untuk mempercepat kueri titik.

    • Kolom tipe data DATE dapat dikonfigurasi sebagai kunci primer dan kunci partisi tabel terpartisi. Pemangkasan partisi dioptimalkan untuk mendukung kolom kunci partisi dalam klausa IN Array bahkan ketika jumlah nilai melebihi ambang batas (default 100).

    • Lebih banyak optimasi engine internal:

      • Optimasi engine penyimpanan untuk mekanisme Tablet Lazy Open (didukung oleh instans primer dan sekunder): Overhead memori secara otomatis dinonaktifkan untuk tabel yang belum diakses selama lebih dari 24 jam. Ketika jumlah tabel terbuka melebihi ambang batas, sistem secara dinamis memilih dan menonaktifkan tablet berdasarkan kebijakan least recently used (LRU). Ini mengurangi overhead memori resident dalam skenario dengan banyak tabel terbuka.

      • Optimasi engine penyimpanan untuk mekanisme manajemen penyimpanan skema: Tablet meta digunakan untuk manajemen penyimpanan. Ini membantu mengurangi overhead memori resident skema dan overhead sumber daya dalam skenario di mana banyak tabel dan shard ada.

      • Optimasi engine penyimpanan untuk kemampuan pemulihan cepat: Pemulihan cepat dalam mode perbaikan dapat diaktifkan jika data dalam tabel tertentu tidak dapat dipulihkan menggunakan metode pemulihan data rutin. Secara default, manajemen metadata mendukung pemulihan logis. Pemulihan logis membantu secara signifikan mempersingkat waktu pemulihan jika data dalam banyak partisi perlu dipulihkan. Untuk skenario yang melibatkan puluhan ribu partisi, pemulihan logis mempersingkat waktu pemulihan lebih dari lima kali lipat.

    • Kemampuan fungsi ditingkatkan dalam aspek berikut:

      • Lebih banyak fungsi didukung pada HQE untuk meningkatkan performa fungsi.

        • Kerangka kerja dukungan Fungsi Tabel direkonstruksi untuk memungkinkan HQE mendukung generate_series (INT, BIGINT, NUMERIC).

        • Kerangka kerja dukungan fungsi PQE direkonstruksi untuk memungkinkan HQE mendukung fungsi seperti left, right, text::timestamp, dan timestamp::text.

      • Fungsi array baru ditambahkan, termasuk array_max, array_min, array_contains, array_except, array_distinct, dan array_union.

      • Fungsi agregat max_by dan min_by ditambahkan untuk menyederhanakan operasi pengurutan jendela.

    • Penyimpanan kolom tidak lagi mendukung format penyimpanan Segment. Oleh karena itu, instans yang menggunakan format Segment tidak dapat ditingkatkan ke V2.0 atau yang lebih baru. Anda dapat menggunakan fungsi tool hg_convert_segment_orc untuk melakukan konversi format batch. Untuk informasi lebih lanjut, lihat Ubah format penyimpanan data tabel berorientasi kolom.

    • Untuk mencegah pemborosan sumber daya akibat penyalahgunaan Grup Tabel, batas diberlakukan pada jumlah total shard maksimum untuk satu Grup Tabel dan pada tingkat instans mulai dari V2.0. Untuk informasi lebih lanjut, lihat Panduan Operasi Grup Tabel dan Jumlah Shard.

    • Tulisan DataHub tidak lagi mendukung mode SDK (legacy) dan telah sepenuhnya beralih ke mode JDBC. Mode baru ini lebih stabil dan mendukung lebih banyak tipe data.

    • Secara default, ekstensi binary log dikonfigurasi. Saat Anda mengonsumsi data binary log dalam mode JDBC, Anda tidak perlu membuat ekstensi binary log secara manual. Kuota default untuk WAL Senders ditingkatkan 10 kali lipat dari 200 Slot/32C menjadi 2.000 Slot/32C. Fitur ini telah menyelesaikan fase Beta dan tersedia untuk penggunaan produksi. Untuk informasi lebih lanjut, lihat Mengonsumsi binary log Hologres menggunakan JDBC.

    • Pencadangan dan pemulihan (Pencadangan dan pemulihan lokal) dan penyimpanan bertingkat (Penyimpanan data bertingkat) telah menyelesaikan fase Beta dan kini siap produksi.

    • Untuk informasi lebih lanjut, lihat Perubahan perilaku default.

    Peningkatan O&M dan stabilitas

    • Berdasarkan pg_stat_activity, hg_stat_activity diperkenalkan. Ini kompatibel dengan penggunaan asli dan menyediakan informasi diagnostik runtime yang lebih detail, termasuk tahap eksekusi, jenis engine eksekusi, penggunaan sumber daya, dan lock runtime.

    • Kemampuan replika tingkat shard ditingkatkan untuk mendukung ketersediaan tinggi, load balancing, dan throughput tinggi untuk satu instans, mengatasi masalah seperti kegagalan mesin dan hot spot tidak seimbang.

    • Kemampuan Auto Analyze direfaktor untuk mengaktifkan Auto Analyze terdistribusi. Dengan cara ini, tabel asing, tabel kluster akselerasi lakehouse, dan data inkremental tabel terpartisi dapat dianalisis secara otomatis. Ini membantu menyelesaikan masalah seperti kegagalan analisis tabel ultra-besar atau kolom ultra-lebar. Jumlah tabel yang kekurangan informasi statistik berkurang secara signifikan. Rencana eksekusi lebih stabil, sumber daya yang dikonsumsi lebih sedikit, dan performa lebih stabil.

    • Konfigurasi enkripsi penyimpanan dioptimalkan untuk mendukung konfigurasi enkripsi tabel tunggal yang fleksibel.

    • Mekanisme alur data dioptimalkan untuk memungkinkan Anda menggunakan DataWorks untuk melakukan analisis alur data lintas-engine pada data di MaxCompute dan Hologres. Anda dapat menggunakan ekspresi seperti CTE untuk mengurai alur data.

    Ekstensi ekosistem

    • Engine akselerasi kueri untuk tabel asing MaxCompute ditingkatkan untuk meningkatkan kompatibilitas dan stabilitas.

    • Dalam skenario akselerasi lakehouse, dengan manajemen metadata DLF terintegrasi, Anda dapat menggunakan katalog data DLF (Multi-Catalog) untuk isolasi metadata. Ini memfasilitasi isolasi metadata antara lingkungan pengujian, lingkungan pengembangan, dan kluster lintas-departemen.

    • Dalam skenario akselerasi lakehouse, Anda dapat mempercepat akses ke data yang disimpan di OSS-HDFS (juga dikenal sebagai JindoFS). Ini membantu memenuhi persyaratan komputasi data lake lebih baik di domain seperti ekosistem big data Hadoop dan AI.

    • Fungsi kompatibel ClickHouse ditambahkan untuk menyederhanakan skenario migrasi data dan pekerjaan.

    2022

    Hologres V1.3 (Juli 2022)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan engine

    • Mendukung materialized view real-time untuk meningkatkan efisiensi kueri dalam skenario agregasi real-time (Beta).

    • Optimasi penyimpanan JSONB: Dengan mengadopsi optimasi penyimpanan berorientasi kolom, efisiensi statistik kueri dan kompresi data secara signifikan ditingkatkan.

    • Mendukung manajemen partisi dinamis untuk tabel terpartisi, termasuk pembuatan dan penghapusan otomatis sub-tabel partisi.

    • Menambahkan fungsi deduplikasi presisi UNIQ untuk secara signifikan meningkatkan efisiensi deduplikasi, mengoptimalkan skenario multi-Count Distinct, dan mengurangi konsumsi memori.

    • Optimasi engine.

      • Mendukung penulisan langsung ke tabel induk terpartisi menggunakan pernyataan Insert yang sesuai dengan FixedPlan.

      • Mendukung pemfilteran dengan ekspresi agregasi, seperti string_agg() dan array_agg().

      • Mendukung RowType, bersama dengan fungsi seperti row() dan row_to_json().

      • Mendukung modifikasi skema tabel.

      • Mendukung operator CTE Reuse untuk meningkatkan performa ekspresi with.

    • Mendukung pembacaan model tiga lapis MaxCompute (project.schema.table).

    • Mendukung pembacaan dan penulisan tabel Transaksional MaxCompute, pembacaan tabel Evolusi Skema MaxCompute (tabel yang telah mengalami operasi seperti menghapus kolom, memodifikasi urutan kolom, atau memodifikasi tipe kolom di MaxCompute), dan penulisan kembali tipe Array dan Date.

    Catatan perubahan perilaku default

    Peningkatan O&M dan stabilitas

    • Mendukung konfigurasi self-service instans sekunder penyimpanan bersama, yang mengoptimalkan elastisitas dan ketersediaan tinggi.

    • Tabel table_info ditambahkan ke gudang metadata. Ini meningkatkan kemampuan tata kelola data.

    • Optimasi memori berkelanjutan untuk mengurangi jejak memori metadata.

    • Mendukung pencadangan periodik otomatis dan manual untuk memulihkan data historis dalam skenario seperti kesalahan operasi data.

    Ekstensi ekosistem

    • Dukungan produksi untuk ekstensi PostGIS disediakan.

    • Paket ekstensi Oracle didukung, yang menambahkan banyak fungsi kompatibel.

    • Mendukung pembacaan tabel asing format Hudi dan Delta melalui DLF, dan penulisan data format CSV, Parquet, SequenceFile, dan ORC ke tabel asing OSS melalui DLF.

    • Kompatibilitas BI yang ditingkatkan, mencapai tingkat kelulusan 99%+ dalam tes kompatibilitas Tableau (TDVT).

    2021

    Hologres V1.1 (Oktober 2021)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Perubahan perilaku

    Peningkatan O&M

    • Fitur isolasi grup sumber daya (Beta) kini tersedia. Anda dapat membuat beberapa grup sumber daya untuk mengimplementasikan isolasi workload tingkat thread bagi sumber daya komputasi pengguna berbeda dalam satu instans, memberikan dukungan yang lebih baik untuk penggunaan multi-pengguna dan multi-skenario.

    • Anda dapat melakukan hot upgrade online untuk instans Hologres tanpa memengaruhi pembacaan dan kueri data. Untuk meminta hot upgrade, Anda dapat bergabung dengan grup DingTalk Hologres.

    • Kemampuan Auto Analyze diaktifkan secara default di Hologres V1.1.

    • Engine Hologres baru untuk membaca langsung data MaxCompute diaktifkan secara default di V1.1.

    • Fungsi Resharding telah menyelesaikan fase Beta, dan nama fungsi terkait telah diperbarui.

    Untuk informasi lebih lanjut, lihat Perubahan dalam perilaku default.

    Peningkatan engine

    • Anda dapat membuat tabel dengan struktur penyimpanan hibrida baris-kolom, memungkinkan satu salinan data mendukung berbagai skenario kueri, seperti kueri titik dan OLAP.

    • Anda dapat mengonsumsi data logging biner Hologres secara real-time menggunakan JDBC (Beta).

    • Anda dapat mengaktifkan Binlog Hologres sesuai permintaan dan memodifikasi konfigurasinya secara dinamis.

    • Hologres kini mendukung mengganti nama kolom.

    • Fitur indeks JSONB (Beta) kini tersedia untuk mempercepat kueri dan pengambilan data dalam format JSON.

    • Mekanisme manajemen metadata dalam memori dioptimalkan. Anda dapat menyimpan cache dan mengompresi metadata untuk mengelola memori lebih efisien.

    Optimasi Tampilan

    • Hologres kini mendukung pembacaan data OSS dalam format CSV, Parquet, SequenceFile, dan ORC menggunakan DLF.

    • Hologres kini mendukung kueri lintas-database dan kueri federasi lintas beberapa instans Hologres.

    Peningkatan keamanan

    • Hologres kini mendukung enkripsi penyimpanan untuk data di tabel internal Hologres (Beta) guna meningkatkan keamanan akses data.

    • Hologres kini mendukung pembacaan data MaxCompute terenkripsi (Beta), meningkatkan kompatibilitas Hologres dengan ekosistem MaxCompute.

    Hologres V0.10 (Mei 2021)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Peningkatan engine

    • Mendukung pengumpulan otomatis statistik tabel: Statistik tabel secara otomatis di-sampling selama penulisan dan pembaruan data untuk menghasilkan rencana kueri yang lebih baik, sehingga menghilangkan kebutuhan untuk mengeksekusi Analyze Table secara manual.

    • Mendukung keandalan tingkat milidetik untuk skenario kueri titik (Key/Value) (Beta): Mendukung konfigurasi multi-replika tingkat shard, switching primer-replika tingkat milidetik, dan retry kueri, yang secara signifikan meningkatkan keandalan tinggi dalam skenario layanan.

    • Ekstensi RoaringBitmap ditambahkan, yang menyediakan dukungan native untuk tipe data Bitmap dan fungsi terkait.

    • Fungsi bit_construct dan bit_match ditambahkan: Dioptimalkan untuk skenario seperti penargetan pengguna dan atribusi, mendukung agregasi filtering yang lebih efisien berdasarkan userid.

    • Fungsi range_retention_count dan range_retention_sum ditambahkan: Dioptimalkan untuk skenario retensi dengan kueri rentang multi-hari.

    • Alat Resharding ditambahkan: Dengan fungsi Resharding bawaan, Anda dapat memodifikasi jumlah shard tanpa membuat ulang tabel, yang menyederhanakan proses tuning.

    • Format kompresi default untuk penyimpanan kolom dioptimalkan ke AliORC, yang meningkatkan rasio kompresi penyimpanan sebesar 30% hingga 50%.

    Fitur kueri tabel asing

    • Performa kueri tabel asing MaxCompute ditingkatkan (Beta): Engine akselerasi tabel asing baru meningkatkan performa kueri sekitar 30% hingga 100% dibandingkan versi sebelumnya.

    • Integrasi DLF ditambahkan (Beta): Baca data OSS melalui DLF.

    Optimasi performa

    • Performa kueri titik ditingkatkan: Total throughput untuk penyimpanan baris meningkat 100%, dan untuk penyimpanan kolom meningkat 30%.

    • Optimasi operasi Update: Performa Update/Delete ditingkatkan sebesar 30%.

    • Cache Rencana Kueri: Cache Rencana Kueri dioptimalkan untuk mengurangi latensi pengoptimal.

    /

    Optimasi O&M dan keamanan tingkat enterprise

    • Kueri lambat diekspos, dengan riwayat status kueri bawaan. Anda dapat mengkueri status semua kueri dalam sebulan terakhir untuk dengan cepat mengidentifikasi kueri lambat dan gagal.

    Melihat dan Menganalisis Log Kueri Lambat

    Hologres V0.9 (Januari 2021)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Peningkatan engine

    • Tipe data diperkaya.

      • Tipe JSON dan JSONB.

      • Tipe waktu: interval, timetz, time

      • Tipe jaringan: inet

      • Jenis mata uang: Uang

      • Tipe sistem PG: name, uuid, oid

      • Lainnya: bytea, bit, varbit

    • Jenis fungsi diperkaya, termasuk fungsi kompatibel PG dan fungsi ekstensi Hologres.

      • Fungsi array: array_length dan array_positions ditambahkan.

      • Fungsi untuk melihat ukuran penyimpanan tabel dan DB: pg_relation_size dan pg_database_size.

    • Mendukung ekspor data Hologres ke MaxCompute menggunakan pernyataan perintah SQL Hologres untuk pengarsipan data.

    • Mendukung langganan Binlog Hologres (Beta).

    • Mendukung modifikasi dinamis indeks bitmap tabel dan encoding kamus, serta pembuatan otomatis encoding kamus berdasarkan karakteristik data.

    • Pustaka Klien Hologres dirilis. Cocok untuk sinkronisasi data offline dan real-time batch besar ke Hologres dan untuk skenario kueri titik QPS tinggi. Meningkatkan throughput dengan melakukan batching data secara otomatis.

    • Pipeline tulis JDBC dan pengoptimal kueri dioptimalkan, yang secara signifikan meningkatkan efisiensi tulis engine.

    • Konektivitas ekosistem BI ditingkatkan, yang mendukung lebih banyak alat BI seperti Tableau Server dan Superset untuk memenuhi berbagai kebutuhan analisis bisnis.

    Peningkatan keamanan

    • Mendukung login ke Hologres menggunakan akun STS melalui peran, yang memungkinkan sistem login akun yang lebih aman dan beragam di luar akun cloud saja.

    Mode otorisasi peran RAM

    2020

    Hologres V0.8 (Oktober 2020)

    Peningkatan fitur inti

    Deskripsi fitur inti

    Referensi

    Peningkatan engine

    • Anda dapat membuat view menggunakan pernyataan CREATE VIEW. Anda dapat membuat view berdasarkan satu atau beberapa tabel (termasuk tabel internal dan asing) atau view lainnya.

    • Tipe data SERIAL, DATE, TIMESTAMP, VARCHAR(n), dan CHAR(n) ditambahkan. Juga, pemetaan tipe Array didukung untuk data tabel asing MaxCompute.

    • Anda dapat menggunakan fitur INSERT ON CONFLICT untuk memperbarui atau melewati data duplikat berdasarkan konfigurasi kunci primer saat Anda memasukkan data.

    • Mendukung fitur TRUNCATE.

    • Engine pencarian vektor Proxima bawaan mendukung pencarian vektor pada dataset masif. Fitur ini saat ini dalam Beta.

    Peningkatan keamanan

    • Fitur penyamaran data ditambahkan. Anda dapat mengonfigurasi beberapa kebijakan penyamaran untuk menyamarkan informasi sensitif seperti nomor telepon, alamat, atau nomor KTP.

    • Integrasi dengan CloudMonitor didukung, yang memungkinkan pemantauan metrik kustom dan peringatan satu-klik.

    Batasan dan kendala kueri tabel asing MaxCompute

    • Saat mengkueri tabel terpartisi MaxCompute, jumlah maksimum partisi yang dapat dipindai adalah 512 (sebelumnya 50 di versi sebelum 0.8).

    • Dalam setiap kueri, jumlah maksimum data dasar yang dapat dipindai adalah 200 GB (terlepas dari jumlah tabel asing dan field, sebelumnya 100 GB di versi sebelum 0.8).

    Batasan dan kendala