Hologres：功能發布記錄

核心功能增強

核心功能說明

相關文檔

AI&檢索能力增強

• （Beta）藉助大語言模型（LLM），通過AI Function對文本和映像等非結構化資料進行分析和檢索。所有模型均完全託管於Hologres的AI節點中，可確保效能、可擴充性和治理，同時保障資料安全和合規。AI Function支援以下情境：

  • 使用Embedding模型結合Object Table，實現對文本、映像等非結構化資料的向量檢索以及全文檢索索引。

  • 匯總文本、映像資訊的關鍵洞察。

  • 通過自然語言對文本進行篩選和分類，以及多語言內容進行翻譯與本地化處理。

  • 開展情感分析與基於維度分析，助理服務最佳化。

  • 解析文檔，為資料分析和檢索增強產生（RAG）流程提供支援。

• （Beta）提供全新的HGraph向量檢索技術實現效能提升10倍以上，並支援標量和向量的混合檢索，適用於映像和視頻檢索、行為推薦、安全和欺詐檢測等業務情境。同時支援記憶體和落盤的混合索引，可以將記憶體佔用減少80%，QPS影響僅5%（在標準的VectorDB Benchmark上），並為自動駕駛等巨量資料量和高效能向量檢索的情境提供了一種具有高性價比的解決方案。文檔待開發

• （Beta）新增全文倒排索引和內建分詞器實現全文檢索搜尋，支援以下情境：

  • 支援關鍵詞檢索、短語檢索、自然語言檢索等檢索方式。

  • 支援計算BM25分數，用於文本相似性的召回。

  • 支援和向量檢索結合，用於全文+向量的混合檢索情境。

  • 支援全文+標量的混合檢索情境。

• （Beta）新增全域二級檢索功能，支援非主鍵列上進行高效Key-Value點查的情境，支撐Feature Store，電商平台等需要高效非主鍵點查的情境。

• AI Function

• 全文倒排索引（Beta）

• 全域二級索引（Beta）

引擎增強

• 支援TopN Runtime Filter，用於加速TopN情境的資料查詢。

• （Beta）支援內部表的Time Travel，允許查詢在定義時間段內的任何時間點訪問歷史資料。

• （Beta）支援HBO（基於歷史查詢的查詢最佳化），系統將收集慢查詢的執行詳情，自動分析查詢計劃中是否存在需要調優的地方，並根據這些歷史智能的調整查詢計劃。

/

Dynamic Table

（Beta）支援External Dynamic Table全量/增量將加工後的資料回寫至Paimon，開啟湖上資料近即時加工新時代。至此，Dynamic Table支援倉到倉、湖到倉、倉到湖以及湖到湖的近即時資料加工。特別是結合Serverless型執行個體，可以實現超低成本的湖上資料加工。

• Dynamic Table

• Serverless型執行個體

文法增強

支援QUALIFY子句允許過濾視窗函數的結果。

QUALIFY（Beta）

函數與生態擴充

ClickHouse生態相容性增強：支援toDayOfMonth、toDayOfYear和toHour等多個時間截取函數，相比原extract(field from timestamp)函數效能可提升50%。

日期和時間函數

Serverless&彈性

• （Beta）計算群組執行個體支援 Multi-Cluster 彈性擴充能力，計算群組由一個或者多個Cluster組成，可根據計算群組的負載自動進行橫向擴縮容（Scale out），滿足計算群組組內部的資源隔離和高並發情境需求。

• （Beta）計算群組執行個體實現極致寫與寫隔離，支援使用執行個體中的任意計算群組執行資料的批量寫入任務，批量寫入不再全部依賴Leader計算群組，也無需載入Table Group。

• （Beta）計算群組執行個體熱升級能力增強，支援升級時SQL無損、串連閃斷。

• 支援通過SQL方式切換當前串連的計算群組。

• Serverless Computing支援讀寫DLF外表。

• Multi-cluster與自動彈性（Beta）

• 計算群組管理

• 計算群組執行個體架構

• 計算群組使用者使用授權

• 使用SQL切換當前串連計算群組

• OSS資料湖加速

• 使用Serverless Computing執行讀寫任務

資料湖分析

（Beta）支援MaxCompute資料鏡像，支援MaxCompute資料Zero ETL到鏡像內部表的預熱，極大提升查詢效率。在配置資料鏡像後，查詢MaxCompute表的效能和查詢Hologres內部表相同，使用者無需配置專門的資料同步任務來將資料從MaxCompute同步到Hologres。

/

核心功能增強

核心功能說明

相關文檔

引擎增強

• 支援CTE運算式自適應Reuse/Inlining。

• BETWEEN運算式計算最佳化。

CTE Reuse策略最佳化

Dynamic Table

• 增量情境拓展，支援ARRAY_AGG和STRING_AGG等函數使用增量重新整理模式。

• DataWorks資料地圖支援Dynamic Table血緣分析。

• ARRAY_AGG

• STRING_AGG

Serving能力增強

Fixed Plan支援簡單運算式，支援更多情境的高QPS的KV點查和寫入。

Fixed Plan加速SQL執行

函數與生態擴充

支援Lambda運算式，支援含Lambda運算式的高階數組函數。

LAMBDA運算式及相關函數

Serverless能力

• Serverless Computing功能情境拓展，支援讀寫加密表，含內部表加密表和MaxCompute外部表格加密表。

• 查詢隊列能力拓展，支援按表對SQL分類，將某張表的請求自動路由至Serverless Computing中執行。

• Serverless Computing使用指南

• 查詢隊列Query Queue

資料湖分析能力

• 支援Paimon湖表資料鏡像，加速湖上資料查詢。

• 對接DLF 2.5中繼資料管理系統，支援使用DLF提供的REST介面對接湖上Paimon Catalog。

• 支援Paimon資料湖資料鏡像，支援湖上資料的Zero ETL到鏡像內部表的預熱，極大提升查詢效率。

• 提供針對Paimon的Time Travel查詢功能，可通過指定Timestamp、Tag的方式讀取歷史資料。

• 支援讀取Paimon表的Branch資料，支援讀取指定Branch功能，並支援Fallback行為讀取資料。

• 允許使用者禁止分區表的全表掃描，防止因為全表掃描導致佔用過多資源的問題。

• 效能提升，在TPC-H 1 TB on Paimon的查詢效能提升一倍。

• 湖表鏡像

• 基於DLF訪問Paimon Catalog

生態能力增強

Binlog支援裁剪和壓縮，減少消費Binlog時對於IO的佔用。

/

核心功能增強

核心功能說明

相關文檔

Hologres Serverless型執行個體（Beta）發布，開啟免費邀測。

Hologres Serverless型執行個體是Hologres雲端式原生的Serverless架構研發的新執行個體形態，您無需預購買獨享計算資源，無持有成本，即可享受靈活彈性、簡單易用的Hologres計算與儲存服務。

您可使用阿里雲帳號（主帳號）填寫表單，申請試用。

Serverless型執行個體

核心功能增強

核心功能說明

相關文檔

Dynamic Table

• 支援基於邏輯分區表的動態分區，大幅簡化分區表的使用。

• 新增Auto Refresh模式，使用者僅需指定資料新鮮度（Freshness），引擎自動最佳化重新整理策略，提升資料重新整理靈活性。

• 增量重新整理支援雙流JOIN情境，提升即時資料處理靈活性。

• 增量重新整理支援RoaringBitmap函數，用於支援UV、PV等複雜情境增量計算。

• 全量重新整理模式支援Adaptive Execution（Beta），引擎內部自適應，在兼具低延遲基礎上，顯著提升執行的穩定性（降低OOM機率）、易用性（例如動態推導計算資源、動態調整計劃）。

• CREATE DYNAMIC TABLE

• 增量重新整理

Serverless能力

• Serverless Computing功能情境擴充，支援Insert Overwrite、Resharding、CTAS等複雜DML情境，支援預存程序、Rebuild及加密表。

• 實現計算群組無損擴縮容（Beta），保障計算群組變更配置時的商務持續性。

• 支援自動限流能力（Beta），根據負載動態限制查詢隊列的並發數，顯著提升叢集穩定性。

• 新增自適應Serverless Computing路由能力，大查詢自動使用Serverless資源執行。

• 支援設定Serverless Computing的每日可用資源量上限。

• 最佳化Serverless Computing在並發情境下對緩衝的複用能力，提升並發情境下的查詢效能。

• 支援RAM ROLE對計算群組執行擴縮容。

• Serverless Computing使用指南

• Serverless Computing功能發布記錄

• 計算群組管理

• 分時彈性（Beta）

• 自動限流（Beta）

• 日累計用量限制

效能最佳化和查詢能力增強

• 重構查詢引擎，推出QEv2，並支援了compution on light-weight encoding，實測在TPC-H 1TB基準測試中效能提升33%。

• 引擎自適應最佳化，根據Cost model自動下推AGG Plan，降低參與JOIN的資料量，顯著降低延遲和CPU開銷。

• 自動推導JOIN欄位的NOT NULL屬性，並將NOT NULL條件下推，提前過濾NULL值，自動消除AGG的GROUP BY常量欄位。

• 新增Query Cache功能，支援特定查詢結果緩衝加速。

• 增強hg_stats_missing視圖的統計資訊診斷能力，新增autovacuum_enabled（是否開啟AUTO ANALYZE）、reason（統計資訊缺失原因）等欄位，便於診斷和補全統計資訊。

• AUTO ANALYZE系統最佳化：統計資訊收集增強，在表缺失統計資訊時，自動擷取表的行數，提升查詢計劃良率。增強統計資訊的持久性和抗幹擾性，減少不影響統計資訊的Schema變更（如RENAME，轉冷存等）帶來的統計資訊清空，降低系統負載，提升執行計畫良率。

• 測試結果參考

• Query Cache

• HG_STATS_MISSING View

資料管理與寫入最佳化

• 儲存與索引最佳化

  • 新的邏輯分區表（Beta），提升分區表使用靈活性，同時中繼資料管理更輕量，資料管理更便捷。

  • 新增儲存產生列（Stored Generated Columns）（Beta），簡化資料加工，預計算加速查詢。

  • 推出Rebuild工具（Beta），支援輕量級索引（Distribution Key、Clustering Key、Segment Key），及其他表結構修改。

• 寫入能力增強

  • 主鍵表COPY支援局部列更新，降低FIXED COPY情境。使用Fixed FE後，可以不佔用原有的FE的串連數。

  • 原生支援INSERT OVERWRITE文法，更靈活實現對普通表、邏輯分區表的INSERT OVERWRITE操作。

• 邏輯分區表（Beta）

• 產生列（Beta）

• REBUILD（Beta)

• COPY

• Hologres批量寫入最佳實務

• INSERT OVERWRITE

函數與生態擴充

• 內建函數新增

  • 新增屬性關聯漏鬥函數和維度分組漏鬥函數。

  • Spark/Presto相容函數擴充，提升跨引擎開發效率。

  • Roaring Bitmap函數（部分）支援64位，使用者Portrait analysis情境擴充。

• 遠程函數支援

  • 支援通過Function ComputeFunction Compute調用Remote UDF，靈活擴充ETL能力。

• 屬性關聯漏鬥函數（finder_funnel）

• 維度分組漏鬥函數（finder_group_funnel）

• Spark相容函數

• Presto相容函數

• 資料類型匯總

• RoaringBitmap函數

• 自訂函數UDF（Remote UDF）

企業級特性升級

• 強化企業級許可權管理能力，支援在PostgreSQL協議的串連選項中指定Security Token，通過JDBC或PSQL，即可實現RAM角色登入。

• 支援表資源回收筒能力，用於誤刪除表之後，在表資源回收筒中恢複表及其資料。

• 資料脫敏功能增強，支援View結果脫敏、非TEXT欄位類型脫敏，大幅增強敏感性資料的保護，防止敏感性資料被暴力破解。

• 表資源回收筒

• 資料脫敏

資料湖分析能力

• 外部資料源支援

  • 增強External Database整合，主流BI工具（Quick BI/Tableau/Superset）無縫訪問。

  • External Database支援指定中繼資料重新整理間隔。

  • External Database支援ANALYZE、AUTO ANALYZE。

  • 支援通過INSERT INTO寫入Paimon主鍵表，方便湖倉資料自由流轉。

  • 支援通過INSERT INTO寫入Iceberg表，相容更多開放資料湖格式。

• MaxCompute透明加速

  • Hologres直讀MaxCompute資料升級為2.0版本（Beta），基於MaxCompute C++ Native SDK重構了底層直讀方式，進一步提升Hologres訪問MaxCompute資料來源的效能和體驗。

  • 支援直讀MaxCompute Delta Table（Beta）。

  • 支援以脫敏方式直讀MaxCompute動態脫敏資料，提供一體化脫敏體驗（Beta）。

  • 支援直讀MaxCompute Schema Evolution表，支援的操作類型包括增加列、刪除列、修改列類型、調整列順序。

  • 支援基於DataWorks新版資料開發實現MaxCompute Project、Schema、表一鍵映射至Hologres。

  • 支援基於DataWorks新版資料開發實現MaxCompute表資料一鍵匯入至Hologres。

• ANALYZE和AUTO ANALYZE

• MaxCompute加速

• Hologres訪問MaxCompute Delta Table

• 映射MaxCompute中繼資料至Hologres外表

• 同步MaxCompute資料至Hologres內表

核心功能增強

核心功能說明

相關文檔

引擎能力增強

• 重磅發布Dynamic Table，支援全量重新整理和增量重新整理兩種模式，資料自動流轉，自動重新整理，解決即時數倉分層、流批一體等強需求，滿足不同時效性資料分析需求。

• Serverless Computing能力升級，支援SELECT、COPY等情境。對於臨時大查詢，提供雲原生的資源使用方式情節。

• 計算群組支援分時彈性（Beta），支援計算資源按時彈性，滿足不同時段的差異化資源需求，避免相互幹擾，更大化提高資源使用率。

• 支援查詢隊列：

  • 根據業務需求建立查詢隊列，並設定隊列的並發度和隊列長度，提升執行個體穩定性。

  • 提升大查詢治理能力，支援為隊列設定大查詢的逾時時間，減少對執行個體的影響，並支援大查詢使用Serverless Computing資源重跑大查詢。

  • 支援使用Serverless Computing執行查詢隊列的全部查詢。

• Fixed Plan寫入、更新及點查效能最佳化，相較於V2.2版本整體提升約10%。

• 支援對分區父表執行INSERT OVERWRITE。

• 支援預存程序（Beta），定義常用SQL，簡化業務複雜度。

• Schema Evolution能力增強，支援修改列的資料類型。

• Copy能力增強，匯入有主鍵表時支援配置整行更新策略，而非主鍵衝突報錯。

• 查詢引擎能力增強，支援Cross Join提升在非等於條件下JOIN的查詢效能。同時支援Partial Agg，在GROUP BY Key較多時，可以限制記憶體，降低OOM的機率。

• 儲存引擎能力增強，提升了當Segment Key設定了非順序寫入列時，列存表的更新效能。

• 函數能力增強：

  • TRY_CAST函數增強，目標資料類型支援DATE、TIMESTAMP、TIMESTAMPTZ。

  • 支援在HQE上運行含DISTINCT、ORDER BY的ARRAY_AGG和STRING_AGG函數，提升查詢效能。

• Serverless Computing使用指南

• 分時彈性（Beta）

• 使用Serverless Computing資源執行查詢隊列的查詢

• 資料寫入、更新、點查情境壓測最佳實務

• INSERT OVERWRITE

• 預存程序（Beta）

• ALTER TABLE

• COPY

• EXPLAIN和EXPLAIN ANALYZE

• OOM常見問題排查指南

• 類型轉換函式

• 函數功能發布記錄

營運&穩定性改善

• 聯合SLS推出SQL審計，用於對資料庫活動進行監控、記錄和分析，以確保資料安全和遵從相關政策。

• 計算群組擴容能力增強，支援擴容期間讀寫不中斷。

• 支援將小於100ms的DML和查詢以彙總方式記錄在Query Log系統資料表中，提升SQL觀測和分析能力。

• CloudLens for Hologres

• 計算群組管理

• 分時彈性（Beta）

• 慢Query日誌查看與分析

湖倉一體

• 新增External Database功能，支援DLF、MaxCompute等資料來源的Catalog層級中繼資料映射，提升資料湖的中繼資料和資料管理能力。

• 支援對接Hive MetaStore映射中繼資料，透明加速EMR叢集。

• 支援使用INSERT INTO方式寫入Paimon Append Table。

• 支援讀取Iceberg湖格式，進一步擴充資料湖生態。

• 安全能力增強，預設使用SLR透傳身份訪問DLF2.0，同時支援以RAMRole的方式訪問DLF2.0。

• 表格能力增強。

  • 重構Delta Lake格式的Reader，讀取效能大幅提升。

  • 支援Paimon Deletion Vector最佳化，提升存在大量資料刪除，但是未及時Compaction時的查詢效能。

• Hologres從V3.0.22版本開始支援訪問MaxCompute Delta Table。

• 基於Hive Metastore訪問OSS資料湖資料（Beta）

• Hologres訪問MaxCompute Delta Table

核心功能增強

核心功能說明

相關文檔

Hologres Serverless Computing功能完成Beta階段

Hologres Serverless Computing功能完成Beta階段，生產可用，並承諾SLA，於北京時間2024年07月01日正式商業化。

• 用量與計費

• Serverless Computing

核心功能增強

核心功能說明

相關文檔

引擎能力增強

• 引擎底層能力持續最佳化，整體效能相比之前版本提升約15%。專註於向量執行引擎（Hologres Query Engine，HQE）和最佳化器（Query Optimizer，QO）的持續演化，其中：

  • 向量執行引擎HQE能力最佳化，在如下情境中效能得到提升：

    • Runtime Filter能力增強，支援Shuffle Join情境，Runtime Filter情境的查詢效率提升約30%。

    • 最佳化HQE的RPC連邊機制，每個Worker內資料先合并再進行Worker間分發，顯著降低網路開銷，在帶有Shuffle的情境上，查詢效能提升8%。

  • 最佳化器QO效能最佳化，SQL在Plan階段的處理速度提升40%：

    • 最佳化記憶體配置機制和Join演算法，提升多Join情境的查詢效能。

    • 最佳化DATE_PART函數行為，提升對帶有時間屬性的欄位（如年份）的查詢效率。

    • 最佳化DATE和TIMESTAMP類型欄位的比較行為，提升時間欄位的查詢效率。

    • 最佳化複雜函數中帶有Filter的運算行為，通過調整多個Filter的順序，減少資料計算量，提升查詢效率。

• 推出Serverless Computing，可以將指定的資料匯入或ETL等長周期作業運行在共用的Serverless資源集區中，減少執行個體內部的任務競爭和相互幹擾，提升執行個體穩定性（僅部分Region支援）。

• 動態分區Auto Partition支援自訂分區建立時間或刪除時間，以及自訂冷存表搬遷時間，提升動態分區的易用性。

• 支援SQL Hint文法，通過Hint改變SQL的執行方式，從而實現對SQL進行細粒度的執行最佳化。

• hg_stat_activity功能最佳化，提供更精準的CPU、Memory指標，並支援查看MaxCompute資料匯入Hologres的進度，顯著提升活躍Query的可觀測能力。

• 新增路徑分析函數，可分析每個路徑節點的節點流量、耗時情況，進一步協助業務分析產品營運策略，最佳化產品設計思路。

• 函數能力增強：

  • 支援類型轉換函式try_cast，自動將異常資料轉換為NULL值而非報錯，簡化異常資料處理成本。

  • 支援時間和日期類新函數dateadd、datediff、last_day。

  • 支援在HQE上運行多種通用彙總函式，以提升查詢效能。

• Serverless Computing使用指南

• 動態分區管理

• HINT

• Query管理

• 路徑分析函數

• 類型轉換函式

• 函數功能發布記錄

營運&穩定性改善

• 支援SQL指紋並上報慢Query日誌，可通過對SQL指紋的群集，提升問題定位和異常監控能力。

• 透出QE、FixedQE、Binlog等監控指標，提升業務的觀測性和可營運能力。

• HoloWeb支援Query洞察，一鍵查詢擷取Query執行資訊、表的中繼資料資訊、鎖排查等，進一步提升問題排查效率。

• 支援跨AZ容災，提升執行個體的災備能力（僅部分Region支援）。

• 最佳化引擎錯誤碼和報錯資訊，提升慢Query日誌分析效率。

  • 最佳化DDL duration計算邏輯，提升DDL操作執行時間的採集準確性。

  • 支援在慢查詢日誌中記錄EXPLAIN ANALYZE結果，詳細記錄每個運算元的運行時資料。

• 版本升級技術底層最佳化，使用新一代的Physical Restore技術，在中繼資料較多時大幅縮短升級耗時，降低升級對業務的影響。

• FE節點表鎖機制升級為短鎖，有效解決DDL卡住、以及FE節點中繼資料不一致出現異常報錯等問題，提升FE節點中繼資料的穩定性和一致性。

• OpenAPI能力升級，新增資料湖加速、資源群組等介面，提升執行個體營運管理能力。

• 慢Query日誌查看與分析

• Query洞察

• Hologres SQL語句的常見問題

• API概覽

生態拓展

• 外部表格自動載入（Auto Load）功能支援MaxCompute三層模型，可使用hg_experimental_auto_load_foreign_schema_mapping參數指定Schema映射關係；支援MaxCompute外部表格Schema Evolution，如增加列、刪除列、修改列名及列順序。

• 外部表格自動載入（Auto Load）功能支援通過DLF中繼資料自動載入，加速查詢儲存於OSS上的表。

• 資料湖架構升級，ORC、Parquet格式外部表格支援使用內建高速磁碟和記憶體實現多級緩衝，並支援謂詞下推過濾，大幅提升讀取效能。

• 支援通過服務關聯角色訪問MaxCompute外部表格，以更好地配置雲端服務要求的權限，避免誤操作帶來的風險，可通過Hologres管理主控台一鍵授權服務關聯角色。

• 支援通過HoloWeb可視化訪問OSS資料和MaxCompute三層模型指定的Schema下的表。

• 外部表格自動載入（Auto Load）

• Hologres服務關聯角色

• 建立OSS外部表格

• 建立MaxCompute外部表格

核心功能增強

核心功能說明

相關文檔

引擎能力增強

• 針對單條以及多條 COUNT DISTINCT 在運行時自動效能最佳化，顯著提升 COUNT DISTINCT 情境的查詢效率。

• 查詢最佳化工具新增Row Group Filter機制，針對列存表，同一列的多行資料群組成Row Group，並且記錄每個Row Group的max/min值，在查詢過濾對應列時，可以在不讀取資料的情況下對Row Group過濾，顯著降低查詢開銷，提升查詢效能。

• 最佳化Runtime Filter能力，支援多列Join情境，顯著提升Join效率。

• 新增手動觸發Full Compaction能力，合并小檔案，提升查詢效率。

• 新增區間漏鬥分析函數，用於分析使用者活動的轉化情況和轉化情況的對比。

• 新增Bit-Sliced Index（BSI）擴充庫，最佳化高基數標籤情境、使用者屬性標籤與行為標籤聯集查詢的效能與易用性。

• 聚簇索引Clustering Key支援設定降序排列，在排序情境下利用聚簇索引，提升查詢效能。

• 最佳化低頻訪問儲存的緩衝機制，提升低頻訪問儲存的查詢效能。

• 新增CREATE TABLE WITH、ALTER TABLE SET文法，替代原有 set_table_property 文法，簡化表屬性設定過程。

• 最佳化無主鍵表寫入能力，無主鍵表批量寫入不產生表鎖，改為行鎖，可以與Fixed Plan同時進行。

• Proxima向量計算支援先建表並匯入向量資料、再建立向量索引，縮短索引建立時間，簡化向量計算使用。

• 函數能力增強：

  • 支援若干數組函數運行在HQE，提升函數效能。

  • 新增KeyValue函數，實現字串的拆分。

  • 新增IF函數，簡化類型檢測情境，降低MySQL遷移成本。

• Count Distinct最佳化

• Runtime Filter

• Compaction（Beta）

• 漏鬥函數

• BSI函數

• Portrait analysis - BSI最佳化方案

• 聚簇索引Clustering Key

• 資料階層式存放區

• CREATE TABLE

• 鎖以及排查鎖

• Proxima向量計算

• 函數功能發布記錄

• KeyValue函數

• IF

營運&穩定性改善

• 慢查詢能力增強，提升使用者分析慢查詢的效率。

  • 支援在慢查詢日誌中記錄EXPLAIN ANALYZE結果，詳細記錄每個運算元的運行時資料。

  • Fixed Plan診斷能力增強，寫入情境affected_rows資料上報元倉，查詢情境result_rows、result_bytes資料上報元倉。

• 新增hg_relation_size函數，用於查詢的表佔用的儲存明細。

• 相容原生PostgreSQL行為，支援負載平衡，實現在主從架構情境下的負載平衡和故障自動轉移，提升服務可用性。

• OpenAPI能力升級，新增建立執行個體、執行個體續約、執行個體變更配置、釋放執行個體介面，提升執行個體營運管理能力。

• 慢Query日誌查看與分析

• Fixed Plan加速SQL執行

• 表格儲存體函數

• 基於JDBC的負載平衡

• API概覽

生態拓展

資料湖加速支援Paimon格式儲存。

OSS資料湖加速

核心功能增強

核心功能說明

相關文檔

引擎能力增強

• 新增Runtime Filter，最佳化join過程中的過濾行為，減少資料掃描量，降低IO開銷，典型多表關聯情境中，有20%以上效能提升。

• 查詢引擎新增Lazy Create Fragment Instance機制，對於大表查詢（常見預覽情境）limit N情境，降低查詢開銷，顯著改善查詢效能。

• 全面最佳化執行計畫展示格式（Explain & Explain Analyze），改善可閱讀性，簡化SQL效能最佳化手段。

• 最佳化分散式交易能力，新增支援多條DML混合事務情境。

• 支援Drop Column。

• 支援CREATE TABLE AS文法，簡化表結構迭代最佳化情境。

• 支援流式COPY，無需攢批，寫入吞吐更高。

• 支援在JSONB列式儲存最佳化中設定Bitmap索引，加速等值過濾情境。

• 支援將DATE類型設為主鍵及分區表分區鍵，最佳化分區剪裁，當分區欄位IN Array的長度超過閾值（預設100）同樣支援分區裁剪。

• 更多引擎內部最佳化：

  • 儲存引擎最佳化Tablet Lazy Open機制（主從執行個體均支援）：超過24小時無訪問的表自動關閉記憶體開銷，當開啟表的資料量超過閾值時基於LRU策略動態選取對應Tablet進行關閉，降低表多情境下的常駐記憶體開銷。

  • 儲存引擎最佳化Schema儲存管理機制，統一通過Meta Tablet儲存管理，降低表多、Shard多情境下Schema常駐記憶體開銷，降低資源開銷。

  • 儲存引擎最佳化快速恢複能力，支援在部分表常規恢複有問題時以修複模式啟動快速恢複。中繼資料管理預設支援邏輯恢複能力，在分區數多的情境下有效縮短恢復，在數萬分區情境下，有5倍以上的提速復原。

• 函數能力增強：

  • 支援更多函數運行在HQE，提升函數效能。

    • 重構Table Function函數支援架構，支援generate_series（INT、BIGINT、NUMERIC）運行在HQE。

    • 重構PQE函數支援架構，支援left、right、text::timestamp、timestamp::text運行在HQE。

  • 新增數組函數，支援array_max、array_min、array_contains、array_except、array_distinct、array_union函數。

  • 新增彙總函式max_by與min_by，簡化視窗類別排序操作。

• Runtime Filter

• EXPLAIN和EXPLAIN ANALYZE

• SQL事務能力

• 刪除列（Beta）

• CREATE TABLE AS

• COPY

• 列式JSONB

• CREATE PARTITION TABLE

• 函數功能發布記錄

• 數組（ARRAY）函數

• MAX_BY

• MIN_BY

營運&穩定性改善

• 在pg_stat_activity基礎上，推出hg_stat_activity，相容原有用法，同時極大豐富運行時診斷資訊，增加執行階段，執行引擎類別，資源使用，運行時鎖等資訊。

• 完善Shard級Replica能力完成，支援單一實例內高可用及負載平衡擴吞吐情境，可容忍部分機器故障及熱點不均衡問題。

• 重構Auto Analyze能力，採用分布式Auto Analyze，支援外表Auto Analyze，支援湖倉加速叢集Auto Analyze，支援分區表增量Auto Analyze，解決超大表，超寬列Analyze失敗等問題，顯著減少表缺少統計資訊情境，執行計畫更穩定，效能消耗更低，更穩定。

• 最佳化儲存加密配置，支援靈活的單表加密配置。

• 最佳化資料血緣機制，支援在DataWorks中對MaxCompute和Hologres跨引擎血緣分析，支援CTE等運算式的血緣解析。

• 查詢hg_stat_activity視圖資訊

• 單一實例Shard級多副本

• 表層級儲存加密設定

• 資料血緣

生態拓展

• 升級針對MaxCompute外表的查詢加速引擎，改善相容性與穩定性。

• 湖倉加速情境中，在整合資料湖DLF中繼資料管理下，支援使用DLF資料目錄（Multi-Catalog）做中繼資料隔離，方便在測試環境、開發環境、跨部門叢集之間做中繼資料隔離。

• 湖倉加速情境中，支援加速儲存於OSS-HDFS（又名JindoFS）上的資料，可以更好地滿足巨量資料Hadoop生態和AI等領域的資料湖計算情境。

• 新增ClickHouse相容函數，簡化資料和作業遷移情境。

• OSS資料湖加速

• 基於DLF訪問OSS-HDFS資料湖資料

• 從ClickHouse匯入

核心功能增強

核心功能說明

相關文檔

引擎能力增強

• 支援即時物化視圖，提升即時彙總情境查詢效率（Beta）。

• JSONB儲存最佳化，通過採用列式儲存最佳化，顯著提高查詢統計的效率，提高資料壓縮效率。

• 支援分區表動態分區管理，支援自動建立與刪除分區子表。

• 新增UNIQ精確去重函數，顯著提高去重計算效率，最佳化多Count Distinct情境，節省記憶體消耗。

• 引擎最佳化。

  • 支援符合FixedPlan情況的Insert語句直接寫入分區表父表。

  • 支援彙總運算式過濾能力，支援string_agg()和array_agg() 過濾。

  • 支援RowType，支援row()、row_to_json()等函數。

  • 支援修改表所在的Schema。

  • 支援CTE Reuse運算元，提升with運算式運算效率。

• 支援讀取MaxCompute三層模型（project.schema.table)。

• 支援讀寫MaxCompute Transactional類型表，支援讀取MaxCompute Schema Evolution狀態表（在MaxCompute側執行過刪除列、修改列順序，修改列類型操作的表），支援Array、Date類型回寫 。

• SQL管理物化視圖

• JSON和JSONB類型

• CREATE PARTITION TABLE

• 最佳化查詢效能

• INSERT

• Fixed Plan加速SQL執行

• 字串函數

• JSON函數

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• 基於Foreign Table加速查詢MaxCompute資料

• 匯出至MaxCompute

營運能力和穩定性改善

• 支援自助配置共用儲存從執行個體，最佳化彈性和高可用 。

• 新增元倉表table_info，提升資料治理能力。

• 持續記憶體最佳化，減小中繼資料記憶體佔用。

• 支援自動周期備份和手動備份，以便在某些情境下，例如資料誤操作時，恢複歷史資料。

• 多執行個體讀寫分離高可用部署（共用儲存）

• 表統計資訊查看與分析

• 本地備份與恢複

• 恢複

生態拓展

• 生產級支援PostGIS擴充能力 。

• 支援Oracle擴充包，新增眾多相容函數。

• 支援通過DLF讀取Hudi、Delta格式外部表格，支援通過DLF寫入CSV、Parquet、SequenceFile、ORC格式資料至OSS外部表格。

• 改善BI相容性，在Tableau相容性測試中（TDVT）通過率提升至99%+。

• PostGIS空間函數

• Oracle相容函數

• OSS資料湖加速

核心功能增強

核心功能說明

相關文檔

營運能力改善

• 新增資源群組隔離能力（Beta），通過設計多個資源群組，實現執行個體內部不同使用者的計算資源線程級負載隔離，可以更好地支撐多使用者、多情境的使用方式。

• 支援Hologres執行個體線上熱升級，升級期間，讀（查詢）資料不受影響，升級版本時可以加入即時數倉Hologres交流群申請使用熱升級。

• 單一實例計算資源隔離（Beta）

• 加群方式請參見如何擷取更多的線上支援

引擎能力增強

• 支援將表設計為行列共存結構，一份資料同時支援點查、OLAP多種查詢情境。

• 支援JDBC即時消費Hologres Binlog（Beta）。

• 支援Hologres Binlog按需啟用，配置動態修改。

• 支援重新命名列名稱。

• 新增JSONB索引（Beta），加速JSON類型資料的查詢檢索。

• 最佳化記憶體中中繼資料管理機制，增加中繼資料快取與壓縮，更有效率的管理記憶體。

• CREATE TABLE

• 通過JDBC消費Hologres Binlog

• 訂閱Hologres Binlog

• ALTER TABLE

• JSON和JSONB類型

外表能力最佳化

• 支援通過DLF讀取 CSV、Parquet、SequenceFile、ORC格式的OSS資料。

• 支援Hologres跨庫查詢，支援Hologres多執行個體聯邦查詢。

• OSS資料湖加速

• 跨庫查詢（Beta）

安全增強

• 支援Hologres內部表資料存放區加密（Beta），提升資料訪問安全能力。

• 支援讀MaxCompute加密資料（Beta），豐富Hologres相容MaxCompute生態。

• 資料存放區加密

• 查詢MaxCompute加密資料

核心功能增強

核心功能說明

相關文檔

引擎增強

• 支援自動採集表的統計資訊：資料寫入更新時自動採樣表的統計資訊，以便產生更優的Query Plan，不再需要手工執行Analyze Table。

• 支援點查（Key/Value）情境的毫秒級高可靠（Beta）：支援Shard層級多副本配置，支援毫秒級主副本切換和查詢重試，顯著提高服務情境下的高可靠能力。

• 新增RoaringBitmap擴充，原生支援Bitmap資料類型及相關函數。

• 新增bit_construct和bit_match函數：針對圈人、歸因等情境進行最佳化，支援更高效率的基於userid的彙總條件過濾。

• 新增range_retention_count和range_retention_sum函數：針對留存情境最佳化多天範圍查詢。

• 新增Resharding工具：內建Resharding函數，修改Shard數無需重建立表，簡化調優過程。

• 最佳化列存預設採用AliORC壓縮格式，儲存壓縮比提高30%~50%。

• ANALYZE和AUTO ANALYZE

• 單一實例Shard多副本高吞吐（Beta）

• RoaringBitmap函數

• 明細圈人函數

• 漏鬥函數

• Table Group與Shard Count操作指南

• 更改列存表的資料存放區格式

外表查詢功能

• MaxCompute外部表格查詢效能提升（Beta）：全新外部表格加速引擎，相比之前版本，查詢效能約有 30% ~ 100%的提升。

• 新增整合DLF（Beta）：通過DLF讀取OSS資料。

• 最佳化MaxCompute外部表格的查詢效能

• OSS資料湖加速

效能最佳化

• 點查效能提升：行存總吞吐提升100%，列存總吞吐提升30%。

• 更新操作最佳化：Update/Delete最佳化，效能提升30%。

• Query Plan緩衝：最佳化Query Plan Cache，降低最佳化器耗時。

/

企業級營運與安全最佳化

• 慢查詢透出，內建查詢狀態歷史，可以查詢一個月內所有查詢的狀態，快速定位慢查詢，失敗查詢。

慢Query日誌查看與分析

核心功能增強

核心功能說明

相關文檔

引擎增強

• 資料類型豐富。

  • JSON和JSONB類型。

  • 時間類型：interval、timetz、time

  • 網路類型：inet

  • 貨幣類型：money

  • PG系統類別型：name、uuid、oid

  • 其他：bytea、bit、varbit

• 函數類型豐富，包括相容PG的函數和Hologres擴充函數。

  • 數組函數：新增array_length和array_positions。

  • 查看錶和DB儲存大小的函數：pg_relation_size和pg_database_size。

• 支援通過Hologres SQL命令語句將Hologres資料匯出至MaxCompute，實現資料歸檔。

• 支援Hologres Binlog 訂閱（Beta）。

• 支援動態修改表bitmap索引和字典編碼，支援根據資料特徵自動建立字典編碼。

• 發布Hologres Client Library，適用於大批量離線、即時資料同步至Hologres以及高QPS的點查情境，實現自動攢批，提高吞吐。

• 最佳化JDBC寫入鏈路和查詢最佳化工具，顯著提升引擎寫入效率。

• BI生態連通友好性提升，支援Tableau Server，Superset等更多BI工具，滿足多種業務分析需求。

• JSON和JSONB類型

• 資料類型匯總

• 數組（ARRAY）函數

• 表格儲存體函數

• 匯出至MaxCompute

• 訂閱Hologres Binlog

• ALTER TABLE

• Holo Client

安全增強

• 支援STS帳號通過角色的方式登入Hologres，實現除雲帳號外等更安全更多元的帳號登入體系。

RAM角色授權模式

核心功能增強

核心功能說明

相關文檔

引擎增強

• 支援通過CREATE VIEW語句建立視圖。您可以基於一張表、多張表（包含內部表和外部表格）或者其他視圖建立視圖。

• 新增SERIAL、DATE、TIMESTAMP、VARCHAR(n)及CHAR(n)資料類型。同時，MaxCompute外部表格資料支援Array類型映射。

• 支援INSERT ON CONFLICT功能，您可以根據主鍵配置，在插入資料時更新或跳過重複資料。

• 支援TRUNCATE功能。

• 內建Proxima向量檢索引擎，支援海量資料向量檢索功能，該功能目前處於Beta版本。

• VIEW

• 資料類型匯總

• INSERT ON CONFLICT(UPSERT)

• Proxima向量計算

安全增強

• 新增資料脫敏功能。您可以配置多種脫敏策略，對電話、地址或身份證等私密資訊進行脫敏。

• 對接CloudMonitor，支援自訂指標監控和一鍵警示。

• 資料脫敏

MaxCompute外部表格查詢約束與限制

• 查詢MaxCompute分區表時，掃描分區數的最大值為512個（0.8之前版本為50個）。

• 每個查詢中，最大的底層資料掃描量為200GB（與外部表格的數量以及欄位數無關，0.8之前版本為100GB）。

約束和限制