E-MapReduce：核心發布記錄

功能分類

說明

基礎引擎

【問題修複】

• 修複 BinaryColumnBase::append 在 _bytes 為空白時的 BE 崩潰問題。

• 修複 SinkBuffer brpc closure 回調中 bad_weak_ptr 崩潰問題（QueryContext 提前析構情境）。

• 修複 ALTER TABLE SET storage_volume 未寫 EditLog 導致 Follower FE 不同步、Leader 重啟丟失綁定的問題。

• 修複 ChildFirstClassLoader 中 JNI Connector 載入時的 SLF4J LinkageError 問題。

• 修複批量 publish 在分區版本 gap 情境下導致的死結。

• 修複 PipelineTimerTask 卡在 waitUtilFinished 的問題。

• 修複 EventScheduler 中 check_short_circuit 邏輯錯誤。

存算分離

【問題修複】

• 修複 Composite SV 在新分配 partition ID 低位 parity 相同時的子桶路由傾斜問題。

• 修複 Composite SV 上 schema-change / rollup 影子 tablet 因 shard path 變化導致已有分區被重新路由的問題。

• 修複 Composite SV 中按 ID 尋找 FileStore 缺失時的軟失敗 fallback 覆蓋。

Lakehouse

【功能最佳化】

• 支援 MaxCompute 三層命名空間（新增 catalog property odps.enable.namespace.schema，預設 false）。

• Iceberg 版本升級至 1.10.0。

• 升級 DLF iceberg plugin 版本。

【問題修複】

• 修複 Paimon 查詢時 user_agent_extended 未從 FE 透傳到 BE 的問題。

• 修複 FlussSplitScanner 未關閉 FlussConnection 導致的資源泄漏。

功能分類

說明

基礎引擎

【新增功能】

• [Beta] 新增原生 SQL AI 內建函數支援。

• [Beta] 支援向 EMR Serverless Spark 提交 Spark Load 任務。

【功能最佳化】

• HdfsFsManager 檔案系統鎖新增逾時機制，防止級聯死結。

• 暴露 Scan / Connector Scan 線程池監控指標。

• 新增關鍵鎖的 Slow Lock 長條圖監控指標。

• 新增 FE 事務延遲監控指標。

• 新增雲原生 Tablet Metadata 拉取專用線程池，降低對主線程池的爭搶。

【問題修複】

• 修複多個 BE 崩潰問題：BinaryColumnBase append 異常、JNI Connector 載入時的 SLF4J Linkage Error 等。

• 修複 RoutineLoadJob 在事務 publish 階段因持鎖順序問題引發的自死結，防止 FE 重啟後匯入狀態丟失。

• 修複事務依賴圖節點刪除時丟失依賴關係的問題。

• 修複 partition_refresh_number 預設值未生效的問題。

• 修複 Thrift Field Ordinal 117 重複定義的問題。

• 修複匯入失敗 too many filtered rows 情境下 ErrorURL 缺失的問題。

存算分離

【新增功能】

• [Beta] Lake Optimizer：存算分離表後台自動維護與最佳化器。預設未啟用，如需使用請將 enable_lake_optimizer 設定為 true。

• [Beta] Composite Storage Volume（單表跨多 Bucket）：支援單表對應的 Storage Volume 跨多個Object Storage Service Bucket 分布，適用於單表資料規模超出單 Bucket 效能上限的情境。

【功能最佳化】

• Compaction Service 支援配置表白名單，精細化控制後台 Compaction 範圍。

• 引入 CacheOptions，支援 Tablet Metadata 緩衝的細粒度配置。

• Lake Optimizer：

  • 縮短 Daemon 檢查間隔，提升最佳化任務響應速度。

  • Time Travel 查詢 Lake Optimizer 表時會拋出 UnsupportedException。

Lakehouse

【新增功能】

• [Beta] Paimon Native Writer 類型擴充：新增 DATE / VARBINARY / TIMESTAMP_WITH_LOCAL_TIME_ZONE 類型支援。

【功能最佳化】

• Paimon Writer 支援 Bucket Partition Shuffle，最佳化分桶寫效能。

• Paimon Writer 支援 NULL 分區寫入。

• HMS 外部表格支援 IN 謂詞分區裁剪。

• JniScanner 錯誤資訊新增 Paimon 排查提示。

【問題修複】

• 修複多使用者共用 Paimon Catalog 執行個體的隔離問題。

• 修複 Paimon Count 最佳化結果錯誤。

• 修複 Paimon 資料寫入到錯誤分區的問題。

• 修複 paimon_force_native_reader 啟用時 FormatDataSplit 不支援的問題。

• 修複 CREATE PAIMON DATABASE IF NOT EXISTS 失敗的問題。

• 修複查詢 Paimon 表時的若干 NPE / Plan 異常。

• 修複 Iceberg Table Sink 缺失 OSS Token 的問題。

• 修複讀取 Iceberg Metadata Table 時的 ClassNotFoundException。

行為變更

• paimon-cpp 升級至 0.10、Paimon Java SDK 升級至 1-ali-25.3：Paimon 相關讀寫路徑有依賴升級，使用 Paimon Native Reader/Writer 的下遊需關注是否需要適配。

• Composite Storage Volume：跨桶 Storage Volume 配置語義新增，使用前請閱讀 StarRocks CREATE STORAGE VOLUME，確認與現網 Storage Volume 配置相容。

• Tablet Metadata 緩衝策略調整：CacheOptions 引入後 cache 介面語義有所變化，如有自訂 cache 配置請按新介面適配。

功能分類

說明

基礎引擎

【功能最佳化】

• 最佳化分區範圍映射效能，在迴圈外預計算 lowerPoints/upperPoints，將分區交集計算及多對多檢測的時間複雜度從 O(M*N) 降低至 O(M*logN+N)。

【問題修複】

• 修複 Broker Load 匯入使用 UDF 情境下 NPE 報錯。

• 修複 LIKE 模式比對中反斜線逸出序列處理錯誤的問題。

• 修複 array_map 處理 null 字面量數組時 crash 的問題。

• 修複 rollup handler 的活躍事務 ID 未納入 computeMinActiveTxnId 計算的問題。

• 修複刪除事務依賴圖節點時丟失事務依賴關係的問題。

• 修複多個 alter job 並發執行時 UpdateTabletSchemaTask 簽名衝突的問題。

• 修複彙總溢出 set_finishing 階段雜湊表資料丟失的問題。

• 修複 BaseScalarOperatorShuttle 缺少 visitDictionaryGetOperator 實現的問題。

• 修複 finishTransactionBatch 中 editlog 寫入位於 afterVisible 之後導致的時序競態問題，防止交易記錄被過早清理。

• 修複 RoutineLoadJob.toThrift() 在事務 publish 階段因持鎖順序問題引發的自死結，防止 VISIBLE 狀態無法持久化導致 FE 重啟後 NoSuchKey 報錯。

存算分離

【功能最佳化】

• Compaction Service 支援配置表白名單，配置解析時將表名預解析為 table ID。

• 存算分離跨叢集複製檔案拷貝支援 Fast Cancel，減少取消任務的等待時間。

• 存算分離跨叢集複製支援並行化 tablet 檔案拷貝，提升複製吞吐。

【問題修複】

• 修複Object Storage Service瞬時異常導致的檔案靜默截斷問題。在存算分離跨叢集複製中，非 segment 檔案（.sst/.delvec/.del/.cols）拷貝新增檔案大小完整性校正及自動重試機制。

Lakehouse

【問題修複】

• 修複 Fluss metadata 查詢中緩衝 key 碰撞及 NPE 問題。

• 修複讀取 Iceberg metadata table 時ClassNotFoundException 的問題。

功能分類

說明

基礎引擎

【功能最佳化】

支援routine load完成後輸出日誌，完善診斷資訊。

【問題修複】

• 修複MV建立時index properties丟失的問題。

• 修複MV按小時級DATETIME分區重新整理時auto_refresh_partitions_limit參數不生效的問題。

• 修複MV重新整理時錯誤資訊為空白的問題。

• 修複Stream Load匯入DEFAULT CURRENT_TIMESTAMP列時使用到期時間戳記的問題。

• 修複OlapMetaReader未設定count標誌導致非存算分離叢集BE崩潰的問題。

存算分離

【功能最佳化】

• 最佳化存算分離模式下Lake PK表tablet統計資訊收集開銷，修複show tablet/partitions返回data size和row num為0的問題。

• 支援為random分布表添加物理分區介面，遷移工具支援將包含多個物理partition的random分桶表遷移到目前的版本StarRocks叢集。

• 跨存算分離叢集cluster linking相容從更老的3.2.4之前版本進行資料移轉。

【問題修複】

• 修複事務結束時未清理啟動階段lake compaction txn map的問題，解決重啟FE後部分表無法進行compaction調度的bug。

• 修複刪除存算分離表時未清理StarManager中shard group中繼資料導致FE OOM的問題。

Lakehouse

【重要變更】

為相容 Paimon Native Writer 對 TIMESTAMP_WITH_LOCAL_TIME_ZONE 類型的寫入，目前的版本擴充了 Arrow 類型轉換邏輯，將 StarRocks 的該類型映射為 Arrow 的 TIMESTAMP 類型。

此變更可能導致 starrocks-spark-connector 和 starrocks-flink-connector 在讀取 StarRocks DATETIME 類型欄位時出現異常。若升級後遇到相關報錯，請在計算群組中添加動態配置項 enable_native_arrow_new_type 並將其值設為 false 以恢複相容。

【功能最佳化】

• 升級paimon-cpp版本至0.9。

• Paimon native writer支援DATE類型寫入。

• Paimon native writer支援VARBINARY類型寫入。

• Paimon native writer支援TIMESTAMP_WITH_LOCAL_TIME_ZONE類型寫入。

• 升級Fluss版本至0.9-ali-0.1。

• 支援查詢Paimon Lance表。

• 支援查詢Paimon View。

• 提升Paimon緩衝可觀測性，增加cache metrics。

【問題修複】

• 修複Paimon JNI寫入TINYINT類型報錯的問題。

• 修複寫入DLF 2.5 Paimon表時token許可權不足的問題。

• 修複查詢Paimon表分區值錯誤的問題。

• 修複查詢Paimon表時因缺少mergedRowCountAvailable檢查導致的NPE問題。

• MaxCompute Catalog支援非同步建立session和動態split資料。

功能分類

說明

存算分離

【新增功能】

• 引入 Compaction Service 全新特性，存算分離 Compaction 調度時，支援通過獨立計算群組實現 Compaction 調度。在隔離Compaction 執行環境的同時，通過 Cache Peering 保證了業務快取命中率。

• 引入高並發 stream load 服務側 Merge Commit 特性，極大提升了即時資料寫入吞吐能力，降低 compaction 資源消耗。

• 針對高並發、小批量即時匯入情境，引入Merge Commit特性，支援將多個並發的 Stream Load 請求合并為一個事務批量提交，從而提高即時資料匯入的吞吐能力。可以顯著減少頻繁匯入操作導致的資料版本過多的問題，避免 Compaction 過程中的大量資源消耗，並降低過多小檔案帶來的 IOPS 和 I/O 延遲。

• 針對大批量資料匯入情境，引入 Bulk Load Optimization 特性，通過在匯入階段提前對資料區塊進行合并，減少小檔案的產生，提升了匯入後的查詢效能，同時也降低了匯入後的 Compaction 資源消耗。

• 存算分離引入 Cluster Snapshot 叢集快照特性，支援叢集層級中繼資料統一備份到 OSS，滿足企業級資料災備需求。

【功能最佳化】

• 增強 Cluster Linking 能力，支援從自建存算分離叢集線上遷移到 Serverless StarRocks 存算分離叢集。

• 增強 show proc '/transactions' 介面支援同時展示多種事務類型的記錄。

• 支援在當前 session 所在 warehouse 上執行 MV 手動重新整理分區。

【問題修複】

• 修複存算分離叢集遷移帶index的PK表過程中，未清理中繼資料引入的異常。

• 修複非default warehouse下無法查看tablet分布的問題。

Lakehouse

【功能最佳化】

最佳化查Paimon Format表的查詢效率。

【問題修複】

• 修複查Paimon表使Timestamp類型作為過濾條件或分區欄位時的資料結果問題。

• 修複查Paimon binlog和auditlog系統資料表報錯。

• 修複特定情境下讀取fluss表資料為空白的問題。

功能分類

說明

基礎引擎

【新增功能】

• Unified Catalog 支援對接 DLF Catalog。

【問題修複】

• 修複 outer join 中常量側列引用時，謂詞改寫錯誤的問題。

存算分離

【問題修複】

• 修複存算分離模式下 dynamic bucket 表分區過濾條件丟失的問題。

Lakehouse

【新增功能】

• MaxCompute Catalog 支援 MaxCompute 三級 namespace。

【功能最佳化】

• DLF Iceberg Plugin 版本升級。

• Iceberg 版本升級至 1.10.0。

【問題修複】

• 修複 Hive 與 Paimon 依賴衝突導致查詢報錯的問題。

• 修複查詢 Paimon 資料時，部分參數未正確傳遞導致查詢失敗的問題。

功能分類

說明

基礎引擎

【新增功能】

• [Beta] 新增原生 SQL AI 內建函數支援（3.3 系列適配）。

• [Beta] 支援向 EMR Serverless Spark 提交 Spark Load 任務。

• 新增 max_pt 函數。

【功能最佳化】

• 支援 CTE Consumer 的 Filter 下推。

• 支援從 FileSystem 下載 UDF jar。

• CREATE TEXT FILE TABLE 支援指定 delimiter。

• HdfsFsManager 檔案系統鎖新增逾時機制，防止級聯死結。

• 暴露 Scan / Connector Scan 線程池監控指標。

【問題修複】

• 修複 memtable finalize 失敗導致的 BE 崩潰。

• 修複 MV 分區交集檢查中冗餘 O(N) 計算引發的 Slow DB Lock。

• 修複彙總溢出 set_finishing 階段雜湊表資料丟失的問題。

• 修複 inline PK index compaction 中 rssid rowid 截斷的問題。

• 修複事務依賴圖節點刪除時丟失依賴關係的問題。

• 修複 partition_refresh_number 預設值未生效的問題。

• 修複匯入失敗 too many filtered rows 情境下 ErrorURL 缺失的問題。

• 修複 array_map 處理 null 字面量數組時 crash 的問題。

• 修複 LIKE 模式比對中反斜線逸出序列處理錯誤的問題。

• 修複 CreateFunctionStmt 建立 UDF 時的 NPE。

• 修複 Broker Load 使用 UDF 時的 NPE。

存算分離

【功能最佳化】

• Lake Optimizer 最佳化（2.0.0 已引入，本版本持續完善）：縮短 Daemon 檢查間隔，提升最佳化任務響應速度。Time Travel 查詢 Lake Optimizer 表時會拋出 UnsupportedException。

• Compaction Service 支援配置表白名單，精細化控制後台 Compaction 範圍。

Lakehouse

【新增功能】

• [Beta] DLF 支援行級過濾（Row Filter）。

【功能最佳化】

• Paimon Writer 支援 Bucket Partition Shuffle，最佳化分桶寫效能。

• Paimon Writer 支援 NULL 分區寫入。

• HMS 外部表格支援 IN 謂詞分區裁剪。

• JniScanner 錯誤資訊新增 Paimon 排查提示。

【問題修複】

• 修複多使用者共用 Paimon Catalog 執行個體的隔離問題。

• 修複 Paimon Count 最佳化結果錯誤。

• 修複 Paimon 資料寫入到錯誤分區 / 分區值順序錯誤的問題。

• 修複 CREATE PAIMON DATABASE IF NOT EXISTS 失敗的問題。

• 修複 paimon_force_native_reader 啟用時 FormatDataSplit 不支援的問題。

• 修複 Iceberg Table Sink 缺失 OSS Token 的問題。

行為變更

• 新增 enable_native_arrow_new_type session variable：

  • true（預設）： DATE 轉為 Arrow Date32Type，DATETIME 轉為 Arrow TimestampType；

  • false ：保持舊行為，DATE/DATETIME 均轉為 Arrow utf8()。若使用 starrocks-spark-connector 或 starrocks-flink-connector 讀取 DATETIME 欄位出現類型錯誤，可臨時設定為 false 規避。

• paimon-cpp 升級至 0.10、Paimon Java SDK 升級至 1-ali-25.3：Paimon 相關讀寫路徑有依賴升級，使用 Paimon Native Reader/Writer 的下遊需關注是否需要適配。

功能分類

說明

基礎引擎

【功能最佳化】

• 支援SSL協議。

• 支援 routine load 交易記錄輸出，完善診斷資訊。

【問題修複】

• 修複開啟MV Profile後無法將profile記錄到log的問題。

• 修複NEST CTE Reuse情境的查詢報錯。

• 修複Broker Load匯入使用UDF情境下有NPE報錯。

存算分離

【新增功能】

存算分離引入 Compaction Service 全新特性，支援通過獨立計算群組實現 compaction 調度，在隔離 compaction 執行環境的同時通過 Cache Peering 保證了業務快取命中率。

【功能最佳化】

• 存算分離pk表publish階段進行預先major compaction。

• 支援在當前 session 所在 warehouse 上執行 MV 手動重新整理分區。

【問題修複】

• 修複存算分離叢集遷移帶index的PK表過程中清理中繼資料的問題。

• 修複列模式下partial update在大批量資料匯入會引發OOM問題。

• 修複頻繁 drop 表導致 FE OOM 的問題。

• 修複非default-warehouse下無法查看tablet分布的問題。

Lakehouse

【重要變更】

為相容 Paimon Native Writer 對 TIMESTAMP_WITH_LOCAL_TIME_ZONE 類型的寫入，目前的版本擴充了 Arrow 類型轉換邏輯，將 StarRocks 的該類型映射為 Arrow 的 TIMESTAMP 類型。

此變更可能導致 starrocks-spark-connector 和 starrocks-flink-connector 在讀取 StarRocks DATETIME 類型欄位時出現異常。若升級後遇到相關報錯，請在計算群組中添加動態配置項 enable_native_arrow_new_type 並將其值設為 false 以恢複相容。

【新增功能】

• 引入Lake Optimizer，大幅提升查詢Paimon點查情境的QPS，以及大規模查詢的系統穩定性。

• 支援查詢Paimon Lance表資料。

• 支援查詢Paimon View。

【功能最佳化】

• Paimon native writer支援date/datetime資料類型寫入。

• 提升Paimon查詢的可觀測性。

【問題修複】

• 修複查詢Fluss表資料為空白的問題。

• 修複查詢Fluss表報錯快照到期的問題。

• 修複部分情境下Paimon timestamp等值查詢結果錯誤的問題。

• 修複查詢Paimon binlog/audit_log系統資料表報錯的問題。

• 修複寫入DLF 2.5 paimon 表 token許可權不足的問題。

• 修複查詢Paimon timestamp類型的分區欄位字元轉義的問題。

• 修複特殊情境下帶有limit條件查詢Paimon表返回為空白的問題。

• 修複查詢老版本Paimon表null 指標異常的問題。

功能分類

說明

基礎引擎

【功能最佳化】

• 增強 Routine Load 的容錯能力：支援在匯入 JSON 格式資料時自動跳過格式錯誤的記錄，並將錯誤資訊記錄到日誌中。

• 最佳化外表錯誤提示：改善外表查詢失敗時的報錯資訊，使問題定位更直觀、高效。

【問題修複】

修複條件更新情境下的穩定性問題：已解決在僅包含  DELETE  記錄的條件更新操作中可能導致 BE 節點崩潰的問題。

存算分離

【新增功能】

支援通過Apache Ranger對存算分離執行個體下的 Warehouse 粒度的資源進行許可權控制，滿足企業級安全合規需求。

【功能最佳化】

增加存算分離執行個體的儲存讀寫的重試機制，增強容錯能力。

【問題修複】

修複存算分離執行個體在高並發情境建立過多bRPC Connection的問題。

Lakehouse

【新增功能】

• 支援 Paimon Deletion Vector V2。

• （Beta）支援通過 Native Reader 讀寫 Paimon Format Table。

• 支援過濾 Hive Metastore以 hive_var 為首碼的虛擬分區，避免中繼資料幹擾。

功能分類

說明

存算分離

【功能最佳化】

支援 warehouse 粒度的查詢延遲（query latency）指標。

Lakehouse

【問題修複】

修複查詢 Paimon 外表遇到Null 字元串分區 key 時 plan 階段報錯導致查詢失敗的問題。

功能分類

說明

基礎引擎

【功能最佳化】

• 最佳化long running query快速失敗檢測機制。

• 支援對 Clucene 倒排索引的部分更新。

【問題修複】

• 修複CoordinatorMonitor線程異常退出導致BE crash後查詢無法立即結束的問題。

• 修複因重新導向與重試機制導致的事務丟失引發的 TXN_NOT_EXISTS問題。

• 修複FE Plan階段MultiJoinBinder引發死結的問題。

• 修複使用部分更新模式變更導致的空段檔案標記問題。

存算分離

【問題修複】

修複insert overwrite長時間執行中間出現shard not exist錯誤。

Lakehouse

【問題修複】

• 修複使用DLF Catalog時，擷取RAM User的錯誤。

• 修複物化視圖刪除分區後，leader/follower分區中繼資料不一致的問題。

功能分類

說明

基礎引擎

【功能最佳化】

提升長任務的可觀測性，最佳化了對執行時間較長任務的監控與診斷能力，便於使用者及時瞭解任務運行狀態。

【問題修複】

修複執行show backup時返回的錯誤資訊的問題。

存算分離

【問題修複】

修複在刪除本機快取時對OSS產生的無效請求，減少不必要的網路開銷。

Lakehouse

【問題修複】

修複Date 類型的Paimon分區表查詢失敗問題。

功能分類

說明

基礎引擎

【新增功能】

• 支援ACID能力（Beta）。

• MaxCompute Catalog 支援謂詞下推。

• 支援first_day&last_day函數。

• 支援bitmap_hash64函數。

【功能最佳化】

• 最佳化回收Partition不及時導致fe記憶體使用量高的問題。

• 最佳化FE Plan耗時增加問題。

【問題修複】

• 修複彈性擴縮容情境下brpc失敗的問題。

• 修複delta writer load channel未正常初始化導致的be crash問題。

• 修複backend stream loss導致的flink任務commit失敗問題。

• 修複array contains處理isconst判斷錯誤問題。

• 修複trino遷移期間json extract不支援問題。

• 修複cte resue問題。

• 修複外表物化視圖重新整理失敗問題。

• 修複jit enable之後線程數增加問題。

• 修複tablet manager並發問題。

• 修複profile收集失敗導致的fe調度卡住問題。

• 修複低基數最佳化報錯不正常拋出問題。

• 修複split函數處理null不正確導致的寫parquet期間be crash問題。

• 修複case when運算式包含varchar，物化視圖重新整理失敗問題。

• 修複存算一體compaction導致的並發鎖問題。

• 修複cbo無法正常裁剪cte相關運算式問題。

• 修複http handler相關問題。

• 修複brpc並發問題導致load channel和tablet sink引發的be crash問題。

存算分離

【新增功能】

• Insert&Update支援column mode部分列更新。

• show alter table支援查看修改meta的任務。

• 支援按照max compaction score調度compaction任務。

【問題修複】

• 修複遷移期間開啟compaction導致事務卡住問題。

• 修複metadata cache中繼資料不清理問題，支援動態更新metadata cache容量。

• 修複lake persistent index初始化失敗導致的be crash問題。

Lakehouse

【新增功能】

• （Beta）支援Paimon Native Writer，效能極大提升，適用於湖倉加工情境。

• Paimon查詢支援複雜類型。

• （Beta）支援DLF Iceberg Catalog。

• （Beta）支援讀取Fluss表。

• 支援Paimon TimeTravel功能。

• Insert Overwrite支援非分區表。

【功能最佳化】

• 最佳化Paimon列統計資訊。

• 最佳化Iceberg&Paimon表count能力。

【問題修複】

• 修複show grant user失敗問題。

全文檢索索引

【問題修複】

• 修複match函數空值問題。

功能分類

說明

基礎引擎

【功能最佳化】

• 最佳化partition statistics 統計資訊採集效能。

• 支援 FE query fragments deployer 線程池大小參數動態可調。

• 支援 FE checkpoint 參數可配置並列印長耗時日誌。

【問題修複】

• 修複 JDBC 串連數可能超過jdbc_connection_pool_size限制的問題。

• 修複動態建立分區可能遇到的 partition name 衝突從而導致分區建立失敗的問題。

• 修複匯入任務統計結果缺少掃描資料資訊的問題。

• 修複倒排查詢包含 null 欄位時過濾不正確的問題。

• 全文檢索索引修複 match regexp 時的 pattern 是Null 字元串時結果不正確的問題。

• 修複對手動建立的分區執行 insert overwrite 失敗的問題。

• 修複 Alter Job 與建立分區衝突導致 job cancel 的問題。

• 修複 analyze job 統計資訊採集任務狀態異常的問題。

• 修複 FE 側匯入交易記錄輸出不全的問題。

存算分離

【問題修複】

• 【重要】修複社區 3.3.13 版本引入的 BE/CN 優雅退出導致 tablet meta 檔案不可讀的問題。

• 修複 leader FE 上 max compaction score 指標不更新的問題。

• 修複 batch publish 與 schema change 並行作業時出現的 txn log 丟失的問題。

Lakehouse

【問題修複】

• 修複 Paimon 表 UUID 格式處理錯誤的問題。

• 修複 DLF 2.5 下 Paimon MV 使用者鑒權的問題。

功能分類

說明

基礎引擎

【功能最佳化】

• 增加fe.load日誌，提升資料載入過程的可觀測性。

• 在information_schema.loads表中新增sink_bytes欄位。

• 最佳化Routine Load錯誤記錄檔，增加Offset等關鍵資訊以方便問題排查。

【問題修複】

• 修複ConnectContext中global_state_manager可能為Null的問題，避免由此引發的查詢失敗、匯入失敗或Profile缺失。

• 修複列統計（Column Statistics）缺失問題，確保統計資訊的準確性。

• 修複了Query version not found報錯問題。

• 增加slow_lock_print_stack參數，避免大規模叢集中因線程堆棧列印導致進程卡頓。

• 修複錯誤的Union執行計畫導致FE記憶體溢出（OOM）問題。

• 修複列重新命名後查詢失敗問題。

• 修複載入Snapshot失敗導致主鍵索引丟失的問題。

• 修複物化視圖屬性異常變更導致的重新整理問題。

• 通過FE配置項task_runs_max_history_number控制information_schema.task_runs視圖儲存的歷史TaskRun數量，降低記憶體開銷。

• 修複了匯入資料時版本丟失的問題。

• 修複Follower節點Task Run資訊異常的問題。

• 修複FE切主後Broker Load無法恢複的問題。

• 修複列被修改後查詢返回null的問題。

• 修複了在單事務多表寫入時導致的分區建立失敗問題。

• 修複CASE WHEN返回錯誤類型導致的查詢報錯。

• 修複並發情境下Cache Key重複導致Cache失敗的問題。

• 修複主鍵表Partial Update失敗問題。

• 修複Submit Task鎖機制的問題。

• 修複Union運算元低基數時的全域字典問題。

• 修複空分區誤裁剪問題。

• 修複物化視圖改寫中Null分區丟失導致的錯誤問題。

• 修複Splitor無法裁剪Scan列的問題。

• 修複Left Anti Join的相關問題。

存算分離

【新增功能】

• 存算分離執行個體支援全文檢索索引功能。

• 新增分布式Compaction功能，有效緩解單節點Compaction效能瓶頸。

• 支援Cache自適應IO模式，避免緩衝盤IO瓶頸導致效能回退。

• 提供Warehouse層級的Query Metrics，協助使用者更好地監控查詢效能。

【功能最佳化】

• 預設開啟Index Cache和Metadata Cache，進一步提升查詢效能。

• 最佳化存算分離表的最小版本資訊缺失問題。

【問題修複】

• 修複存算分離模式下INSERT INTO EXTERNAL TABLE操作中，目標Warehouse資料寫入異常的問題。

• 修複開啟Batch Publish後並發事務失敗的問題。

• 修複Compaction指定Warehouse後無法限制最大Compaction Task數量的問題。

• 修複Schema Change後表Cache Select預熱報錯的問題。

• 修複Alter Table修改分布方式失敗的問題。

Lakehouse

【新增功能】Paimon表支援列血緣分析，並最佳化統計資訊。

【功能最佳化】最佳化Paimon查詢DLF 2.5中繼資料擷取效率，提升查詢效能。

【問題修複】

• 修複Iceberg Equality檔案記憶體流失問題。

• 修複DLF 2.5 Token到期問題。

• 修複外表底表重建後物化視圖無法正常重新整理的問題。

• 修複外表物化視圖重新整理失敗的問題。

• 修複INSERT OVERWRITE寫入Hive表失敗問題。

• 修複外表使用str2date函數導致MV重新整理失敗的問題。

全文檢索索引

【新增功能】

• 存算分離執行個體支援全文檢索索引功能。

• 主鍵表支援全文檢索索引功能。

• 新增多個Match函數，豐富全文檢索索引能力。

【功能最佳化】最佳化索引檔案數量，提升存算分離模式下的訪問效率。

功能分類

說明

基礎引擎

【新增功能】

• 支援SSL加密。

• 統計資訊採集任務支援配置同步模式選項。

• Spark Load支援動態更新配置。

【功能最佳化】

• 最佳化物化視圖（MV）Reload效能，顯著提升FE啟動效率。

• 最佳化彙總操作下推與Broadcast Join的協同處理。

• 最佳化Broadcast操作中Row Limit不生效的問題。

• 改進GROUP_CONCAT產生的執行計畫（Plan）的準確性。

• 最佳化物化視圖重新整理時的鎖粒度。

• 增強Metrics API，提供更多監控指標。

• 最佳化高並發情境下Get Shard Info RPC的逾時問題。

【問題修複】

• 修複3.2升級到3.3版本時，Schema Change導致CN/BE崩潰的問題。

• 修複Report Exec State導致的資料插入丟失問題。

• 修複開啟Fast Schema Evolution後引發的CN崩潰問題。

• 修複表刪除後Insert任務無法正常結束的問題。

• 修複查詢過程中出現的版本找不到的問題。

• 修複在終止任務（Kill Task）後，物化視圖重新整理任務卡住的問題。

• 修複物化視圖在多階段改寫過程中產生的錯誤執行計畫（Plan）的問題。

• 修複Tablet無法完整載入的問題。

• 解決FE Image載入後未正確構建物化視圖關係的問題。

• 修複DESC Table Cache導致的查詢失敗（Query Terminated異常）。

• 修複事務結果（Transaction Result）異常問題。

• 修複Join和Union查詢結果不正確的問題。

• 修複n_gram函數導致的查詢結果錯誤的問題。

• 修複DataWorks血緣關係不生效的問題。

• 修複Paimon的DESC TABLE資訊不正確的問題。

• 修複Paimon物化視圖每次都全量重新整理的問題。

存算分離

【新增功能】

• 支援Compaction Punish時間可配置。

• 支援Tablet Meta Cache和Index Cache，顯著提升查詢效能。

• _query_plan介面支援指定Warehouse（計算群組）。

• 支援Compaction跨多個Warehouse調度。

【功能最佳化】

• 提升Compaction的可觀測性。

• 使用Poco HTTP Client以最佳化OSS訪問效率。

• 支援在進行Drop Partition操作後，清理本機快取，以避免無效磁碟空間的佔用。

• 最佳化擷取分區資訊的效能。

• 提升Count操作直讀效能。

• 增強Mutli-Warehouse（多計算群組）下Load任務的可觀測性。

• 支援自適應檔案格式，降低IOPS，最佳化查詢效能。

【問題修複】

• 全面啟用Cloud Native主鍵索引（PK Index），修複若干中繼資料相關問題。

• 修複Compaction無法正常調度的問題。

Lakehouse

【新增功能】

• 支援阿里雲Data Lake Formation 2.5版本。

• Paimon外表支援時間類型欄位。

• Paimon外表支援通過SHOW CREATE TABLE查詢屬性。

【功能最佳化】

• 物化視圖在定時或頻繁擷取中繼資料的情境下，去除冗餘IO，減少IO次數，從而提升重新整理效率。

• 最佳化Paimon中繼資料快取配置。

• 修複Paimon查詢中FLOAT類型過濾不生效的問題。

• 提升從DLF讀取分區資訊（Partition Info）的效能。

• 支援MaxCompute外表中繼資料重新整理。

• 使用UUID替代建立時間（Create Time），以最佳化Paimon的查詢效能。

• 提升Paimon Deletion Vector表的查詢效能。

• 最佳化Parquet檔案掃描效率。

【問題修複】

• 修複Paimon查詢DATETIME類型時區不正確的問題。

• 修複Hudi資料來源讀取VARCHAR類型失敗的問題。

• 修複Paimon commit資訊寫入不正確的問題。

全文檢索索引

【新增功能】

• 全文檢索索引功能Beta發布，最佳化多個Clucene效能問題，文本檢索效能較之前提升100%以上。

• 支援Tokenize相關函數。

【功能最佳化】

• 最佳化倒排索引（Invert Index）檔案結構，提升查詢效率。

• 改進Index Tool，方便快速定位和解決問題。