全部產品
Search
文件中心

Realtime Compute for Apache Flink:2025-08-08版本

更新時間:Sep 18, 2025

本文介紹2025年8月8日發布的Realtime ComputeFlink版的重大功能變更和主要缺陷修複。

重要

本次升級計劃在全網分步驟完成灰階,具體升級計劃,請關注Realtime Compute控制台頁面右側的最新公告。如果您不能使用相關新功能,說明您的帳號暫未完成灰階。如果您需要儘快升級,請提交工單告知我們,我們將結合實際情況進行安排。

概述

2025年8月8日正式對外發布Realtime ComputeFlink版新版本。本次更新包含平台升級、引擎更新、連接器更新、效能最佳化以及缺陷修複。

引擎側

引擎側正式發布VVR 11.2版本。該版本基於Apache Flink 1.20.2核心深度定製,在繼承社區能力的基礎上進行了最佳化和增強。

Flink SQL

本次版本顯著擴充了SQL內建函數庫,新增了多個內建函數,涵蓋了字串處理、JSON處理和Regex等多個領域。包括:

純量涵式

  • 字串處理:PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH

  • JSON處理:JSON_QUOTE、JSON_UNQUOTE

  • Regex:REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL

  • 算術:UNHEX

類型支援

新增了Variant類型支援。

Table API

新增對Hive方言的支援。

大語言模型函數

對超過Context視窗大小的訊息後續處理行為實現可配置。

連接器增強

  • MySQL CDC變長字串(varchar)處理得到最佳化。

  • CDC YAML格式新增對Kafka canal-json和es-ts時間戳記格式的支援。

  • AnalyticDB MySQL的INSERT IGNORE文法。

安全增強

加強了資料訪問的安全性,Paimon和OSS連接器支援通過RAM角色進行授權訪問。

效能增強

MongoDB CDC 解析Binlog支援並發,Redis維表支援非同步關聯。

平台側

新增能力

  • 批作業支援多語句執行 可在單個作業中運行多個 DDL/DML 語句,完成建表、計算、刪表全流程。

  • 物化表支援定時回刷 可周期性重新整理歷史分區,修複資料遲到,保障最終一致性。

  • Session 叢集預設定時釋放 建立叢集空閑超 30 分鐘自動釋放,提升資源使用率。

  • 自動調優支援禁止變更時段 關鍵時段禁止資源變更,僅保留調優建議,保障業務穩定。

  • Git 整合全面升級 支援雲效等主流 Git 服務,目錄結構拉取,錯誤提示增強。

  • 許可權更細化 支援資料查詢細粒度。

體驗最佳化

  • 支援圖形化建立、刪除和修改AI模型,可以在中繼資料中心VVP Catalog目錄下更好的管理相關的AI模型。

  • 支援展示批作業CU*H的統計資訊,通過該指標可以更好的反映批作業的運行效能。

  • 支援任務編排介面通過名稱模糊搜尋已建立的工作流程。

  • 支援圖形化建立Iceberg Catalog。

OpenAPI

本次發布包含2個新增API、2個廢棄API及2項缺陷修複。請在升級叢集並更新pom依賴至 1.8.0 後,再使用新功能。

ResourceDeploymentTarget相關 API 無法操作混合計費叢集,現已升級:

  • 新增

    • CreateDeploymentTargetV2

    • UpdateDeploymentTargetV2

  • 廢棄

    CreateDeploymentTarget / UpdateDeploymentTarget(請儘快遷移)。

  • Resource 對象增強:新增欄位,支援混合計費模式配置。

  • 最佳化createDeploymentDraft / modifyDeploymentDraft 介面,修複此前未校正 Label 數量上限的問題。

  • 最佳化listDeployments介面,對排序參數sortNamesortOrder增加輸入合法性校正:僅允許傳入由字母(a-z, A-Z)和底線(_) 組成的字串。

功能介紹

特性

詳情

相關文檔

MySQL CDC變長字串最佳化

最佳化了MySQL CDC對變長字串(varchar)的處理機制,提升了資料同步效能和穩定性。

MySQL

CDC YAML格式增強

新增對Kafka的canal-json格式和es-ts時間戳記格式的支援,簡化了CDC情境的配置工作,提升了資料同步的靈活性。

MySQL

MySQL Binlog資料同步到Kafka

Table API的Hive方言支援

在Table API的作業中可以使用Hive方言操作資料。

Hive方言作業快速入門

Paimon/OSS Connector RAM認證

支援通過RAM角色進行Paimon連接器的訪問授權,使用者無需指定AK/SK,提升了資料訪問的安全性,簡化了許可權管理。

管理Paimon Catalog

ADB MySQL支援INSERT IGNORE

AnalyticDB MySQL連接器支援INSERT IGNORE文法,增強了資料寫入的容錯能力。

雲原生資料倉儲AnalyticDB MySQL版(ADB)3.0

Redis 連接器維表非同步效能最佳化

最佳化Redis連接器的效能和功能,提升緩衝訪問效率和穩定性。

雲資料庫Tair(Redis開源版)

PyFlink 可以直接使用內建連接器

改善Python開發體驗,提供更好的開發支援。

使用Python依賴

MongoDB CDC 並發解析OpLog

提升資料同步的穩定性和可靠性。

MongoDB

Flink SQL內建函數擴充

新增了多個內建函數,涵蓋了字串處理、JSON處理和Regex等多個領域,極大豐富了SQL處理能力。

支援的函數

資料攝入 Kafka -> CDC Schema自動演化支援

支援在Kafka和Paimon之間的自動Schema演化,增強了資料模型的靈活性和適應性。

實現即時入湖

VVR SQL Variant類型

新增對Variant類型的支援,增強了資料類型的靈活性。

資料類型轉換

AI SQL 函數 Context Window 限制行為支援配置

對於超出大模型Context Window大小的訊息,可以根據不同的策略選擇是否丟棄或者裁剪這些資料,並可以指定是否記錄日誌。

模型設定

主要缺陷修複

本次發布修複了以下主要問題:

連接器缺陷修複

  • 修複Kafka時區轉換及資料同步問題。

  • 修複MySQL資料庫許可權認證異常問題。

  • 修複Paimon Avro格式時間戳記精度校正問題。

  • 修複DLF資料訪問Token到期問題。

  • 修複MySQL 8.0版本相容性問題。

SQL及轉換缺陷修複

  • 修複Paimon Like文法解析問題。

  • 修複YAML日期處理和REGEXP_REPLACE函數問題。

  • 修複Schema Registrynull 指標異常問題。

穩定性及效能最佳化

  • 修複任務失敗重啟時的中繼資料一致性問題。

  • 修複作業異常退出時的資源清理問題。

  • 修複Paimon checkpoint標記崩潰問題。

  • 最佳化連接器重試機制,提升作業穩定性。