2023年-雲原生資料倉儲AnalyticDB-阿里雲

本文介紹AnalyticDB for MySQL的產品功能動態。

注意事項

版本升級期間，有以下注意事項需要您知曉。

預留模式叢集版、彈性模式32核及以上規格：資料讀寫不中斷，距離升級完成5分鐘內查詢偶爾閃斷。
彈性模式8核及16核規格：資料寫入會中斷大約30分鐘，距離升級完成5分鐘內查詢偶爾閃斷。
叢集升級時間段內，資料庫的訪問、帳號管理、資料庫管理以及IP白名單設定預設不會受到影響。
叢集升級時間段內，寫入和查詢類操作可能會產生小機率抖動，請確保應用程式具有重試機制。
叢集升級時間段內，叢集可能會發生串連閃斷，請確保應用程式具有重連機制。

如果您的叢集不需要升級，或者升級過程有問題，可以取消版本升級計劃。當前僅小版本升級計劃事件可以取消。具體操作，請參見取消計劃配置。

警告

當您的AnalyticDB for MySQL執行個體所使用的核心小版本低於最新核心小版本時，阿里雲會不定期推送升級通知給您，告知您執行個體需要升級至最新的穩定核心小版本。建議您在收到通知後儘快升級執行個體的核心小版本。如果收到通知後六個月內未升級到最新穩定版本，因此造成的業務中斷、資料丟失等損失和後果均由您承擔。

2023年11月

類別	名稱	說明	相關文檔
新增	自訂Spark鏡像	當Spark預設鏡像無法滿足您的需求時，您可以基於預設鏡像，將Spark作業需要的軟體包和依賴項打包到鏡像中，產生自訂鏡像，並在Spark作業開發時，指定自訂鏡像作為Spark作業的執行環境。	自訂Spark鏡像
	Jupyter互動式作業開發	湖倉版支援使用Docker鏡像快速啟動Jupyter互動式開發環境，協助您使用本地Jupyter Lab串連Spark，從而利用叢集的彈性資源進行互動測試和計算。	Jupyter互動式作業開發
	一鍵診斷	數倉版支援對指定時間段的叢集健全狀態發起診斷，結合監控資料、日誌資料以及庫表狀態等資訊進行聯合分析，從叢集的資源水位、負載變化、查詢SQL、運算元、儲存等多方面評估叢集的健康情況，協助您提高叢集問題排查、分析效率。	一鍵診斷
	切換專用網路和交換	數倉版支援切換專用網路和交換器。	切換Virtual Private Cloud和交換器

2023年10月

V3.1.9

類別	名稱	說明	相關文檔
新增	CTE執行最佳化	CTE子查詢被多次引用時，只需要執行一次，提升查詢效能。該功能預設關閉。可通過設定CTE_EXECUTION_MODE配置項啟用該功能。	WITH
	XIHE SQL支援訪問Hudi資料	湖倉版支援通過XIHE SQL訪問Hudi資料。	OSS外表
	新增MV_PROPERTIES屬性	支援指定彈性資源群組建立和重新整理物化視圖，提升查詢效率。	彈性物化視圖
	列組統計資訊	列組統計資訊收集同一張表多個列的統計資訊，描述多個列之間的關聯程度。	統計資訊
	手動收集分區統計資訊	湖倉版叢集支援使用`ANALYZE TABLE`命令全量收集OSS外表分區的基礎統計資訊。	收集分區統計資訊
	可變長二進位函數	新增`ZIP`、`UNZIP`、`GZIP`、`GUNZIP`函數。	可變長二進位函數
	物化視圖增量重新整理	支援在建立物化視圖時指定增量重新整理模式。	物化視圖增量重新整理
	支援強制覆蓋工作負載管理規則的已有屬性	通過WLM建立工作負載管理規則後，支援強制覆蓋已有屬性。	WLM
	新增AI_GENERATE_TEXT函數	數倉版支援使用AI_GENERATE_TEXT函數分析非結構化資料，並輸出結構化資料。	無
	Multi-Statement	支援連續執行多個SQL語句，SQL語句之間使用半形分號（;）分隔。該功能預設關閉，您需執行`SET ADB_CONFIG ALLOW_MULTI_QUERIES=true;`命令手動開啟。說明 `SET ADB_CONFIG`命令用於修改全域配置，僅需執行一次。修改後的配置項會作用於整個叢集。	無
	Hive外表統計資訊	支援收集ORC格式外表的即時行數，最佳化ORC外表的複雜查詢。	無
最佳化	JOIN調優	最佳化Hash Join表關聯時過濾器的應用情境和傳遞效率，支援小表為子查詢。	無
	Parquet向量化讀取最佳化	提升Parquet資料格式的查詢效率。	無
	Aggregation運算元最佳化	最佳化String分組列和多個分組列情境下Aggregation運算元的執行效率。	無
	字典編碼最佳化	使用字典編碼提升GROUP BY操作的效能。	無
	分詞器最佳化	最佳化IK分詞器分詞指定自訂字典的配置方式。	無
	Executor節點最佳化	最佳化Job型資源群組中Executor節點的啟動速度。	無
	INSERT OVERWRITE最佳化	支援一個外表同時存在多個INSERT OVERWRITE寫入任務。	無
	非同步任務最佳化	增加非同步查詢結果集的最大長度。	無
缺陷修複	DECIMAL精度	修複行存引擎不支援DECIMAL精度變更問題。	無
	Hive外表統計資訊	修複Hive外表採樣收集資訊的耗時問題。	無
	WITH	修複WITH文法表別名反引號不識別問題。	無
	外表檔案名稱	修複外表檔案名稱中有冒號時報錯的問題。	無

2023年9月

類別	名稱	說明	相關文檔
新增	Spark應用效能診斷	湖倉版的Spark應用效能診斷功能可以協助您快速定位和分析效能瓶頸問題，提高問題解決效率。	Spark應用效能診斷
	Spark應用訪問公網配置說明	湖倉版支援Spark應用通過公網訪問自建資料庫或其他雲廠商資料服務。	Spark應用訪問公網配置說明
	通過Spark SQL訪問MySQL資料	湖倉版支援通過Spark SQL訪問自建MySQL資料庫或阿里雲MySQL系列的資料庫。	讀MySQL資料
	通過Spark SQL讀Lindorm資料	湖倉版支援通過Spark SQL訪問Lindorm中的Hive表和寬表的資料。	讀Lindorm資料

2023年6月

類別

名稱

說明

相關文檔

新增

資源總覽和作業使用統計

湖倉版支援查看以下資源使用方式：

叢集層級的計算資源和儲存資源，包括預留資源和彈性資源。
資源群組層級的總計算資源、計算預留資源、計算最大資源。
作業層級的總計算資源、計算預留資源和計算彈性資源。

查看資源群組監控

最佳化

變更資料備份周期的預設值。

數倉版預設的資料備份周期由原來的每盩厔少兩次變更為每盩厔少一次。

管理備份

2023年5月

V3.1.7~V3.1.8

類別	名稱	說明	相關文檔
新增	提升監控警示能力	新增執行個體健康狀態和叢集健康狀態監控項。	查看AnalyticDB for MySQL監控
	Interactive型資源群組優先順序隊列與並發控制	Interactive型資源群組提供了查詢優先順序隊列的能力，您可以設定查詢的優先順序，使不同查詢進入不同的優先順序隊列（包含LOWEST隊列、LOW隊列、NORMAL隊列和HIGH隊列）。並通過修改隊列並發數來對查詢進行限流或放大並發。	Interactive型資源群組的優先順序隊列與並發
	Job型資源群組的優先順序隊列	Job型資源群組供了作業優先順序隊列的能力，您可以設定作業的優先順序，使不同作業進入不同的優先順序隊列（包括LOWEST隊列、LOW隊列、NORMAL隊列和HIGH隊列）。優先順序高的作業會先運行。	Job型資源群組的優先順序隊列
	DECIMAL精度變更	支援修改DECIMAL類型精度，由低精度改為高精度。	ALTER TABLE
	資料類型變更	支援將整數資料型別（TINYINT、SMALLINT、INT、BIGINT、SHORT、LONG）變更為浮點類型（FLOAT、DOUBLE）和DECIMAL類型。
	ALTER TABLE PARTITION	支援修改分區函數。
最佳化	最佳化器最佳化：支援Eager AGG和自動兩階段AGG規則。支援Cascades最佳化器，預設開啟。支援自動Swap Outer Join規則。 Task Failover最佳化：Executor重啟或升級等不影響任務執行。 INSERT OVERWRITE最佳化：提升了INSERT OVERWRITE的寫入效能。 EIU重啟最佳化：提升了儲存節點的重啟速度。 JSON最佳化：修複json_extract的`is not null/is null`異常問題。修複json_array不能下推引發的儲存引擎C-Store效能回退問題。掃描效能最佳化：最佳化了資料Scan運算元的效能。		無

2023年4月

類別	名稱		相關文檔
新增	支援購買ACU時包，用於抵扣隨用隨付叢集的計算預留資源、儲存預留資源、彈性資源和訂用帳戶叢集的彈性資源。		ACU時包

2023年2月

V3.1.6.4

類別	名稱	說明	相關文檔
新增	ROARING BITMAP函數	ROARING BITMAP是一種高效的BITMAP壓縮演算法，被廣泛應用在各種語言和各種巨量資料平台，常用於去重、標籤篩選、時間序列等計算中。	圈人函數（Roaring Bitmap）
	漏鬥分析函數	漏鬥分析是常見的轉化分析方法，用於反映使用者各個階段行為的轉化率。新增函數：WINDOW_FUNNEL、RETENTION、RANGE_RETENTION_COUNT和RANGE_RETENTION_SUM。	漏鬥留存函數
	UPDATE JOIN	支援UPDATE JOIN多表更新。	多表更新
	支援新的RDS MySQL、MongoDB、MaxCompute、OSS和OTS外表	支援通過外表將RDS MySQL和MongoDB的資料匯入湖倉版。支援通過外表將MaxCompute的資料匯入湖倉版。湖倉版OSS分區外表支援CSV、JSON、Parquet、ORC、AVRO等各種格式及分區映射的能力，滿足資料儲存在OSS中且分區特別多（超過10萬）的情境。新增了OTS Connector，方便匯入分析OTS的資料。	通過外表匯入至湖倉版 MongoDB資料匯入通過外表匯入至湖倉版通過外表匯入OSS資料至湖倉版查詢並匯入Tablestore資料
	MySQL外表支援指定字元集	建立RDS MySQL外表和自建MySQL外表時，支援通過`charset`屬性指定MySQL字元集。	CREATE EXTERNAL TABLE
	CBO代價估算體系更新	數倉版提供自動收集統計資訊的功能。統計資訊作為查詢最佳化工具的輸入，可以協助查詢最佳化工具產生高品質的執行計畫。	統計資訊
	智能負載管理WLM	通過內建的多級隊列實現不同優先順序查詢的隔離與限流。支援自訂規則進行Bad SQL攔截或隊列投遞。	工作負載管理介紹配置工作負載管理規則 WLM 負載管理最佳實務
最佳化	匯入效能最佳化：引入新型匯入模型，提升匯入效能，建立表預設生效。 Window運算元最佳化：最佳化Hash和Sort階段效能，支援自適應部分彙總。 Netty穩定性最佳化：使用Netty替換Jetty，減少網路連接數和CPU消耗。控制鏈路預設開啟Netty，資料鏈路可配置開啟Netty。 OSS分區外表最佳化：DDL支援指定分區欄位的類型及取值範圍，最佳化OSS外表的Partition Pruning效能。匯入記憶體模型與讀外表最佳化：增強OSS與ODPS外表匯入效能。 CacheFS記憶體最佳化：減少冷熱資料Cache記憶體使用量，增強叢集穩定性。		無

V3.1.5.8

類別	名稱	說明	相關文檔
新增	全文檢索索引	全文索引新增支援多種內建分詞器，包括Standard分詞器、Ngram分詞器、Edge_ngram分詞器和Pattern分詞器。	全文索引的分詞器

V3.1.5.10

類別	名稱	說明	相關文檔
新增	Regex函數	新增Regex函數`REGEXP_MATCHES()`、`REGEXP_SUBSTR()`、`REGEXP_INSTR()`和`REGEXP_REPLACE()`。	正則函數

2023年1月

類別	名稱	相關文檔
新增	數倉版支援SQL診斷功能。您可以查詢Stage與Task詳情，協助您提高慢查詢的分析效率。	使用Stage和Task詳情分析查詢
	數倉版支援變更雲端硬碟等級。	數倉版產品定價變更集群配置（數倉版）

類別	名稱		相關文檔
新增	AnalyticDB for MySQL發布了湖倉版，該版本在原數倉版的強即時性基礎上，新增了離線處理能力。		產品系列湖倉版快速入門