什麼是EMR Serverless StarRocks - E-MapReduce

StarRocks介紹

StarRocks是一款支援MySQL協議的AnalyticDB，它整合了向量化處理、MPP架構、代價基礎最佳化器（CBO）、智能物化視圖和即時更新的列式儲存技術，從而實現了快速、即時、高效的多維資料分析。您可以輕鬆地將即時或離線資料來源匯入到StarRocks中，也可以直接對資料湖中的多種資料格式進行分析。由於其與MySQL協議的相容性，您可以簡便地使用MySQL用戶端和常用BI工具進行接入。此外，StarRocks還提供水平擴充能力，並具備高可用、高可靠和易於營運的特點，適用於即時資料倉庫、OLAP報表、資料湖分析等多種業務情境。

StarRocks特性

MPP分布式執行架構

StarRocks採用MPP（Massively Parallel Processing）分布式執行架構。在這一架構下，一條查詢請求會被拆分成多個物理計算單元，在多台機器上並存執行。每個執行節點擁有獨享的資源，包括CPU與記憶體。MPP架構能夠使得單個查詢請求充分利用所有執行節點的資源，因此隨著叢集水平的擴充，單個查詢的效能可以不斷提升。

全面向量化引擎

StarRocks的計算層全面採用了向量化技術，將所有運算元、函數、掃描過濾和匯入匯出模組進行了系統性最佳化。向量化引擎最大化了CPU的處理能力，通過列式資料群組織和處理方式極大地提升效率。資料的儲存和記憶體中的組織、SQL運算元的計算都基於列式實現，使得CPU緩衝使用更有效，減少了虛函數調用和分支判斷，從而實現更順暢的CPU指令流水線操作。

利用CPU提供的SIMD（Single Instruction Multiple Data）指令，StarRocks的全面向量化引擎以更少的指令執行更多的資料操作，標準測試集驗證表明，這能夠讓執行運算元的效能整體提升3到10倍。

除了運算元全面向量化之外，StarRocks執行引擎中還包含了額外的最佳化技術，例如“Operation on Encoded Data”。此技術允許直接在編碼後的欄位上，無需解碼，執行各類運算元，包括關聯、彙總、運算式計算等。這顯著降低了SQL執行過程中的計算複雜度，使相關查詢速度提升了2倍以上。

儲存計算分離

StarRocks 3.0版本支援了全新的存算分離模式，實現了計算資源與儲存資源的完全解耦，提升了系統的靈活性、效能和可靠性，同時降低了成本。

在儲存計算分離模式中，儲存和計算成為了獨立服務，可以單獨進行伸縮，有效避免了傳統存算一體模式中由於等比例擴縮容帶來的資源浪費問題。這種解耦使計算節點能在幾秒內動態伸縮，極大地提高了資源使用率。

對於儲存層，StarRocks利用了Object Storage Service的幾乎無限容量和高可用性特點，不僅支援多種雲上Object Storage Service，也相容HDFS，確保資料的大規模儲存和持久化。

StarRocks的儲存計算分離模式保留了與傳統存算一體模式相同的功能，無論是資料寫入還是熱資料查詢效能均可相比肩。在此模式下，您同樣能夠應對資料更新、資料湖分析、物化視圖加速等多樣化的資料情境需求。

CBO最佳化器

在多表關聯查詢情境下，即使擁有高效能的執行引擎也不足以保證最佳的執行效能。這是因為在此類情境中，不同執行計畫的效率差異可能相差極大，尤其是隨著關聯表數量的增加，有效執行計畫的數量也呈指數級增長，從而使得尋找最優執行計畫成為一個複雜度極高的NP-Hard問題。因此，一款能夠準確選擇最佳查詢計劃的優秀查詢最佳化工具對於實現最優的多表查詢效能至關重要。

StarRocks設計並實現了一個全新的、基於代價的最佳化器（CBO，Cost Based Optimizer）。該最佳化器採用Cascades-like架構，深度定製以充分利用StarRocks全面向量化的執行引擎，並引入了眾多創新最佳化措施。CBO不僅能實現公用運算式的複用和相互關聯的子查詢的重寫，還支援Lateral Join、Join Reorder以及針對Join操作的分布式執行策略選取，以及最佳化了低基數詞典編碼等關鍵效能提升功能。目前，這款最佳化器已經能夠全面支援TPC-DS的99條SQL語句。

得益於這款先進的CBO，StarRocks相較於同類產品在應對多表關聯查詢，尤其是複雜多表關聯查詢方面表現出色，極大地發揮了向量化執行引擎的效能潛力。

可即時更新的列式儲存引擎

StarRocks採用了先進的列式儲存引擎，將相同類型的資料以按列的方式進行連續存放。這種儲存方法使資料能夠採用更為高效的編碼策略，不僅提升了資料的壓縮率，降低了儲存成本，同時也減少了查詢過程中的磁碟I/O需求，顯著提升查詢速度。在典型的OLAP情境中，由於查詢通常只聚焦於特定幾個列，列式儲存額外減少了讀取非必要列的資料量，從而能夠在很大程度上削減磁碟I/O的負擔，實現大幅度的輸送量節省。

StarRocks能夠實現秒級的匯入延遲，提供近乎即時的資料處理能力。其儲存引擎在匯入資料的同時保障了ACID事務特性，保證了大量匯入的原子性，確保操作要麼全部匯入成功，要麼全部匯入失敗。這種設計允許多個事務平行處理，同時提供快照隔離（Snapshot Isolation）層級的事務隔離保護。

StarRocks的儲存引擎還特別適用於Partial Update和Upsert等操作。使用Delete-and-Insert的實現方式，通過主鍵索引快速過濾資料，避免讀取階段的Sort和Merge操作。此外，該引擎還能夠利用其他二級索引，在大規模資料更新的情境下，依然能夠保持對查詢請求的超高速響應。

智能物化視圖

自動化資料同步與即時更新：StarRocks支援使用物化視圖進行查詢加速和數倉分層。StarRocks的物化視圖能夠實現自動同步。每當原始表中的資料發生任何變更，物化視圖能即時感知並自動完成相應的更新操作，確保與原表資料始終保持一致。此外，StarRocks還具備智能選擇物化視圖的功能。在查詢規劃階段，若檢測到有能夠提升查詢效率的物化視圖存在，StarRocks將自動執行查詢改寫，確保使用最優物化視圖進行查詢。
靈活建立與管理物化視圖：StarRocks物化視圖支援按需靈活建立與刪除。您可以在使用過程中視實際使用方式來判斷是否需要建立或刪除物化視圖。整個過程在後台自動完成，無需人工幹預。
簡化ETL流程與資料處理：StarRocks的物化視圖能夠替代傳統的ETL建模流程。您無需在上遊應用中進行資料轉換操作，便可以直接在使用物化視圖的過程中實現資料的轉換與加工，簡化了資料處理流程。

資料湖分析

StarRocks不僅能高效地分析本機存放區的資料，也可以作為計算引擎直接分析資料湖中的資料。您可以通過StarRocks提供的External Catalog，輕鬆查詢儲存在Apache Hive、Apache Iceberg、Apache Hudi、Delta Lake等資料湖上的資料，無需進行資料移轉。支援Parquet、ORC、CSV等檔案格式；也支援HDFS、S3、OSS等儲存方式。

在資料湖分析情境中，StarRocks主要負責資料的計算分析，而資料湖則主要負責資料的儲存、組織和維護。使用資料湖的優勢在於可以使用開放的儲存格式和靈活多變的Schema定義方式，可以讓BI、AI、AdHoc、報表等業務維持在統一的單點身份可信（Single Source of Truth），而StarRocks作為資料湖的計算引擎，可以充分發揮向量化引擎和CBO（Cost Based Optimizer）的優勢，大大提升了資料湖分析的效能。

Serverless StarRocks增強特性

EMR Serverless StarRocks主要在企業級功能方面做了以下增強：

全託管的免營運產品服務形態，大大降低了營運和使用的複雜度以及成本。
可視化的StarRocks執行個體管理主控台，使得執行個體的整體營運和管理更加方便。
可視化的監控及營運能力。
支援大、小版本自動升級，方便StarRocks進行版本升級管理。
增加EMR StarRocks Manager，提供了企業級的StarRocks管理能力：
- 安全能力：支援使用者及許可權管理。
- 診斷分析：支援可視化慢SQL，及SQL查詢分析能力。
- 資料管理：提供資料庫、表、分區、分區、任務的查詢能力，方便營運管理。
AI+OLAP（Beta）：支援在 OLAP 分析流程中使用SQL調用大語言模型，在一條 SQL 內實現從資料處理、分析到 AI 推理的全過程。詳情請參見AI 能力。

EMR Serverless StarRocks 對應 OSS Bucket 的預設 QPS 限流閾值是多少？如何監控？

當前 OSS QPS 限流閾值已調整為 20000，調整前為 10000。目前暫不支援直接查看 StarRocks OSS Bucket 流控調整的專屬監控指標，建議通過CloudMonitor設定 QPS 警示作為替代監控方案。

為什麼 StarRocks FE Leader 節點會發生切換？是否與 Full GC 有關？

FE Leader 節點切換可能由 Full GC 觸發的重新選舉導致。當 FE 節點發生 Full GC 時，會觸發 Leader 重新選舉，從而變更 Leader 節點。這是 G1 記憶體回收行程在大堆記憶體（上限 51 GiB）及停頓優先策略下的正常行為，並非系統故障。

AI 能力

EMR Serverless StarRocks 內建 AI Function，將大語言模型的能力嵌入 OLAP 分析流程。您可以在一條 SQL 內完成資料處理、分析和 AI 推理，不需要把資料匯出到外部系統再處理。

核心優勢

資料不出湖：未經處理資料始終留在 StarRocks 內，AI 函數僅按需加密傳輸待處理欄位至模型服務，避免資料複製與跨系統流轉。
用標準 SQL 調用：通過內建 AI Function 調用模型能力，無需學習新的程式設計語言或工具。
結果可直接參与計算：AI 函數返回的結果可以立即參與後續的 JOIN、彙總、過濾，無需二次匯入。
Token 成本最佳化：通過謂詞下推減少調用量、緩衝消除重複請求，同樣的任務費用可降低 30% 以上。
零營運限流：內建三層防護機制，您無需理解 RPM、TPM 等限流機制即可平穩運行。

函數能力

AI Function 按能力類型劃分如下：

能力類型	典型函數	說明
文本分析	ai_sentiment、ai_classify、ai_extract、ai_summarize	對文本做情感分析、標籤分類、實體擷取和內容總結。
文本處理	ai_translate、ai_fix_grammar、ai_redact	機器翻譯、文法錯誤修正，以及個人敏感資訊（PII）脫敏。
語義篩選	ai_filter、ai_similarity	按語義條件過濾資料，或計算兩段文本的語義相似性。
向量化	ai_embed、ai_embed_multimodal	產生文本向量，或對映像、視頻等多模態內容產生向量，用於檢索情境。
AI 彙總	ai_agg、ai_agg_summary	按維度對多行內容做 AI 匯總，例如匯總某個商品的全部評論。
自訂模型	ai_custom_query、ai_custom_embedding、ai_custom_multimodal_embedding	調用您通過 AI 中心註冊的自訂模型。

支援的模型

文本產生使用 qwen3.6-plus；文本向量化使用 qwen3-vl-embedding 或 text-embedding-v4；多模態向量化使用 qwen3-vl-embedding 或 tongyi-embedding-vision-plus。其中 qwen3-vl-embedding 為統一向量空間模型，文本向量與映像、視頻向量可以直接跨模態比對，適合跨模態檢索情境。

版本要求

執行個體版本需為 3.3.20-2.1.1 或 3.5.16-2.1.1 及以上。

典型情境

語義篩選與分類分流，例如從工單中篩出投訴類內容並自動指派。
多模態檢索與訓練集構建。
客戶、商品等維度 AI 匯總。
敏感性資料脫敏後再分析。
批量內容產生與翻譯。

函數文法與參數說明，請參見 AI Function；情境化用法，請參見 AI Function最佳實務。

智能營運

除 AI Function 外，EMR Serverless StarRocks 還提供 EMR AI 助手。它串連您的執行個體，讀取系統資料表、Query Profile（查詢執行詳情）和監控指標，用於效能診斷與健康巡檢。詳情請參見 EMR AI助手。