MaxCompute：Blob資料類型與多模態儲存

適用情境

• AI 訓練資料集管理：將圖片、音頻、視頻與標註標籤儲存在同一張表中，通過 SQL 過濾所需樣本資料集。

• 多模態資料處理流水線：視頻切幀、音頻轉文本、內容打標等多步驟流水線的中間結果和最終產物統一儲存。

• 多模態加工緩衝層：作為Object Storage Service等資料來源的緩衝層，提升 MaxFrame、SQL 大規模並行計算的吞吐效能，解決小檔案批量請求的 QPS 限制。

• 非結構化資料入湖：將分散在外部儲存中的檔案統一匯入 MaxCompute，擴充元資訊建立企業非結構化資產庫，獲得事務保障和統一許可權管控。

功能規格

使用限制

• 必須開啟 MaxCompute 2.0 資料類型：SET odps.sql.type.system.odps2=true;。

• Blob 類型不可嵌套在 ARRAY、MAP、STRUCT 等複雜類型中。

• Blob 列不可作為主鍵列和分區鍵。

• Blob 列不支援用於 ORDER BY、GROUP BY 和 JOIN ON 條件。

傳統方案與 MaxCompute 多模態方案對比

在傳統架構中，多模態資料的原始檔案、元資訊、標註資訊分散在Object Storage Service、資料倉儲、資料湖等多個引擎中。MaxCompute 通過原生支援 Blob 列類型，將所有資料統一儲存在同一張表中，解決了以下問題：

儲存模式

MaxCompute Blob 採用引用-實體分離的儲存模式，將結構化資料列與 Blob 大對象列拆分到不同的物理檔案中。如下圖所示，整體架構分為三層：

• 接入層提供 SQL、MaxFrame、ODPSCMD、SDK、StorageAPI 等多種訪問方式；

• 服務層負責 Compaction、Blob Reference 路由、ACID 交易管理、階層式存放區（Storage Tier）和備份；

• 儲存層將資料拆分為

  • Data File（結構化資料檔案）：儲存表中的非 Blob 列資料（如 id、label、metadata 等）以及 Blob 列的引用指標（Reference）。這些檔案採用標準列式儲存，支援高效的謂詞下推和列裁剪。

  • Blob File（大對象檔案）：儲存 Blob 對象的原始二進位內容、資料校正資訊和索引資訊。根據每個 Blob 對象大小動態拆分或合并隱藏檔。

資料寫入時，系統將二進位內容上傳到 Blob File，並將引用指標寫入結構化資料列Data File；讀取時，先通過結構化列擷取引用指標，再按需從 Blob File 載入二進位內容。Blob 上傳和引用寫入在同一個 Session Commit 中完成，讀寫操作會在 MaxCompute 內部完成交易管理，保證原子性。

上述邏輯對使用者透明，日常使用中無需關注底層儲存差異。

效能收益

• 小檔案合并與壓縮

  • Blob 儲存體會自動將大量小對象（圖片、HTML 片段、JSON 會話日誌等）合并成 Blob File，支援批量讀寫，解決大量小檔案請求的 QPS 限制問題。

  • 文本類對象寫入時自動壓縮，訪問時自動解壓。例如 HTML 片段和 JSON 文本，平均可節約約 2 倍儲存空間，降低儲存成本。

• 標籤點查過濾資料集情境，檔案對象不影響列式掃描效能

  當根據元資訊、標籤列過濾資料時（如尋找特定標籤的樣本），將Object Storage Service成 Blob 類型相比用 String/Binary 類型儲存位元據，端到端效能平均提升 2 倍（根據實際資料評估）。

  例如，對 100 萬張平均大小 1.4 MB 的圖片建立資料集，對比將 image 儲存為 Binary 和 Blob 類型的查詢開銷：

  儲存方式	標籤過濾掃描資料量
  image 儲存為 BINARY 列	約 1,400 GB（全表掃描）
  image 儲存為 BLOB 列	約 30 GB（僅 Data File）

  執行如下標籤過濾查詢，Binary類型表將執行全表掃描，TableScan 數量 1400 GB，Blob 表 TableScan 數量 30 GB，掃描資料量降低了 45 倍。

  -- image儲存為Binary類型
  SELECT id, image FROM multimodal_dataset_binary Where label = "cat";
  -- image儲存為Blob類型
  SELECT id, read_blob(image) FROM multimodal_dataset_blob Where label = "cat";

DDL

建表語句支援多 Blob 列。

CREATE TABLE video_dataset (
    id        BIGINT,
    video     BLOB,
    thumbnail BLOB,
    title     STRING
) TBLPROPERTIES('table.format.version'='2');

Blob 函數

-- 從字串建立 Blob
SELECT to_blob('hello world'); -- 返回結果：Blob{reference=CAEQAxqqAgEAAAAJA...}

-- 從十六進位二進位建立 Blob
SELECT to_blob(X'89504E47');   -- PNG 檔案頭

-- 帶位移截取
SELECT to_blob('hello world', 6);           -- 結果：'world'
SELECT to_blob('hello world', 0, 5);        -- 結果：'hello'

-- 讀取 Blob 內容
SELECT id, read_blob(image) FROM image_dataset WHERE label = 'cat' LIMIT 10;

-- 讀取部分內容（如檔案頭判斷類型）
SELECT id, read_blob(content, 0, 4) AS file_header FROM media_library;

-- 嵌套使用
SELECT read_blob(to_blob('hello world'));  -- 返回 'hello world'

-- 擷取 Blob 的位元組長度
SELECT id, length(read_blob(video)) AS image_size FROM image_dataset;

使用樣本

-- 建立包含Blob類型的Table
CREATE TABLE blob_table (col1 BLOB)
TBLPROPERTIES (
  "table.format.version"="2" 
);

-- 資料寫入
INSERT INTO blob_table VALUES (to_blob("hello world"));

-- 資料讀取
SELECT read_blob(col1) FROM blob_table;