MaxCompute:Tipe data Blob dan penyimpanan multimodal

Kasus penggunaan

• Manajemen set data pelatihan AI: Simpan file gambar, audio, atau video beserta label dan anotasi terkait dalam satu tabel, lalu gunakan SQL untuk memfilter sampel data tertentu.

• Pipeline pemrosesan data multimodal: Satukan penyimpanan hasil antara dan akhir dari pipeline multi-langkah, seperti ekstraksi frame video, transkripsi audio-ke-teks, dan pelabelan konten.

• Lapisan cache pemrosesan multimodal: Berfungsi sebagai lapisan caching untuk sumber data seperti object storage guna meningkatkan throughput komputasi paralel skala besar dengan MaxFrame dan SQL, mengatasi batasan QPS yang terkait dengan permintaan batch untuk file kecil.

• Ingesti data tidak terstruktur: Impor file dari berbagai sistem penyimpanan eksternal ke MaxCompute dan perkaya dengan metadata untuk membangun pustaka aset tidak terstruktur tingkat perusahaan, dengan manfaat jaminan transaksi dan kontrol akses terpadu.

Spesifikasi

Batasan

• Anda harus mengaktifkan tipe data MaxCompute 2.0: SET odps.sql.type.system.odps2=true;.

• Tipe Blob tidak dapat disarangkan dalam tipe kompleks seperti ARRAY, MAP, atau STRUCT.

• Kolom Blob tidak dapat digunakan sebagai primary key atau partition key.

• Kolom Blob tidak dapat digunakan dalam klausa ORDER BY, GROUP BY, atau JOIN ON.

Pendekatan multimodal tradisional vs. MaxCompute

Arsitektur tradisional mendistribusikan data multimodal—seperti file mentah, metadata, dan anotasi—di berbagai sistem seperti object storage, gudang data, dan data lake. MaxCompute mengatasi tantangan ini dengan menggunakan tipe kolom Blob untuk menyatukan semua data ke dalam satu tabel:

Model penyimpanan

MaxCompute Blob menggunakan model penyimpanan referensi-entitas terpisah, yang memisahkan kolom data terstruktur dari kolom objek besar Blob ke file fisik berbeda. Seperti ditunjukkan pada gambar berikut, arsitektur ini memiliki tiga lapisan:

• Lapisan akses menyediakan berbagai metode akses, termasuk SQL, MaxFrame, odpscmd, SDK, dan Storage API.

• Lapisan layanan menangani kompaksi, routing referensi Blob, manajemen transaksi ACID, tiering penyimpanan, dan backup.

• Lapisan penyimpanan membagi data menjadi:

  • Data File (file data terstruktur): Menyimpan data kolom non-Blob (seperti id, label, dan metadata) serta pointer referensi (Reference) ke kolom Blob. File-file ini menggunakan format penyimpanan kolom standar yang mendukung penurunan predikat dan pemangkasan kolom secara efisien.

  • Blob File (file objek besar): Menyimpan konten biner mentah objek Blob, lengkap dengan checksum data dan informasi indeks. File penyimpanan secara dinamis dibagi atau digabung berdasarkan ukuran setiap objek Blob.

Saat menulis data, sistem mengunggah konten biner ke Blob File dan menulis pointer referensi ke Data File terstruktur. Saat membaca data, sistem pertama-tama mengambil pointer referensi dari kolom terstruktur, lalu memuat konten biner dari Blob File sesuai kebutuhan. Pengunggahan Blob dan penulisan referensi diselesaikan secara atomik dalam satu session commit, dan MaxCompute mengelola operasi baca/tulis sebagai satu transaksi untuk menjamin atomicity.

Proses ini transparan bagi Anda dan tidak memerlukan penanganan khusus.

Manfaat performa

• Penggabungan dan kompresi file kecil

  • Penyimpanan Blob secara otomatis menggabungkan banyak objek kecil (seperti gambar, cuplikan HTML, dan log sesi JSON) menjadi Blob File yang lebih besar, mendukung operasi baca/tulis batch. Hal ini mengatasi batasan QPS yang terkait dengan permintaan sejumlah besar file kecil.

  • Objek berbasis teks dikompresi secara otomatis saat ditulis dan didekompresi saat dibaca. Misalnya, untuk cuplikan HTML dan teks JSON, hal ini dapat mengurangi ruang penyimpanan hingga rata-rata 50%, menurunkan biaya penyimpanan.

• Filtering efisien pada metadata tanpa memindai objek file besar

  Saat memfilter data berdasarkan kolom metadata atau label (misalnya, mencari sampel dengan label tertentu), menyimpan objek sebagai tipe Blob—bukan sebagai tipe STRING atau BINARY—dapat meningkatkan performa end-to-end rata-rata hingga dua kali lipat.

  Sebagai contoh, pertimbangkan set data 1 juta gambar dengan ukuran rata-rata 1,4 MB. Tabel berikut membandingkan overhead kueri saat menyimpan gambar sebagai tipe BINARY versus tipe Blob:

  Metode penyimpanan	Data yang dipindai
  Gambar disimpan dalam kolom BINARY	Sekitar 1.400 GB (pemindaian tabel penuh)
  Gambar disimpan dalam kolom BLOB	Sekitar 30 GB (hanya Data File)

  Saat menjalankan kueri filter label berikut, tabel dengan tipe BINARY melakukan pemindaian tabel penuh sebesar 1.400 GB. Sebaliknya, tabel dengan tipe Blob hanya memindai 30 GB data, mengurangi volume hingga 45 kali lipat.

  -- Gambar disimpan sebagai tipe BINARY
  SELECT id, image FROM multimodal_dataset_binary Where label = "cat";
  -- Gambar disimpan sebagai tipe Blob
  SELECT id, read_blob(image) FROM multimodal_dataset_blob Where label = "cat";

DDL

Anda dapat mendefinisikan beberapa kolom Blob dalam pernyataan CREATE TABLE.

CREATE TABLE video_dataset (
    id        BIGINT,
    video     BLOB,
    thumbnail BLOB,
    title     STRING
) TBLPROPERTIES('table.format.version'='2');

Fungsi Blob

-- Buat Blob dari string
SELECT to_blob('hello world'); -- Mengembalikan: Blob{reference=CAEQAxqqAgEAAAAJA...}

-- Buat Blob dari data biner heksadesimal
SELECT to_blob(X'89504E47');   -- Header file PNG

-- Substring dengan offset
SELECT to_blob('hello world', 6);           -- Hasil: 'world'
SELECT to_blob('hello world', 0, 5);        -- Hasil: 'hello'

-- Baca konten Blob
SELECT id, read_blob(image) FROM image_dataset WHERE label = 'cat' LIMIT 10;

-- Baca konten sebagian (misalnya, untuk memeriksa header file)
SELECT id, read_blob(content, 0, 4) AS file_header FROM media_library;

-- Penggunaan bersarang
SELECT read_blob(to_blob('hello world'));  -- Mengembalikan 'hello world'

-- Mendapatkan panjang Blob dalam byte
SELECT id, length(read_blob(image)) AS image_size FROM image_dataset;

Quick start

-- Buat tabel dengan kolom Blob
CREATE TABLE blob_table (col1 BLOB)
TBLPROPERTIES (
  "table.format.version"="2" 
);

-- Tulis data
INSERT INTO blob_table VALUES (to_blob("hello world"));

-- Baca data
SELECT read_blob(col1) FROM blob_table;