MaxCompute:Tipo de dato Blob y almacenamiento multimodal

Casos de uso

• Gestión de conjuntos de datos de entrenamiento de IA: Almacene archivos de imágenes, audio o video junto con sus etiquetas y anotaciones correspondientes en una sola tabla, y utilice SQL para filtrar muestras de datos específicas.

• Flujos de trabajo de procesamiento de datos multimodales: Unifique el almacenamiento de resultados intermedios y finales provenientes de flujos de múltiples pasos, como la extracción de fotogramas de video, la transcripción de audio a texto y el etiquetado de contenido.

• Capa de caché para procesamiento multimodal: Funcione como capa de caché para fuentes de datos como object storage, con el fin de mejorar el rendimiento de la computación paralela a gran escala con MaxFrame y SQL. Esto permite superar los límites de QPS asociados con las solicitudes por lotes de archivos pequeños.

• Ingesta de datos no estructurados: Importe archivos desde diversos sistemas de almacenamiento externos hacia MaxCompute y enriquézcalos con metadatos para construir una biblioteca de activos no estructurados a nivel empresarial. De este modo, se aprovechan las garantías transaccionales y el control de acceso unificado.

Especificaciones

Límites

• Debe habilitar los tipos de datos de MaxCompute 2.0: SET odps.sql.type.system.odps2=true;.

• El tipo Blob no puede anidarse dentro de tipos complejos como ARRAY, MAP o STRUCT.

• Una columna Blob no puede utilizarse como clave principal ni como clave de partición.

• Una columna Blob no puede usarse en cláusulas ORDER BY, GROUP BY o JOIN ON.

-- Example of a multimodal dataset table
CREATE TABLE multimodal_dataset (
    id          BIGINT NOT NULL,
    image       BLOB,                       -- Raw image binary
    label       STRING,                     -- Classification label
    bbox        STRING,                     -- Annotation bounding box (JSON)
    resolution  STRING,                     -- Resolution metadata
    created_at  DATETIME                    -- Ingestion time
) TBLPROPERTIES("table.format.version"="2");

Enfoques tradicionales frente al enfoque multimodal de MaxCompute

Las arquitecturas tradicionales distribuyen los datos multimodales —como archivos sin procesar, metadatos y anotaciones— en diversos sistemas, tales como object storage, almacenes de datos y lagos de datos. MaxCompute resuelve estos desafíos mediante el uso del tipo de columna Blob para unificar toda la información en una sola tabla:

Modelo de almacenamiento

MaxCompute Blob utiliza un modelo de almacenamiento de referencia y entidad separadas, que divide las columnas de datos estructurados de las columnas de objetos grandes Blob en diferentes archivos físicos. Como se muestra en la siguiente figura, la arquitectura consta de tres capas:

• La capa de acceso proporciona varios métodos de acceso, incluidos SQL, MaxFrame, odpscmd, SDK y Storage API.

• La capa de servicio gestiona la compactación, el enrutamiento de referencias Blob, la administración de transacciones ACID, la clasificación de almacenamiento y las copias de seguridad.

• La capa de almacenamiento divide los datos en:

  • Data File (archivo de datos estructurados): Almacena datos de columnas que no son Blob (como id, label y metadatos) y un puntero de referencia (Reference) a la columna Blob. Estos archivos utilizan un formato de almacenamiento columnar estándar que admite un predicate pushdown eficiente y la poda de columnas.

  • Blob File (archivo de objetos grandes): Almacena el contenido binario sin procesar de los objetos Blob, junto con sumas de comprobación de datos e información de índice. Los archivos de almacenamiento se dividen o fusionan dinámicamente según el tamaño de cada objeto Blob.

Al escribir datos, el sistema carga el contenido binario en un Blob File y escribe un puntero de referencia en el Data File estructurado. Al leer datos, el sistema primero recupera el puntero de referencia de la columna estructurada y luego carga el contenido binario del Blob File según sea necesario. La carga del Blob y la escritura de la referencia se completan atómicamente en una sola confirmación de sesión, y MaxCompute gestiona las operaciones de lectura y escritura como una única transacción para garantizar la atomicidad.

Este proceso es transparente para usted y no requiere ningún manejo especial.

Beneficios de rendimiento

• Fusión y compresión de archivos pequeños

  • El almacenamiento Blob fusionará automáticamente muchos objetos pequeños (como imágenes, fragmentos HTML y registros de sesiones JSON) en archivos Blob más grandes, lo que permite operaciones de lectura y escritura por lotes. Esto resuelve las limitaciones de QPS asociadas con las solicitudes de una gran cantidad de archivos pequeños.

  • Los objetos basados en texto se comprimen automáticamente durante la escritura y se descomprimen durante la lectura. Por ejemplo, en el caso de fragmentos HTML y texto JSON, esto puede reducir el espacio de almacenamiento en un promedio del 50%, lo que disminuye los costos de almacenamiento.

• Filtrado eficiente de metadatos sin escanear objetos de archivo grandes

  Al filtrar datos basándose en columnas de metadatos o etiquetas (por ejemplo, buscar muestras con una etiqueta específica), almacenar objetos como tipo Blob en lugar de tipos STRING o BINARY puede duplicar el rendimiento de extremo a extremo en promedio.

  Por ejemplo, considere un conjunto de datos de 1 millón de imágenes con un tamaño promedio de 1.4 MB. La siguiente tabla compara la sobrecarga de consulta al almacenar la imagen como tipo BINARY frente al tipo Blob:

  Método de almacenamiento	Datos escaneados
  Imagen almacenada en una columna BINARY	Aprox. 1,400 GB (escaneo completo de tabla)
  Imagen almacenada en una columna BLOB	Aprox. 30 GB (solo Data File)

  Cuando ejecuta la siguiente consulta de filtrado por etiqueta, la tabla con el tipo BINARY realiza un escaneo completo de 1,400 GB. En cambio, la tabla con el tipo Blob escanea solo 30 GB de datos, lo que representa una reducción de 45 veces.

  -- Image stored as BINARY type
  SELECT id, image FROM multimodal_dataset_binary Where label = "cat";
  -- Image stored as Blob type
  SELECT id, read_blob(image) FROM multimodal_dataset_blob Where label = "cat";

DDL

Puede definir varias columnas Blob en una sentencia CREATE TABLE.

CREATE TABLE video_dataset (
    id        BIGINT,
    video     BLOB,
    thumbnail BLOB,
    title     STRING
) TBLPROPERTIES('table.format.version'='2');

Funciones Blob

-- Create a Blob from a string
SELECT to_blob('hello world'); -- Returns: Blob{reference=CAEQAxqqAgEAAAAJA...}

-- Create a Blob from hexadecimal binary data
SELECT to_blob(X'89504E47');   -- PNG file header

-- Substring with an offset
SELECT to_blob('hello world', 6);           -- Result: 'world'
SELECT to_blob('hello world', 0, 5);        -- Result: 'hello'

-- Read the content of a Blob
SELECT id, read_blob(image) FROM image_dataset WHERE label = 'cat' LIMIT 10;

-- Read partial content (for example, to check the file header)
SELECT id, read_blob(content, 0, 4) AS file_header FROM media_library;

-- Nested usage
SELECT read_blob(to_blob('hello world'));  -- Returns 'hello world'

-- Gets the length of a Blob in bytes
SELECT id, length(read_blob(image)) AS image_size FROM image_dataset;

Inicio rápido

-- Create a table with a Blob column
CREATE TABLE blob_table (col1 BLOB)
TBLPROPERTIES (
  "table.format.version"="2" 
);

-- Write data
INSERT INTO blob_table VALUES (to_blob("hello world"));

-- Read data
SELECT read_blob(col1) FROM blob_table;