MaxCompute:Tipo de dados Blob e armazenamento multimodal

Casos de uso

• Gerenciamento de conjuntos de dados de treinamento de IA: Armazene arquivos de imagem, áudio ou vídeo junto com seus rótulos e anotações correspondentes em uma única tabela e use SQL para filtrar amostras de dados específicas.

• Pipelines de processamento de dados multimodais: Unifique o armazenamento de resultados intermediários e finais de pipelines de múltiplas etapas, como extração de quadros de vídeo, transcrição de áudio para texto e rotulagem de conteúdo.

• Camada de cache para processamento multimodal: Funcione como camada de cache para fontes de dados como armazenamento de objetos, melhorando o throughput de computação paralela em larga escala com MaxFrame e SQL, superando os limites de QPS associados a solicitações em lote de arquivos pequenos.

• Ingestão de dados não estruturados: Importe arquivos de vários sistemas de armazenamento externos para o MaxCompute e enriqueça-os com metadados para construir uma biblioteca de ativos não estruturados de nível empresarial, aproveitando garantias transacionais e controle de acesso unificado.

Especificações

Limitações

• Ative os tipos de dados do MaxCompute 2.0: SET odps.sql.type.system.odps2=true;.

• O tipo Blob não pode ser aninhado em tipos complexos como ARRAY, MAP ou STRUCT.

• Uma coluna Blob não pode ser usada como chave primária ou chave de partição.

• Não use uma coluna Blob em cláusulas ORDER BY, GROUP BY ou JOIN ON.

-- Example of a multimodal dataset table
CREATE TABLE multimodal_dataset (
    id          BIGINT NOT NULL,
    image       BLOB,                       -- Raw image binary
    label       STRING,                     -- Classification label
    bbox        STRING,                     -- Annotation bounding box (JSON)
    resolution  STRING,                     -- Resolution metadata
    created_at  DATETIME                    -- Ingestion time
) TBLPROPERTIES("table.format.version"="2");

Abordagens tradicionais versus multimodais do MaxCompute

Arquiteturas tradicionais distribuem dados multimodais — como arquivos brutos, metadados e anotações — por vários sistemas, como armazenamento de objetos, data warehouses e data lakes. O MaxCompute resolve esses desafios usando o tipo de coluna Blob para unificar todos os dados em uma única tabela:

Modelo de armazenamento

O Blob do MaxCompute utiliza um modelo de armazenamento com separação entre referência e entidade, que divide as colunas de dados estruturados das colunas de objetos grandes Blob em arquivos físicos distintos. Conforme ilustrado na figura abaixo, a arquitetura possui três camadas:

• A camada de acesso fornece diversos métodos, incluindo SQL, MaxFrame, odpscmd, SDK e Storage API.

• A camada de serviço cuida da compactação, roteamento de referências Blob, gerenciamento de transações ACID, camadas de armazenamento e backups.

• A camada de armazenamento divide os dados em:

  • Data File (arquivo de dados estruturados): Armazena dados de colunas não-Blob (como id, rótulo e metadados) e um ponteiro de referência (Reference) para a coluna Blob. Esses arquivos usam um formato de armazenamento colunar padrão que suporta pushdown de predicados eficiente e poda de colunas.

  • Blob File (arquivo de objeto grande): Armazena o conteúdo binário bruto dos objetos Blob, juntamente com checksums de dados e informações de índice. Os arquivos de armazenamento são divididos ou mesclados dinamicamente com base no tamanho de cada objeto Blob.

Ao gravar dados, o sistema carrega o conteúdo binário em um Blob File e escreve um ponteiro de referência no Data File estruturado. Durante a leitura, o sistema primeiro recupera o ponteiro de referência da coluna estruturada e depois carrega o conteúdo binário do Blob File conforme necessário. O upload do Blob e a gravação da referência ocorrem atomicamente em um único commit de sessão, e o MaxCompute gerencia as operações de leitura/gravação como uma única transação para garantir a atomicidade.

Esse processo é transparente e não requer nenhum tratamento especial.

Benefícios de desempenho

• Mesclagem e compressão de arquivos pequenos

  • O armazenamento Blob mescla automaticamente muitos objetos pequenos (como imagens, trechos HTML e logs de sessão JSON) em Blob Files maiores, suportando operações de leitura e gravação em lote. Isso resolve as limitações de QPS associadas a solicitações de um grande número de arquivos pequenos.

  • Objetos baseados em texto são comprimidos automaticamente na gravação e descomprimidos na leitura. Para trechos HTML e texto JSON, por exemplo, isso pode reduzir o espaço de armazenamento em média 50%, diminuindo os custos.

• Filtragem eficiente em metadados sem varredura de objetos de arquivo grandes

  Ao filtrar dados com base em metadados ou colunas de rótulo (por exemplo, localizando amostras com um rótulo específico), armazenar objetos como tipo Blob em vez de tipos STRING ou BINARY pode dobrar o desempenho de ponta a ponta, em média.

  Por exemplo, considere um conjunto de dados de 1 milhão de imagens com tamanho médio de 1,4 MB. A tabela a seguir compara a sobrecarga de consulta ao armazenar a imagem como tipo BINARY versus tipo Blob:

  Método de armazenamento	Dados verificados
  Imagem armazenada em uma coluna BINARY	Aprox. 1.400 GB (varredura completa da tabela)
  Imagem armazenada em uma coluna BLOB	Aprox. 30 GB (apenas Data File)

  Ao executar a seguinte consulta de filtragem por rótulo, a tabela com o tipo BINARY realiza uma varredura completa de 1.400 GB. Em contraste, a tabela com o tipo Blob verifica apenas 30 GB de dados, uma redução de 45 vezes.

  -- Image stored as BINARY type
  SELECT id, image FROM multimodal_dataset_binary Where label = "cat";
  -- Image stored as Blob type
  SELECT id, read_blob(image) FROM multimodal_dataset_blob Where label = "cat";

DDL

Defina múltiplas colunas Blob em uma instrução CREATE TABLE.

CREATE TABLE video_dataset (
    id        BIGINT,
    video     BLOB,
    thumbnail BLOB,
    title     STRING
) TBLPROPERTIES('table.format.version'='2');

Funções Blob

-- Create a Blob from a string
SELECT to_blob('hello world'); -- Returns: Blob{reference=CAEQAxqqAgEAAAAJA...}

-- Create a Blob from hexadecimal binary data
SELECT to_blob(X'89504E47');   -- PNG file header

-- Substring with an offset
SELECT to_blob('hello world', 6);           -- Result: 'world'
SELECT to_blob('hello world', 0, 5);        -- Result: 'hello'

-- Read the content of a Blob
SELECT id, read_blob(image) FROM image_dataset WHERE label = 'cat' LIMIT 10;

-- Read partial content (for example, to check the file header)
SELECT id, read_blob(content, 0, 4) AS file_header FROM media_library;

-- Nested usage
SELECT read_blob(to_blob('hello world'));  -- Returns 'hello world'

-- Gets the length of a Blob in bytes
SELECT id, length(read_blob(image)) AS image_size FROM image_dataset;

Guia de início rápido

-- Create a table with a Blob column
CREATE TABLE blob_table (col1 BLOB)
TBLPROPERTIES (
  "table.format.version"="2" 
);

-- Write data
INSERT INTO blob_table VALUES (to_blob("hello world"));

-- Read data
SELECT read_blob(col1) FROM blob_table;