O MaxCompute oferece funções para processar dados não estruturados e permite acessar dados e metadados armazenados em um data warehouse ou data lake.
Funções integradas para dados não estruturados
O MaxCompute oferece suporte ao recurso Object Table, que permite ao mecanismo de computação do data warehouse acessar dados não estruturados e metadados armazenados no OSS. O sistema também disponibiliza funções específicas para processar dados de arquivos do OSS. Para obter mais informações, consulte Object Table definition.
|
Função |
Descrição |
|
Lê total ou parcialmente o conteúdo de um objeto e o retorna como dados binários. |
|
|
Gera uma URL pré-assinada para leitura ou gravação direta em arquivos do OSS via HTTP. |
|
|
Gera uma referência de blob para um objeto do OSS. Essa referência contém informações como local de armazenamento, intervalo de bytes e Content-Type opcional. |
UDFs personalizadas para dados não estruturados
Os exemplos a seguir de UDFs personalizadas demonstram como usar o Object Table para acessar dados não estruturados e metadados em um data lake.
Tipo | Função | Descrição |
Processamento de metadados (Java) | Obtém os metadados de um arquivo. | |
Extrai o formato de um arquivo, como | ||
Detecta o tipo de mídia MIME de nível superior de um arquivo com base no registro IANA. | ||
Retorna o tipo de conteúdo MIME completo (Content-Type) de um arquivo. | ||
Extrai o nome do arquivo de um caminho de arquivo. | ||
Processamento de conteúdo (Python) | Extrai o conteúdo de um arquivo PDF como texto. |
Funções para arquivos compactados
O MaxCompute fornece duas novas funções escalares integradas para analisar dados binários de arquivos compactados diretamente em SQL. Use-as para ler metadados e conteúdos de diversos formatos de arquivamento, como zip, jar, tar, tar.gz, tar.bz2, tar.xz e tar.zst, sem descompactar o arquivo em disco.
|
Função |
Descrição |
|
Lista os metadados de todas as entradas em um arquivo compactado. |
|
|
Extrai um mapeamento entre nomes de arquivos e seus respectivos conteúdos de um arquivo compactado. |