Todos os produtos
Search

Este produto

    AnalyticDB:Lake storage

    Central de documentação

    AnalyticDB:Lake storage

    Última atualização: Oct 09, 2026

    O recurso de lake storage do AnalyticDB for MySQL simplifica a construção de data lakes e o gerenciamento de armazenamento. Ele permite armazenar dados de tabelas estruturadas em formatos como Iceberg e Paimon, além de objetos de arquivo não estruturados. Isso o torna ideal para cenários que exigem processamento em lote offline e análises em tempo real. Este tópico descreve os modos e tipos de armazenamento, bem como as operações de gerenciamento de recursos do lake storage.

    Pré-requisitos

    É necessário ter um cluster do AnalyticDB for MySQL Enterprise Edition, Basic Edition ou Data Lakehouse Edition.

    Ativar o lake storage

    O lake storage básico está disponível publicamente e pode ser usado sem a necessidade de envio de solicitação. O lake storage padrão está em preview por convite. Para ativar o lake storage padrão, envie um ticket para entrar em contato com o suporte técnico.

    Modos de armazenamento

    Antes de criar uma tabela de data lake, decida onde armazenar os dados. O AnalyticDB for MySQL oferece dois modos de armazenamento. O modo é definido na criação da tabela e não pode ser alterado posteriormente.

    Dimensão

    Lake storage gerenciado (lake interno)

    OSS de propriedade do usuário (lake externo)

    Gerenciamento de armazenamento

    O AnalyticDB for MySQL gerencia os buckets de armazenamento subjacentes de forma integral e automática

    Os usuários gerenciam seus próprios buckets do OSS

    Parâmetros principais de criação de tabela

    catalog_type='ADB' + adb_lake_bucket (XIHE SQL); ou TBLPROPERTIES ('adb_lake_bucket' = '...') + SET spark.adb.lakehouse.enabled=true (Spark SQL)

    LOCATION 'oss://...'

    Ativação

    O lake storage básico não requer solicitação para uso; o lake storage padrão requer um ticket para ativação

    Nenhuma configuração adicional necessária para acesso na mesma conta

    Casos de uso

    Novos projetos que exigem operações simplificadas

    Dados existentes no OSS ou requisitos de armazenamento autogerenciado

    • Lake storage gerenciado: Os dados são armazenados em buckets subjacentes, gerenciados automaticamente pelo AnalyticDB for MySQL. Leia e grave em tabelas de lake usando SQL padrão sem precisar gerenciar sistemas de arquivos, configurações de permissão ou políticas de ciclo de vida. Para mais informações, consulte Create a lake storage.

    • OSS de propriedade do usuário: Os dados são armazenados integralmente em um bucket do OSS especificado na mesma região. Especifique o caminho do OSS com o parâmetro LOCATION ao criar a tabela.

    Nota

    A sintaxe de criação de tabela varia conforme o mecanismo. Para mais informações, consulte a documentação de leitura e gravação do mecanismo correspondente em Next steps.

    Tipos de armazenamento

    O lake storage gerenciado do AnalyticDB for MySQL oferece dois tipos de armazenamento. Escolha a solução adequada com base nos seus requisitos de negócios.

    Dimensão

    Básico

    Padrão

    Armazenamento subjacente

    Armazenamento de objetos OSS

    Armazenamento de objetos de alto desempenho AFS (AnalyticDB Filesystem)

    Protocolo de acesso

    API do OSS

    Protocolo compatível com S3, com suporte adicional à interface POSIX (em preview por convite)

    Casos de uso

    Análise de dados de propósito geral e processamento em lote offline

    Treinamento e inferência de IA/ML, computação de alto desempenho e processamento de dados multimodais

    Características de desempenho

    Throughput e latência padrão

    Alto throughput, baixa latência, com cache multinível integrado

    Camadas de dados quentes e frios

    Sem suporte

    Com suporte — dados quentes são armazenados no AFS, e dados frios são movidos automaticamente para o OSS

    Ativação

    Disponibilidade geral; não requer solicitação para uso

    Envie um ticket

    Básico (lake storage padrão OSS)

    O lake storage básico é baseado no armazenamento de objetos Alibaba Cloud OSS, o que o torna adequado para a maioria dos cenários de análise de dados de propósito geral e processamento em lote offline. Após a criação, o sistema cria automaticamente um bucket no OSS sob a conta de serviço. Esse bucket fica na mesma região do seu cluster e tem o mesmo nome do lake storage.

    Padrão (lake storage de alto desempenho AFS)

    O AFS (AnalyticDB Filesystem) é um armazenamento de objetos de alto desempenho compatível com S3, que fornece recursos de ingestão e persistência de dados de alto desempenho para o lake storage do AnalyticDB for MySQL. O AFS foi projetado para cenários que exigem maior desempenho de armazenamento, como treinamento e inferência de IA/ML e processamento de dados multimodais em grande escala.

    Recursos principais:

    • Compatibilidade com o protocolo S3: Use diretamente cadeias de ferramentas padrão, como AWS SDK e Spark/Flink S3A, para acessar o AFS sem modificar as ferramentas existentes.

    • Interface POSIX (em preview por convite): Acesse os mesmos dados por meio de APIs S3 e montagens POSIX, atendendo a cenários como treinamento e inferência que dependem de caminhos de arquivo.

    • Camadas de dados quentes e frios: Dados quentes são armazenados no AFS para garantir acesso de alto desempenho, enquanto dados frios são movidos automaticamente para o OSS. O namespace unificado é transparente para as aplicações da camada superior, o que equilibra custo e desempenho.

    • Segurança e permissões: O AFS é compatível com um modelo de permissão granular baseado em políticas S3, o que permite autorização de privilégio mínimo por bucket, caminho e tipo de operação. Também oferece suporte ao sistema de usuários e AccessKey para isolar múltiplas equipes.

    Interface POSIX

    Os pipelines de treinamento e inferência de IA/ML geralmente dependem de caminhos de arquivo POSIX em vez de chaves S3. O AFS fornece uma interface POSIX sobre a API S3, o que traz os seguintes benefícios principais:

    • Treinamento e inferência sem modificações: Operadores Ray e checkpoints de modelos leem e gravam diretamente nos pontos de montagem, sem necessidade de alternar para o SDK S3.

    • Acesso dual aos mesmos dados: Os pipelines de produção upstream gravam por meio do S3, enquanto o treinamento ou a recuperação downstream leem pela interface POSIX, sem cópia ou movimentação de dados.

    Importante

    A interface POSIX está atualmente em preview por convite. Para usar esse recurso, envie um ticket.

    Faturamento

    Notas de uso

    • Uma conta Alibaba Cloud pode criar até cinco lake storages na mesma região.

    • Há um atraso na atualização do uso de armazenamento exibido para o lake storage. Portanto, o volume de dados atualizado pode não aparecer imediatamente após a gravação.

    • Antes de excluir um lake storage, exclua todos os dados nele. Caso contrário, a exclusão falhará.

    • Após a criação de um lake storage, o AnalyticDB for MySQL cria automaticamente um bucket no OSS sob a conta de serviço. Esse bucket fica na mesma região do seu cluster do AnalyticDB for MySQL e tem o mesmo nome do lake storage. Para visualizar esse bucket no console do OSS com sua conta Alibaba Cloud, adicione um caminho favorito.

      Clique para ver como encontrar o bucket do OSS

      1. Faça login no console do OSS.

      2. No painel de navegação à esquerda, clique no ícone Adicionar ao lado de Favorite Paths.

      3. Na caixa de diálogo Add Favorite Paths, selecione um Adding Method e especifique a Region e o Bucket Name.

        Adding Method: Selecione Add from other authorized buckets.

        Region: A região do seu cluster do AnalyticDB for MySQL.

        Bucket: Insira o Lake Storage Name.

    • O recurso de backup e recuperação do AnalyticDB for MySQL não oferece suporte a dados no lake storage.

    Criar um lake storage

    Standard

    O lake storage padrão é baseado no armazenamento de objetos de alto desempenho AFS. Para criar um lake storage padrão, crie primeiro um cluster de armazenamento e, em seguida, um bucket.

    1. Acesse o console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Encontre o cluster que deseja gerenciar e clique no ID dele.

    2. No painel de navegação à esquerda, escolha Data Management > Lake Storages.

    3. Clique na aba Storage Cluster Management.

    4. Clique em Create Cluster.

    5. Na caixa de diálogo Create Cluster, a Storage Class está fixa como Standard. Defina o Reserved Resource Size, insira uma Cluster Description (opcional) e clique em OK.

      Nota

      A criação de um cluster de armazenamento leva algum tempo. Aguarde a conclusão da criação do cluster antes de prosseguir.

    6. Clique na aba Bucket Management.

    7. Clique em Create Bucket.

    8. Na caixa de diálogo Create Bucket, configure os seguintes parâmetros e clique em OK.

      • Type: Selecione Standard.

      • Cluster: Selecione o cluster de armazenamento criado na etapa anterior.

      • Bucket Name: Insira um nome para o bucket. O nome deve ser globalmente exclusivo e não pode ser alterado após a criação.

      • Data Redundancy Type: Selecione Zone-Redundant Storage ou Locally Redundant Storage.

      • Bucket Description: (Opcional) Insira uma descrição para diferenciar os cenários de negócios.

    Basic

    1. Acesse o console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Encontre o cluster que deseja gerenciar e clique no ID dele.

    2. No painel de navegação à esquerda, escolha Data Management > Lake Storages.

    3. Na aba Bucket Management, clique em Create Bucket.

    4. Na caixa de diálogo Create Bucket, configure os seguintes parâmetros e clique em OK.

      • Type: Selecione Basic.

      • Bucket Name: Gerado automaticamente pelo sistema. Não é necessário inserir um nome.

      • Bucket Description: (Opcional) Insira uma descrição para diferenciar os cenários de negócios.

      • Data Redundancy Type: Selecione Zone-Redundant Storage ou Locally Redundant Storage.

      Importante

      O nome do bucket é gerado automaticamente no formato adb-lake-<Region ID>-<Random String>. O nome é globalmente exclusivo e não pode ser alterado após a criação.

    5. (Opcional) Modifique a descrição do bucket.

      O nome do bucket é gerado automaticamente e não pode ser modificado. Recomendamos alterar a descrição do bucket para diferenciá-lo de outros usados em cenários de negócios distintos.

      1. Na coluna Bucket Description do bucket de destino, clique no ícone image.

      2. Na caixa de diálogo Edit Bucket Description, insira uma descrição e clique em OK.

    6. (Opcional) Adicione autorização.

      Na coluna Actions, clique em Add Authorization e escolha autorizar um usuário RAM ou uma função RAM.

      Nota

      • Somente leitura: Permite que os usuários visualizem os dados do lake storage, mas não os modifiquem ou excluam.

      • Leitura/gravação: Permite que os usuários leiam, gravem e modifiquem dados.

      • Somente uma conta Alibaba Cloud ou um usuário RAM com as permissões necessárias pode conceder permissões.

      • As alterações de permissão entram em vigor imediatamente. Confirme o escopo da autorização antes de prosseguir.

    Visualizar o endpoint de conexão

    Após criar um lake storage padrão, visualize o endpoint de conexão S3 no console. Use esse endpoint para configurar ferramentas compatíveis com S3, como AWS SDK e Spark/Flink S3A, e acessar o lake storage AFS.

    1. No painel de navegação à esquerda, escolha Data Management > Lake Storages.

    2. Na aba Bucket Management, localize o bucket padrão de destino e visualize o endpoint de conexão S3 na coluna Endpoint.

    Nota

    Esse endpoint é acessível apenas dentro da mesma VPC. Certifique-se de que suas ferramentas ou aplicações estejam implantadas na mesma VPC.

    O lake storage básico não é compatível com o protocolo S3. A coluna Endpoint exibe um hífen (-) para buckets básicos.

    Visualizar o volume de dados do lake storage

    1. No painel de navegação à esquerda, escolha Data Management > Lake Storages.

    2. Visualize o volume de dados na coluna Storage Usage do lake storage de destino.

      Importante

      Há um atraso na atualização do uso de armazenamento exibido para o lake storage. Portanto, o volume de dados atualizado pode não aparecer imediatamente após a gravação.

    Excluir um lake storage

    1. No painel de navegação à esquerda, escolha Data Management > Lake Storages.

    2. Na coluna Actions do lake storage de destino, clique em Delete.

    3. Na caixa de diálogo Delete, clique em OK.

      Importante

      Antes de excluir um lake storage, exclua todos os dados nele. Caso contrário, a exclusão falhará.

    Próximos passos

    Definir o formato de tabela padrão (apenas Spark SQL)

    Importante

    Este recurso se aplica apenas ao mecanismo Spark SQL.

    Defina um formato de tabela padrão no nível do banco de dados para que novas tabelas criadas nele usem automaticamente o formato especificado, sem a necessidade de declaração por tabela.

    1. No grupo de recursos de job Spark, no grupo de recursos interativo ou no job enviado, defina o seguinte parâmetro:

      spark.sql.adb.sources.extractProviderFromDBProperties.enabled true

    2. Ao criar um banco de dados, especifique DBPROPERTIES com 'storage.format' definido como um dos seguintes formatos: delta, iceberg, parquet ou orc. Exemplo:

      CREATE DATABASE IF NOT EXISTS db_storage_format 
LOCATION 'oss://path/to/db/' 
WITH DBPROPERTIES ('storage.format'='delta');

      Após a execução dessa instrução, as tabelas criadas no banco de dados db_storage_format terão o formato delta como padrão. Se você especificar explicitamente um formato de tabela com using ${tableFormat} ao criar uma tabela, o formato especificado terá precedência.

    Operações de tabela de data lake

    Com base no mecanismo e no formato de lake escolhidos, consulte a documentação correspondente para criar tabelas e executar operações de leitura e gravação: