AnalyticDB:Lake cache

Pré-requisitos

Crie um cluster do AnalyticDB for MySQL Enterprise Edition, Basic Edition ou Data Lakehouse Edition.

Visão geral

Como funciona

O lake cache opera da seguinte forma:

1. O cliente do lake cache encaminha solicitações de leitura de dados do OSS para o acelerador do lake cache. Em seguida, o cliente se conecta a um nó mestre do lake cache para solicitar metadados de arquivo.

2. O nó mestre do lake cache retorna os metadados do arquivo ao cliente do lake cache.

3. Com base nos metadados, o cliente do lake cache envia uma solicitação a um worker do lake cache para recuperar dados do OSS:

   • Se o arquivo alvo estiver no espaço de cache do worker do lake cache, o sistema retornará o arquivo diretamente ao cliente.

   • Caso o arquivo alvo não esteja no espaço de cache, o acelerador do lake cache recupera o arquivo do OSS. O acelerador então retorna o arquivo ao cliente e o armazena em cache para solicitações futuras.

Faturamento

O espaço do lake cache é cobrado com base no pagamento conforme o uso. Para mais informações, consulte Preços para Enterprise Edition e Basic Edition e Preços para Data Lakehouse Edition.

Observações de uso

• O lake cache está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), Singapura, EUA (Silicon Valley), EUA (Virginia) e Indonésia (Jakarta).

  Importante

  Caso deseje usar o recurso lake cache em outras regiões, envie um ticket.

• Se ocorrer uma falha de hardware no cache, as consultas de dados continuarão sendo executadas sem interrupções ou erros, embora o desempenho possa diminuir. Os dados em cache são recarregados do OSS e a velocidade da consulta é restaurada após a conclusão do processo.

• Quando o espaço de cache configurado atinge a capacidade máxima, o acelerador substitui arquivos acessados com menos frequência por aqueles acessados com mais frequência, seguindo a política de evicção de cache. Para evitar que arquivos sejam removidos, aumente o espaço de cache.

Ative o lake cache

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que você deseja gerenciar e clique no ID do cluster.

2. Acesse a página Cluster Information. Na seção Configuration Information, clique em Configure ao lado de Lake Cache.

3. Na caixa de diálogo Lake Cache, ative a chave Lake Cache e configure as Disk Cache Settings.

4. Clique em OK.

Usar o lake cache

Depois de habilitar o lake cache, ao ler dados do OSS, acelere as leituras de dados do OSS configurando o parâmetro spark.adb.lakecache.enabled na configuração do seu job Spark. Veja um exemplo abaixo:

-- This is an example of using lake cache. Modify the code to run your Spark program.
SET spark.adb.lakecache.enabled=true;

-- Add your SQL statements here.
SHOW databases;

{
  "comments": [
    "-- This is an example of using lake cache. Modify the code to run your Spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

Monitorar o lake cache

Após habilitar o lake cache, utilize o console do CloudMonitor para verificar se suas aplicações Spark estão usando o cache e visualizar métricas como volume de leitura de dados. Para isso, execute os seguintes passos:

1. Faça login no console do Cloud Monitor.

2. No painel de navegação à esquerda, escolha Cloud Resource Monitoring > Cloud Service Monitoring.

3. Passe o mouse sobre o cartão AnalyticDB for MySQL e clique em AnalyticDB for MySQL 3.0 - Data Lakehouse Edition.

4. Localize o cluster desejado e clique em Monitoring Charts na coluna Actions.

5. Clique na aba LakeCache Metrics para visualizar os detalhes.

   A tabela a seguir descreve as métricas de monitoramento.

   Métrica	Descrição
   LakeCache Cache Hit Ratio (%)	Percentual de solicitações de leitura atendidas pelo cache. Fórmula: (Acertos no Cache / Total de Solicitações de Leitura) × 100%.
   LakeCache Cache Usage (B)	Quantidade de espaço de cache utilizado, em bytes.
   Total Data Read from LakeCache (B)	Quantidade total de dados lidos do espaço de cache, em bytes.