AnalyticDB:Lake cache

Pré-requisitos

Um cluster do AnalyticDB for MySQL Enterprise Edition, Basic Edition ou Data Lakehouse Edition deve estar criado.

Visão geral

Como funciona

O lake cache funciona da seguinte maneira:

1. O cliente do lake cache encaminha solicitações de leitura de dados do OSS para o acelerador do lake cache. Em seguida, o cliente se conecta a um nó mestre do lake cache para solicitar metadados de arquivo.

2. O nó mestre do lake cache retorna os metadados do arquivo ao cliente do lake cache.

3. Com base nos metadados, o cliente do lake cache envia uma solicitação a um worker do lake cache para recuperar dados do OSS:

   • Se o arquivo de destino estiver no espaço de cache do worker do lake cache, o arquivo será retornado diretamente ao cliente.

   • Caso o arquivo de destino não esteja no espaço de cache, o acelerador do lake cache recupera o arquivo do OSS. O acelerador então retorna o arquivo ao cliente e o armazena em cache para solicitações futuras.

Faturamento

O espaço do lake cache é cobrado com base no pagamento conforme o uso. Para mais informações, consulte {{XREF_1}} e {{XREF_2}}.

Observações de uso

• O lake cache está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), Singapore, US (Silicon Valley), US (Virginia) e Indonesia (Jakarta).

  Importante

  Se você desejar usar o recurso lake cache em outras regiões, envie um ticket.

• Em caso de falha de hardware do cache, as consultas de dados continuam a ser executadas sem interrupções ou erros, embora o desempenho possa diminuir. Os dados em cache são recarregados do OSS e a velocidade da consulta é restaurada após a conclusão do processo.

• Quando o espaço de cache configurado está cheio, o acelerador substitui arquivos acessados com menos frequência por arquivos acessados com mais frequência, seguindo a política de evicção de cache. Para evitar que arquivos sejam removidos, aumente o espaço de cache.

Habilitar o lake cache

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que deseja gerenciar e clique no ID do cluster.

2. Acesse a página Cluster Information. Na seção Configuration Information, clique em Configure ao lado de Lake Cache.

3. Na caixa de diálogo Lake Cache, ative a chave Lake Cache e configure as Disk Cache Settings.

4. Clique em OK.

Usar o lake cache

Após habilitar o lake cache, ao ler dados do OSS, é possível acelerar a leitura de dados do OSS configurando o parâmetro spark.adb.lakecache.enabled na configuração do seu job Spark. Veja um exemplo abaixo:

-- This is an example of using lake cache. Modify the code to run your Spark program.
SET spark.adb.lakecache.enabled=true;

-- Add your SQL statements here.
SHOW databases;

{
  "comments": [
    "-- This is an example of using lake cache. Modify the code to run your Spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

Monitorar o lake cache

Após habilitar o lake cache, utilize o console do CloudMonitor para verificar se suas aplicações Spark estão usando o cache e visualizar métricas como volume de dados lidos. Para isso, execute as etapas a seguir:

1. Faça login no console do Cloud Monitor.

2. No painel de navegação à esquerda, escolha Cloud Resource Monitoring > Cloud Service Monitoring.

3. Passe o mouse sobre o cartão AnalyticDB for MySQL e clique em AnalyticDB for MySQL 3.0 - Data Lakehouse Edition.

4. Localize o cluster de destino e clique em Monitoring Charts na coluna Actions.

5. Clique na aba LakeCache Metrics para visualizar os detalhes.

   A tabela a seguir descreve as métricas de monitoramento.

   Métrica	Descrição
   LakeCache Cache Hit Ratio (%)	A porcentagem de solicitações de leitura atendidas pelo cache. Fórmula: (Acertos de Cache / Total de Solicitações de Leitura) × 100%.
   LakeCache Cache Usage (B)	A quantidade de espaço de cache utilizado, em bytes.
   Total Data Read from LakeCache (B)	A quantidade total de dados lidos do espaço de cache, em bytes.