AnalyticDB:Lake cache

Prérequis

Un cluster Enterprise Edition, Basic Edition ou Data Lakehouse Edition AnalyticDB for MySQL est créé.

Vue d'ensemble

Fonctionnement

Le fonctionnement de lake cache est le suivant :

1. Le client lake cache transfère les demandes de lecture des données OSS vers l'accélérateur lake cache. Le client se connecte ensuite à un nœud maître lake cache pour demander les métadonnées du fichier.

2. Le nœud maître lake cache renvoie les métadonnées du fichier au client lake cache.

3. Sur la base des métadonnées, le client lake cache envoie une demande à un worker lake cache pour récupérer les données OSS :

   • Si le fichier cible se trouve dans l'espace de cache du worker lake cache, le fichier est renvoyé directement au client.

   • Si le fichier cible ne se trouve pas dans l'espace de cache, l'accélérateur lake cache récupère le fichier depuis OSS. L'accélérateur renvoie ensuite le fichier au client et le met en cache pour les futures demandes.

Facturation

L'espace lake cache est facturé selon le modèle paiement à l'utilisation. Pour plus d'informations, consultez les rubriques Tarification de Enterprise Edition et Basic Edition et Tarification de Data Lakehouse Edition.

Remarques d'utilisation

• lake cache est disponible uniquement dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Zhangjiakou), Chine (Shenzhen), Singapour, États-Unis (Silicon Valley), États-Unis (Virginie) et Indonésie (Jakarta).

  Important

  Si vous souhaitez utiliser la fonctionnalité lake cache dans d'autres régions, soumettez un ticket.

• En cas de défaillance matérielle du cache, les requêtes de données continuent de s'exécuter sans interruption ni erreur, bien que les performances puissent se dégrader. Les données mises en cache sont rechargées depuis OSS et la vitesse des requêtes est rétablie une fois le processus terminé.

• Lorsque l'espace de cache configuré est plein, l'accélérateur remplace les fichiers moins fréquemment consultés par des fichiers plus fréquemment consultés, conformément à la politique d'éviction du cache. Pour éviter l'éviction des fichiers, augmentez la taille de l'espace de cache.

Activer lake cache

1. Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche de la console, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters. Recherchez le cluster que vous souhaitez gérer et cliquez sur son ID.

2. Accédez à la page Cluster Information. Dans la section Configuration Information, cliquez sur Configure à côté de Lake Cache.

3. Dans la boîte de dialogue Lake Cache, activez l'interrupteur Lake Cache et configurez les paramètres Disk Cache Settings.

4. Cliquez sur OK.

Utiliser lake cache

Une fois lake cache activé, lors de la lecture des données OSS, vous pouvez accélérer la lecture des données OSS en configurant le paramètre spark.adb.lakecache.enabled dans la configuration de votre job Spark. Voici un exemple :

-- This is an example of using lake cache. Modify the code to run your Spark program.
SET spark.adb.lakecache.enabled=true;

-- Add your SQL statements here.
SHOW databases;

{
  "comments": [
    "-- This is an example of using lake cache. Modify the code to run your Spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

Surveiller lake cache

Après avoir activé lake cache, vous pouvez utiliser la console CloudMonitor pour vérifier que vos applications Spark utilisent le cache et pour consulter des métriques telles que le volume de données lues. Pour ce faire, procédez comme suit :

1. Connectez-vous à la console Cloud Monitor.

2. Dans le volet de navigation de gauche, choisissez Cloud Resource Monitoring > Cloud Service Monitoring.

3. Placez le curseur sur la carte AnalyticDB for MySQL et cliquez sur AnalyticDB for MySQL 3.0 - Data Lakehouse Edition.

4. Recherchez le cluster cible et cliquez sur Monitoring Charts dans la colonne Actions.

5. Cliquez sur l'onglet LakeCache Metrics pour afficher les détails.

   Le tableau suivant décrit les métriques de surveillance.

   Métrique	Description
   LakeCache Cache Hit Ratio (%)	Pourcentage de demandes de lecture satisfaites par le cache. Formule : (Hits du cache / Total des demandes de lecture) × 100 %.
   LakeCache Cache Usage (B)	Quantité d'espace de cache utilisée, en octets.
   Total Data Read from LakeCache (B)	Volume total de données lues depuis l'espace de cache, en octets.