AnalyticDB:Lake cache

Ön koşullar

Bir AnalyticDB for MySQL Enterprise Edition, Basic Edition veya Data Lakehouse Edition kümeniz olmalıdır.

Genel bakış

Çalışma mantığı

Lake cache şu şekilde çalışır:

1. Lake cache istemcisi, OSS verilerine yönelik okuma isteklerini lake cache hızlandırıcısına iletir. İstemci daha sonra dosya meta verilerini istemek üzere bir lake cache master düğümüne bağlanır.

2. Lake cache master düğümü, dosya meta verilerini lake cache istemcisine döndürür.

3. Meta verilere dayanarak lake cache istemcisi, OSS verilerini almak için bir lake cache worker'a istek gönderir:

   • Hedef dosya lake cache worker'ın önbellek alanında bulunuyorsa dosya doğrudan istemciye döndürülür.

   • Hedef dosya önbellek alanında yoksa lake cache hızlandırıcısı dosyayı OSS üzerinden alır. Hızlandırıcı daha sonra dosyayı istemciye döndürür ve gelecekteki istekler için önbelleğe kaydeder.

Faturalandırma

Lake cache alanı kullandıkça öde modeliyle faturalandırılır. Daha fazla bilgi için bkz. Enterprise Edition ve Basic Edition fiyatlandırması ve Data Lakehouse Edition fiyatlandırması.

Kullanım notları

• Lake cache yalnızca aşağıdaki bölgelerde kullanılabilir: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Zhangjiakou), Çin (Shenzhen), Singapur, ABD (Silikon Vadisi), ABD (Virginia) ve Endonezya (Cakarta).

  Önemli

  Lake cache özelliğini diğer bölgelerde kullanmak istiyorsanız bir destek kaydı açın.

• Bir önbellek donanım arızası oluşursa performans düşebilir ancak veri sorguları kesinti veya hata olmadan çalışmaya devam eder. Önbelleğe alınan veriler OSS'ten yeniden yüklenir ve işlem tamamlandığında sorgu hızı geri kazanılır.

• Yapılandırılan önbellek alanı dolduğunda hızlandırıcı, önbellekten çıkarma ilkesine dayanarak daha az sık erişilen dosyaların yerine daha sık erişilen dosyaları koyar. Dosyaların önbellekten çıkarılmasını önlemek için önbellek alanını artırın.

Lake cache'i etkinleştirin

1. AnalyticDB for MySQL konsoluna giriş yapın. Konsolun sol üst köşesinde bir bölge seçin. Sol gezinme bölmesinde Clusters seçeneğine tıklayın. Yönetmek istediğiniz kümeyi bulun ve küme kimliğine tıklayın.

2. Cluster Information sayfasına gidin. Configuration Information bölümünde Lake Cache yanındaki Configure seçeneğine tıklayın.

3. Lake Cache iletişim kutusunda Lake Cache anahtarını açın ve Disk Cache Settings parametrelerini yapılandırın.

4. OK seçeneğine tıklayın.

Lake cache'i kullanın

Lake cache'i etkinleştirdikten sonra OSS verilerini okurken Spark iş yapılandırmanızda spark.adb.lakecache.enabled parametresini yapılandırarak OSS veri okuma işlemlerini hızlandırabilirsiniz. Aşağıda bir örnek verilmiştir:

-- This is an example of using lake cache. Modify the code to run your Spark program.
SET spark.adb.lakecache.enabled=true;

-- Add your SQL statements here.
SHOW databases;

{
  "comments": [
    "-- This is an example of using lake cache. Modify the code to run your Spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

Lake cache'i izleyin

Lake cache'i etkinleştirdikten sonra CloudMonitor konsolunu kullanarak Spark uygulamalarınızın önbelleği kullandığını doğrulayabilir ve okunan veri miktarı gibi ölçümleri görüntüleyebilirsiniz. Bunun için aşağıdaki adımları uygulayın:

1. Cloud Monitor konsoluna giriş yapın.

2. Sol gezinme bölmesinde Cloud Resource Monitoring > Cloud Service Monitoring seçeneğini belirleyin.

3. AnalyticDB for MySQL kartının üzerine gelin ve AnalyticDB for MySQL 3.0 - Data Lakehouse Edition seçeneğine tıklayın.

4. Hedef kümeyi bulun ve Actions sütunundaki Monitoring Charts seçeneğine tıklayın.

5. Ayrıntıları görüntülemek için LakeCache Metrics sekmesine tıklayın.

   Aşağıdaki tabloda izleme ölçümleri açıklanmaktadır.

   Ölçüm	Açıklama
   LakeCache Cache Hit Ratio (%)	Önbellek tarafından karşılanan okuma isteklerinin yüzdesi. Formül: (Önbellek İsabetleri / Toplam Okuma İstekleri) × %100.
   LakeCache Cache Usage (B)	Kullanılan önbellek alanı miktarı (bayt cinsinden).
   Total Data Read from LakeCache (B)	Önbellek alanından okunan toplam veri miktarı (bayt cinsinden).