AnalyticDB:Lake Cache (LakeCache)

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse

Cara kerja

Saat pekerjaan Spark membaca dari OSS dengan Lake Cache diaktifkan:

1. Klien Lake Cache meneruskan permintaan baca ke node master untuk mengambil metadata objek.

2. Node master mengembalikan metadata tersebut ke klien.

3. Klien menggunakan metadata tersebut untuk meminta objek aktual dari node pekerja.

   • Jika objek tersebut sudah tersimpan dalam cache pada node pekerja, objek tersebut langsung dikembalikan.

   • Jika tidak, objek tersebut diambil dari OSS, dikembalikan ke klien, dan disimpan dalam cache untuk pembacaan selanjutnya.

Konsistensi data dipertahankan secara otomatis: ketika objek OSS diperbarui, Lake Cache mendeteksi perubahan tersebut dan menyegarkan cache. Kueri selalu membaca data terbaru.

Performa

Penagihan

Setelah Anda mengaktifkan Lake Cache, Anda akan dikenai biaya atas ruang cache yang digunakan berdasarkan model bayar sesuai penggunaan. Untuk detail harga, lihat Harga untuk Edisi Perusahaan dan Edisi Dasar serta Harga untuk Edisi Data Lakehouse.

Batasan

• Lake Cache tersedia di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Singapura, AS (Virginia), dan Indonesia (Jakarta). Untuk menggunakan Lake Cache di wilayah lain, submit a ticket.

• Jika terjadi gangguan perangkat keras pada node cache, kueri tetap berjalan tetapi mungkin melambat saat data diambil ulang dari OSS. Performa pulih secara otomatis setelah cache diisi ulang.

• Saat cache mencapai batas ukurannya, objek yang jarang diakses akan diganti oleh objek yang lebih sering diakses. Tingkatkan ukuran cache untuk mencegah penggantian tersebut.

Aktifkan lake cache

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters.

2. Di tab Enterprise Edition, Basic Edition, atau Data Lakehouse Edition, temukan kluster dan klik ID kluster tersebut.

3. Di halaman Cluster Information, buka bagian Configuration Information dan klik Configure di samping Lake Cache.

4. Di kotak dialog Lake Cache, aktifkan Lake Cache dan tentukan ukuran cache. Jika terjadi error saat menentukan ukuran cache, submit a ticket.

5. Klik OK.

Setelah mengaktifkan Lake Cache, buka kembali kotak dialog Lake Cache untuk mengonfirmasi ukuran cache yang telah dikonfigurasi.

Gunakan lake cache dalam pekerjaan Spark

Setelah mengaktifkan Lake Cache, atur parameter spark.adb.lakecache.enabled ke true dalam pekerjaan Spark Anda untuk mengaktifkan akselerasi baca OSS.

-- Aktifkan lake cache untuk sesi ini
SET spark.adb.lakecache.enabled=true;

-- Jalankan kueri Anda
SHOW databases;

{
  "comments": [
    "Aktifkan lake cache untuk akselerasi baca OSS."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

Monitor lake cache

Setelah mengaktifkan Lake Cache, periksa apakah pekerjaan Spark Anda menggunakan cache dan tinjau metrik penggunaannya di CloudMonitor.

1. Masuk ke Konsol CloudMonitor.

2. Di panel navigasi sebelah kiri, pilih Cloud Resource Monitoring > Cloud Service Monitoring.

3. Arahkan kursor ke kartu AnalyticDB for MySQL dan klik AnalyticDB for mysql 3.0 - Data Lakehouse Edition.

4. Temukan kluster dan klik Monitoring Charts di kolom Actions.

5. Klik tab LakeCache Metrics untuk melihat detail cache.

Metrik berikut tersedia:

Jika rasio hit cache rendah meskipun kueri berulang dilakukan terhadap data yang sama, pertimbangkan untuk menambah ukuran cache agar lebih banyak objek dapat disimpan antar pembacaan.