Optimalkan kapasitas akselerator OSS menggunakan heatmap cache - Object Storage Service

Tingkat hit cache saja tidak cukup untuk menilai apakah kapasitas cache akselerator OSS sesuai, terutama ketika tingkat hit cache lebih rendah dari yang diharapkan atau saat Anda mempertimbangkan pengurangan kapasitas. Heatmap cache menampilkan distribusi akses dan ruang data yang di-cache, sehingga membantu Anda menentukan apakah perlu menyesuaikan kapasitas cache akselerator tersebut.

Catatan

Pemantauan heatmap cache berada dalam pratinjau undangan. Untuk menggunakan fitur ini, submit a ticket untuk meminta akses.

Ikhtisar fitur

Untuk menentukan apakah kapasitas cache akselerator perlu disesuaikan, tinjau informasi berikut secara bersamaan:

OSS accelerator cache hit rate (tingkat hit cache): menunjukkan efektivitas akselerasi oleh cache saat ini.
OSS accelerator cache space utilization (utilisasi ruang): persentase kapasitas total yang digunakan oleh setiap segmen seg dalam heatmap cache.
Heatmap cache: menampilkan distribusi trafik akses dalam rentang waktu yang dipilih dan snapshot distribusi ruang data yang di-cache pada waktu kueri. Informasi ini menjelaskan alasan di balik tingkat hit cache yang tinggi atau rendah.

Tingkat hit cache mengukur efektivitas akselerasi, heatmap cache menggambarkan pola akses, dan utilisasi ruang menunjukkan persentase ruang cache yang ditempati oleh setiap segmen seg. Ketiganya bersama-sama membantu Anda menilai kesesuaian kapasitas cache saat ini:

Ketika tingkat hit cache rendah: Jika sebagian kecil data yang di-cache menerima sebagian besar trafik akses, beban kerja memiliki hotspot akses yang jelas, dan peningkatan kapasitas berpotensi meningkatkan tingkat hit cache. Namun, jika distribusi trafik akses mirip dengan distribusi penggunaan ruang, beban kerja umumnya didominasi oleh akses acak. Evaluasi manfaatnya sebelum menambah kapasitas.
Ketika tingkat hit cache tetap tinggi: Periksa utilisasi ruang serta trafik akses dan penggunaan ruang data yang paling jarang diakses untuk menentukan apakah kapasitas dapat dikurangi. Gunakan hubungan terukur antara kapasitas cache dan tingkat hit cache untuk menilai dampak pengurangan kapasitas.

Untuk informasi tentang cara mengakses dan mengkueri heatmap cache di Konsol, lihat Monitor accelerators.

Deskripsi grafik

Di halaman pemantauan akselerator OSS, Anda dapat melihat heatmap cache pada kartu Cache Heatmap Monitoring.

Sumbu horizontal merepresentasikan urutan terakhir data di-cache diakses, bukan waktu kronologis. Dari kiri ke kanan, data berubah dari yang paling baru diakses ke yang paling jarang diakses. Berdasarkan urutan ini, sistem membagi merata data yang di-cache menjadi 10 segmen, dari seg 0~9 hingga seg 90~99:

seg 0~9 berada di paling kiri grafik dan merepresentasikan data yang paling baru diakses.
seg 90~99 berada di paling kanan grafik dan merepresentasikan data yang paling jarang diakses.

Dokumen ini menyebut urutan akses sebagai usia relatif. Usia relatif berubah seiring aktivitas akses cache berlanjut. Ini bukan waktu pembuatan objek maupun durasi objek disimpan dalam cache, dan tidak dapat dikonversi menjadi jumlah menit atau jam tertentu. Misalnya, data dalam seg 90~99 mungkin hanya tidak diakses selama beberapa menit pada instans sibuk dengan QPS tinggi, tetapi selama beberapa jam pada instans yang tidak aktif. Usia relatif hanya menunjukkan urutan akses data yang di-cache dalam grafik saat ini. Jangan langsung membandingkan seg yang sama di periode waktu berbeda pada instans yang sama atau di instans berbeda, atau mengartikannya sebagai rentang waktu yang sama.

Setelah cache akselerator OSS penuh, data yang paling jarang diakses akan dievict terlebih dahulu ketika data baru perlu di-cache. Oleh karena itu, dokumen ini menyebut seg 80~99 sebagai zona persiapan eviction. Banner di bagian atas Konsol menyingkat istilah ini menjadi eviction zone.

Kartu Cache Heatmap Monitoring berisi elemen-elemen berikut.

Elemen kartu	Deskripsi	Jenis nilai
Time range	Menentukan periode pengumpulan trafik akses.	Mempengaruhi rasio trafik akses. Rasio penggunaan ruang tetap berupa snapshot titik waktu.
Eviction zone banner	Menampilkan rasio agregat akses dan ruang untuk zona persiapan eviction (`seg 80~99`).	Statistik utama untuk rentang waktu yang dipilih.
Access traffic ratio (grafik batang)	Distribusi permintaan akses di antara segmen `seg` dalam rentang waktu yang dipilih. Batang yang lebih tinggi menunjukkan bahwa data dalam segmen tersebut dibaca lebih sering.	Nilai inkremental yang merepresentasikan akses yang dihasilkan dalam rentang waktu yang dipilih.
Space usage ratio (grafik garis)	Ruang cache yang digunakan oleh segmen `seg` sebagai persentase dari kapasitas cache akselerator OSS.	Nilai snapshot yang merepresentasikan distribusi data yang di-cache saat ini di antara segmen `seg`.

Untuk membantu Anda menilai seberapa sering data yang di-cache diakses, dokumen ini mengelompokkan 10 segmen seg ke dalam empat zona berikut.

Zona	Rentang	Deskripsi	Pola khas
Active zone	`seg 0~9`	Data panas yang paling baru diakses. Data ini memberikan kontribusi terbesar terhadap tingkat hit cache.	Trafik akses biasanya terkonsentrasi di zona ini.
Warm zone	`seg 10~49`	Data yang digunakan kembali sampai batas tertentu dan perlahan-lahan menjadi dingin.	Zona ini menempati sebagian ruang, dan trafik akses menurun di sepanjang segmennya.
Cold zone	`seg 50~79`	Data yang belum diakses dalam waktu yang relatif lama.	Rasio penggunaan ruang rendah.
Eviction preparation zone	`seg 80~99`	Data paling dingin, yang akan dievict terlebih dahulu.	Wajar jika zona ini menempati ruang meskipun hampir tidak menerima trafik akses. Jika rasio ruang mendekati 0, data mungkin dievict sebelum menjadi dingin.

Konsol menandai zona persiapan eviction dengan latar belakang kuning muda. Active zone, warm zone, dan cold zone adalah istilah yang digunakan dalam dokumen ini untuk memudahkan analisis. Grafik Konsol tidak menampilkan label untuk zona-zona tersebut.

Pada IOPS yang sangat tinggi, sistem mungkin membuang sebagian data panas akses, tetapi proporsi relatif dan tren keseluruhan di antara segmen seg tetap konsisten. Hal ini tidak memengaruhi keputusan untuk menambah atau mengurangi kapasitas. Untuk melihat trafik akses absolut, gunakan metrik QPS atau bandwidth.

Menyesuaikan kapasitas cache

Pertama, gunakan tabel berikut untuk mengidentifikasi pola grafik, lalu periksa contoh yang sesuai. Jangan menyesuaikan kapasitas cache akselerator hanya berdasarkan heatmap. Dapatkan tingkat hit cache dari metrik Hit Rate dalam pemantauan akselerator, dan dapatkan rasio akses serta ruang zona persiapan eviction dari heatmap cache.

Setelah Anda menentukan bahwa kapasitas cache perlu disesuaikan, lihat Create, modify, and delete an OSS accelerator untuk mengubah kapasitas cache akselerator OSS.

Pola grafik	Cache Hit Rate	Rasio ruang di zona persiapan eviction	Rasio Akses di zona persiapan eviksi	Penilaian dan rekomendasi
Trafik akses terkonsentrasi di segmen awal, dan zona persiapan eviction masih menyisakan ruang	Lebih dari 95%	Lebih dari 10%	Kurang dari 5%	Kapasitas cache mungkin lebih besar dari yang diperlukan. Setelah menyisihkan margin keamanan berdasarkan utilisasi ruang, Anda dapat mengurangi kapasitas dalam jumlah moderat.
Baik trafik akses maupun penggunaan ruang terkonsentrasi di segmen awal	Kurang dari 80%	Mendekati 0%	Mendekati 0%	Kapasitas cache mungkin tidak mencukupi. Tambah kapasitas secara bertahap.
Rasio trafik akses dan rasio penggunaan ruang mirip di setiap segmen	Nilai apa pun	Mirip dengan distribusi trafik akses	Mirip dengan distribusi penggunaan ruang	Beban kerja didominasi oleh akses acak. Evaluasi biaya dan manfaat penambahan kapasitas sebelum memutuskan apakah akan menyesuaikan kapasitas cache.

Jika tingkat hit cache berada di antara 80% dan 95%, jangan menarik kesimpulan hanya berdasarkan ambang batas tersebut. Pertimbangkan target tingkat hit cache Anda, pola grafik, utilisasi ruang, dan bandwidth origin secara bersamaan.

Tingkat hit cache tinggi: Evaluasi pengurangan kapasitas

Karakteristik: Trafik akses terkonsentrasi di active zone (seg 0~9) dan warm zone (seg 10~49), dan zona persiapan eviction (seg 80~99) menempati sebagian ruang tetapi menerima sedikit trafik akses. Tingkat hit cache juga tinggi. Hal ini menunjukkan bahwa cache telah mulai meng-evict data yang lebih dingin dan tingkat hit cache mendekati batas atas untuk pola akses saat ini.

Data contoh:

seg                  0~9  10~19  20~29  30~39  40~49  50~59  60~69  70~79  80~89  90~99
Access traffic ratio  62%    18%     8%     5%     3%     2%     1%     1%     0%     0%
Space usage ratio     16%    19%    13%    10%     8%     5%     4%     3%     1%     21%

Banner: Eviction zone access ratio: 0%; space ratio: 22%

Rekomendasi: Anda tidak perlu menambah kapasitas. Untuk mengurangi biaya, pertimbangkan mengurangi kapasitas secara bertahap jika tingkat hit cache lebih dari 95%, rasio ruang zona persiapan eviction lebih dari 10%, dan rasio aksesnya kurang dari 5%. Pada contoh ini, rasio ruang zona persiapan eviction adalah 22% dan rasio aksesnya kurang dari 5%. Anda dapat mempertimbangkan mengurangi kapasitas sebesar 5% hingga 10%. Setelah pengurangan, periksa kembali heatmap cache dan tingkat hit cache sebelum memutuskan apakah akan mengurangi kapasitas lebih lanjut.

Tingkat hit cache rendah: Evaluasi penambahan kapasitas

Karakteristik: Baik rasio trafik akses maupun rasio penggunaan ruang terkonsentrasi di bagian awal grafik (seg 0~19), dan zona persiapan eviction (seg 80~99) memiliki rasio ruang dan akses mendekati 0%. Tingkat hit cache juga rendah. Hal ini menunjukkan bahwa data hanya berada dalam cache dalam waktu singkat dan data panas mungkin berulang kali diambil dari origin dan ditulis kembali ke cache.

Data contoh:

seg                  0~9  10~19  20~29  30~39  40~49  50~59  60~69  70~79  80~89  90~99
Access traffic ratio  88%    10%     2%     0%     0%     0%     0%     0%     0%     0%
Space usage ratio     58%    34%     8%     0%     0%     0%     0%     0%     0%     0%

Banner: Eviction zone access ratio: 0%; space ratio: 0%

Rekomendasi: Tambah kapasitas cache akselerator secara bertahap. Setelah setiap penambahan, tunggu minimal 1 jam sebelum mengamati data. Jika penambahan kapasitas efektif, seg 20~49 di warm zone, yang sebelumnya tidak berisi data, akan menampilkan penggunaan ruang dan trafik akses, serta tingkat hit cache meningkat.

Akses acak: Evaluasi manfaat

Karakteristik: Rasio trafik akses dan rasio penggunaan ruang setiap segmen seg hampir sama, dan kedua deret data hampir tumpang tindih. Tingkat hit cache berubah secara kira-kira linear dengan kapasitas cache. Hal ini biasanya menunjukkan pembacaan acak skala besar tanpa perbedaan jelas antara data panas dan dingin dalam cache.

Data contoh:

seg                  0~9  10~19  20~29  30~39  40~49  50~59  60~69  70~79  80~89  90~99
Access traffic ratio  30%    20%    14%    11%     8%     6%     5%     3%     2%     1%
Space usage ratio     30%    19%    14%    11%     8%     6%     5%     4%     2%     1%

Dalam pengujian baca acak, tingkat hit cache adalah 49,3% ketika kapasitas cache sebesar 1/2 volume data dan 19,9% ketika kapasitas cache sebesar 1/5 volume data. Sebagai perbandingan, dengan kapasitas cache yang sama yaitu 1/2 volume data, tingkat hit cache mencapai 86,9% di bawah pola akses 80/20.

Pola akses 80/20 berarti 80% akses mengarah ke 20% data.

Rekomendasi: Menambah kapasitas dapat meningkatkan tingkat hit cache, tetapi biaya dan manfaat memiliki hubungan kira-kira linear, tanpa titik jelas pengembalian yang menurun.

Rekomendasi

Pilih periode waktu representatif. Evaluasi kapasitas cache selama periode sibuk harian untuk mencegah data di luar jam sibuk meremehkan kebutuhan kapasitas. Untuk beban kerja dengan puncak harian atau mingguan yang jelas, seperti pekerjaan batch malam hari, amati periode puncak dan di luar puncak secara terpisah.
Amati beberapa siklus berturut-turut. Satu sampel atau periode observasi singkat dapat dipengaruhi fluktuasi sementara. Amati beberapa siklus bisnis berturut-turut minimal selama 6 jam, dan hindari penyesuaian kapasitas cache yang sering selama periode observasi.
Kurangi kapasitas secara bertahap. Kurangi kapasitas cache secara bertahap berdasarkan kapasitas tersedia yang ditunjukkan oleh utilisasi ruang. Setelah setiap pengurangan, periksa kembali heatmap cache dan tingkat hit cache. Sebelum melanjutkan, pastikan active zone (seg 0~9) tidak terkompresi dan zona persiapan eviction (seg 80~99) tidak kosong.
Kalibrasi level kapasitas elastis secara terpisah. Untuk skenario skalabilitas elastis seperti menambah kapasitas pada malam hari dan menguranginya di siang hari, gunakan heatmap dari periode puncak dan di luar puncak untuk mengkalibrasi dua level kapasitas cache secara terpisah.
Periksa metrik pemantauan secara bersamaan. Gunakan heatmap cache untuk menjelaskan perubahan tingkat hit cache, dan gunakan tingkat hit cache serta bandwidth origin untuk memverifikasi hasil penyesuaian. Jika metrik menghasilkan kesimpulan yang tidak konsisten, pertama-tama periksa apakah pola akses beban kerja baru-baru ini berubah.

FAQ

Apakah utilisasi ruang cache akselerator OSS 100% berarti saya harus menambah kapasitas cache?

Tidak. Akselerator OSS menggunakan kebijakan penggantian least recently used (LRU) dan mulai meng-evict data hanya setelah cache-nya penuh. Jika total volume data melebihi kapasitas cache, utilisasi ruang mencapai 100%. Tingkat hit cache rendah yang dikombinasikan dengan rasio ruang mendekati 0% di zona persiapan eviction menunjukkan kapasitas cache tidak mencukupi.

Apakah tidak normal jika zona persiapan eviction menempati ruang tetapi tidak menerima trafik akses?

Tidak. Zona persiapan eviction menyimpan data dingin yang akan digantikan oleh data baru. Wajar jika zona ini menempati ruang meskipun hampir tidak menerima trafik akses. Jika rasio ruang zona ini mendekati 0, data mungkin dievict sebelum menjadi dingin. Gunakan tingkat hit cache untuk menentukan apakah perlu menambah kapasitas.

Berapa banyak tingkat hit cache berkurang setelah saya mengurangi kapasitas cache?

Pertama, periksa kapasitas cache tersedia yang ditunjukkan oleh utilisasi ruang, lalu rujuk hubungan terukur antara kapasitas cache dan tingkat hit cache. Untuk beban kerja dengan lokalitas akses, pengujian pola akses 80/20 menunjukkan bahwa mengurangi separuh kapasitas cache menurunkan tingkat hit cache dari 98,0% menjadi 86,9%, penurunan sekitar 11 poin persentase. Untuk baca acak, tingkat hit cache berubah kira-kira linear dengan rasio kapasitas cache. Mengurangi kapasitas menyebabkan penurunan tingkat hit cache yang kira-kira proporsional. Kurangi kapasitas secara bertahap, dan periksa kembali tingkat hit cache serta heatmap cache setelah setiap penyesuaian.

Mengapa hampir semua trafik akses terkonsentrasi di seg 0~9?

Dua situasi mungkin terjadi. Gunakan distribusi ruang untuk membedakannya. Pertama, lokalitas akses mungkin kuat dan cache bekerja dengan baik. Dalam kasus ini, segmen-segmen akhir masih memiliki distribusi ruang normal dan tingkat hit cache tinggi. Kedua, kapasitas mungkin sangat tidak mencukupi dan data cepat dievict. Dalam kasus ini, rasio ruang zona eviction juga mendekati 0 dan tingkat hit cache rendah. Situasi kedua memerlukan penambahan kapasitas. Bandingkan skenario High cache hit rate: Evaluate a capacity reduction dan Low cache hit rate: Evaluate a capacity increase.

Seberapa sering saya harus memeriksa heatmap cache?

Saat mengevaluasi kapasitas cache, kumpulkan sampel dengan interval tingkat menit selama jam bisnis puncak dan amati beberapa siklus bisnis. Untuk pemeriksaan rutin, periksa grafik setiap hari atau minggu untuk perubahan struktural. Perubahan signifikan pada pola grafik biasanya menunjukkan bahwa pola akses beban kerja telah berubah.