API Gateway:Cache

Konsep cache semantik

Manfaat

• Sistem cache mode ganda: Memberikan fleksibilitas untuk memilih antara dua mode cache dan menyesuaikan ambang batas pencocokan secara dinamis berdasarkan kebutuhan bisnis Anda.

  1. Precise cache: Berbasis arsitektur penyimpanan kunci-nilai Redis, mode ini memberikan respons tingkat milidetik untuk permintaan identik.

  2. Semantic cache: Menggunakan database vektor DashVector (bagian dari Vector Retrieval Service Alibaba Cloud) untuk mencocokkan permintaan yang memiliki kemiripan semantik secara cerdas. Ambang batas kemiripan dapat disesuaikan, mengatasi keterbatasan pencocokan string tradisional.

• Mengurangi komputasi berulang: Untuk permintaan AI identik, sistem langsung mengembalikan data dari cache, menghindari panggilan LLM berulang.

• Performa lebih baik: Dengan mengambil hasil secara cepat dari cache, AI Gateway secara signifikan mengurangi waktu respons dan beban pada server backend. Cache semantik memungkinkan respons "tingkat maksud", sangat meningkatkan kepuasan dan pengalaman pengguna.

• Cakupan skenario diperluas: Mendukung skenario standar seperti sistem layanan pelanggan dan kueri basis pengetahuan, serta varian instruksi bahasa alami seperti "cuaca besok" dan "prakiraan cuaca untuk 24 jam ke depan".

• Pemantauan log: Memungkinkan Anda menganalisis metrik rasio hit cache.

Prosedur

1. Masuk ke Konsol AI Gateway dan pilih Instance. Di bilah menu atas, pilih Wilayah, lalu klik ID instans target.

2. Di panel navigasi kiri, pilih Model API, lalu klik nama API target untuk membuka halaman API Details.

3. Klik Policies and Plug-ins, aktifkan sakelar Cache, dan konfigurasikan parameter.

   AI Gateway telah meningkatkan kemampuan caching-nya untuk mendukung Semantic dan Exact Match. Pilih mode cache yang sesuai berdasarkan Perbandingan strategi.

   Semantic cache

   Penting

   Jika permintaan menyertakan header x-higress-skip-ai-cache: on, permintaan tersebut melewati cache. Permintaan diteruskan langsung ke layanan backend, dan responsnya tidak di-cache.

   • Cache Key Strategy: Pilih opsi default, Latest Query Only, atau pilih Integrate Historical Queries sesuai kebutuhan Anda.

   • Konfigurasi Vektorisasi Teks:

     • AI Service: Pilih layanan AI yang sudah ada. Jika Anda belum memiliki layanan AI, klik Create Service untuk membuatnya.

     • Model Name: Pilih nama model yang ingin Anda gunakan.

     • Timeout Period: Atur periode timeout. Nilai default adalah 5.000 ms.

   • Konfigurasi Database Vektor:

     • Service Provider: Jika Anda belum mengaktifkan DashVector, klik Go to Console untuk membuka halaman aktivasi layanan. Anda perlu . Catat nama koleksi untuk digunakan nanti.

       Penting

       Saat membuat koleksi, pilih Cosine sebagai metrik jarak, dan pastikan dimensi vektor sesuai dengan model text embedding. Untuk mengetahui dimensi output vektor model text embedding di platform Model Studio, lihat Text and Multimodal Embeddings.

     • Service URL: Masukkan titik akhir layanan DashVector Anda.

     • Collection Name: Masukkan nama koleksi yang telah Anda buat.

     • API Key: Kredensial akses. Untuk informasi selengkapnya, lihat Manage API keys.

     • Vector Similarity Threshold: Nilai ini menentukan seberapa ketat kueri dicocokkan dengan konten yang di-cache. Rentang nilainya dari 0 hingga 1, dengan nilai yang direkomendasikan 0,8 atau 0,9. Nilai yang lebih tinggi menunjukkan kemiripan semantik yang lebih besar. Untuk informasi selengkapnya, lihat Konfigurasi ambang batas kemiripan vektor.

     • Timeout Period: Atur periode timeout. Nilai default adalah 3.000 ms.

   Precise cache

   Penting

   • Buka Konsol Redis dan tambahkan Blok CIDR VPC dari instans gateway ke daftar putih.

   • Jika permintaan menyertakan header x-higress-skip-ai-cache: on, permintaan tersebut melewati cache. Permintaan diteruskan langsung ke layanan backend, dan responsnya tidak di-cache.

   • Cache Key Strategy: Pilih opsi default, Latest Query Only, atau pilih Integrate Historical Queries sesuai kebutuhan Anda.

   • Konfigurasi Cache Redis:

     • Redis service URL: Masukkan URL layanan Redis Anda.

     • Port Number: Masukkan nomor port Anda.

     • Access Method: Pilih metode akses ke layanan Redis. Opsi yang tersedia adalah Account+Password, Password-only, dan Password-free.

     • Database Account: Jika Anda memilih metode akses Account+Password, masukkan akun database.

     • Database Password: Jika Anda memilih metode akses yang memerlukan password, masukkan password database.

     • Database No.: Nomor database yang ditentukan.

     • Duration (seconds): Durasi cache default adalah 1.800 detik. Selama periode ini, jika API menerima permintaan AI identik, LLM tidak dipanggil, dan respons dari cache dikembalikan langsung.

4. Konfirmasi konfigurasi dan klik Save.

Konfigurasi ambang batas kemiripan vektor

Rasio hit cache

Anda dapat mengkueri rasio hit cache di tingkat gateway menggunakan pernyataan pencarian berikut:

cluster_id:{your-gatewayId} and inner-ai-cache-{your-gatewayId} | SELECT 
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) AS hit_count,
SUM(CASE WHEN content LIKE '%cache miss for key%' OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END) AS miss_count,
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) * 100.0 / 
NULLIF(SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' OR content LIKE '%cache miss for key%' 
           OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END), 0) AS hit_rate

• Ganti {your-gatewayId} dengan ID instans gateway Anda. Perhatikan bahwa Anda harus mempertahankan awalan gw- untuk penggantian pertama, tetapi tidak untuk yang kedua. Jika Anda mengakses sistem kueri log plug-in dari tombol sakelar cache, kotak kueri secara otomatis berisi filter cluster_id. Dalam hal ini, Anda hanya perlu menempelkan sisa pernyataan kueri setelah filter tersebut. Di halaman Monitoring (AI Cache), klik View Logs untuk membuka halaman kueri log. Sumber log adalah apig-plugin-log. Masukkan pernyataan kueri di atas ke dalam bilah kueri dan jalankan.

• Kueri mengembalikan rasio hit cache.

  Misalnya, hasilnya mungkin menunjukkan bahwa hit_count (cache hit) adalah 7, miss_count (cache miss) adalah 6, dan hit_rate (rasio hit) sekitar 53,85%.

Contoh

• Saat precise cache diaktifkan, hanya kueri identik yang dicocokkan. Misalnya, jika pengguna mengirim kueri "Siapa kamu?" dan tidak dilayani dari cache, model mengonsumsi token seperti biasa (input tokens: 127, output tokens: 40). Jika kueri yang sama mengenai precise cache (ditandai dengan from-cache), baik input maupun output token bernilai 0, dan hasil cache dikembalikan langsung. Hal ini secara signifikan mengurangi konsumsi token.

• Saat semantic cache diaktifkan, kueri yang memiliki kemiripan semantik juga dapat dicocokkan. Kueri dengan kemiripan semantik di bawah ambang batas tidak akan dicocokkan.

  Saat terjadi cache hit semantik, respons cache digunakan kembali untuk pertanyaan serupa. Baik input maupun output token bernilai 0, sehingga tidak mengonsumsi sumber daya inferensi model.

  Misalnya, jika pengguna bertanya Di mana paket saya bisa dikirim hari ini?, dan kueri ini berbeda secara signifikan dalam semantik dari pertanyaan yang di-cache, terjadi cache miss. Model qwen-max kemudian menghasilkan respons dan mengonsumsi token seperti biasa.