API Gateway：Cache

Konsep utama cache semantik

Untuk membantu Anda lebih memahami mekanisme caching semantik, bagian berikut menjelaskan konsep-konsep utamanya:

Fitur dan manfaat

• Sistem cache mode ganda: Anda dapat memilih antara dua jenis cache dan menyesuaikan ambang batas pencocokan secara dinamis sesuai kebutuhan.

  1. Precise Cache: Berbasis arsitektur penyimpanan kunci-nilai Redis, memberikan respons tingkat milidetik untuk permintaan identik.

  2. Semantic Cache: Menggunakan database vektor DashVector (Vector Retrieval Service Alibaba Cloud) untuk mencocokkan permintaan yang secara semantik mirip secara cerdas. Ambang batas kemiripan dapat disesuaikan. Hal ini mengatasi keterbatasan pencocokan string tradisional.

• Mengurangi komputasi berulang: Untuk permintaan AI yang identik, data respons dari cache dikembalikan langsung, sehingga menghindari pemanggilan berulang ke model bahasa besar.

• Peningkatan kinerja: Dengan mengambil hasil secara cepat dari cache, waktu respons dan beban pada server backend berkurang secara signifikan. Cache semantik memungkinkan respons berbasis maksud, yang secara signifikan meningkatkan kepuasan dan pengalaman pengguna.

• Cakupan skenario yang diperluas: Cocok untuk skenario standar, seperti sistem layanan pelanggan dan kueri basis pengetahuan, serta mendukung pemrosesan varian instruksi bahasa alami, seperti 'cuaca besok' dan 'prakiraan cuaca untuk 24 jam ke depan'.

• Pemantauan Log: Menyediakan analisis metrik rasio hit cache.

Prosedur

2. Di panel navigasi sebelah kiri, klik LLM API. Lalu, klik nama API untuk membuka halaman detail API.

3. Klik Policies and Plug-ins, aktifkan sakelar Cache, dan konfigurasikan parameter-parameter tersebut.

   AI Gateway telah meningkatkan kemampuan caching-nya untuk mendukung Semantic Cache dan Precise Cache. Pilih metode cache yang sesuai berdasarkan Perbandingan kebijakan.

   Semantic cache

   Penting

   Jika suatu permintaan berisi header permintaan x-higress-skip-ai-cache: on, permintaan tersebut melewati cache. Permintaan diteruskan langsung ke layanan backend, dan tanggapannya tidak di-cache.

   

   • Cache Key Generation Policy: Pilih opsi default, Use Only The Latest Question, atau pilih Integrate Historical Questions sesuai kebutuhan Anda.

   • Text Embedding Configuration:

     • AI Service: Pilih layanan AI yang telah Anda buat. Jika Anda belum memiliki layanan AI, klik Create Service untuk membuatnya.

     • Model Name: Pilih nama model yang ingin Anda gunakan.

     • Timeout: Tetapkan periode timeout. Nilai default adalah 5000 ms.

   • Vector Database Configuration:

     • Service Provider Type: Jika Anda belum mengaktifkan DashVector (Vector Retrieval Service), klik Go to console untuk membuka halaman aktivasi layanan. Ikuti langkah-langkah berikut: Create a cluster > Create an API key > Create a collection. Catat nama koleksi untuk digunakan nanti.

       Penting

       Saat membuat koleksi, pilih Cosine sebagai ukuran jarak. Dimensi vektor harus sesuai dengan dimensi model text embedding. Untuk informasi lebih lanjut mengenai dimensi vektor keluaran model text embedding di platform Alibaba Cloud Model Studio, lihat General-purpose text embeddings.

     • Endpoint: Masukkan endpoint DashVector Anda.

     • Collection Name: Masukkan nama koleksi yang telah Anda buat.

     • API Key: Kredensial akses. Untuk informasi selengkapnya, lihat Manage API keys.

     • Vector Similarity Threshold: Nilai ini menentukan seberapa ketat kueri dicocokkan dengan konten yang di-cache. Nilainya berkisar antara 0 hingga 1. Nilai 0,8 atau 0,9 direkomendasikan. Nilai yang lebih besar menunjukkan kemiripan semantik yang lebih tinggi. Untuk informasi selengkapnya, lihat Vector similarity threshold configuration guide.

     • Timeout: Tetapkan periode timeout. Nilai default adalah 3000 ms.

   Precise cache

   Penting

   • Di Konsol Redis, tambahkan blok CIDR VPC dari instans gateway ke daftar putih.

   • Jika suatu permintaan berisi header permintaan x-higress-skip-ai-cache: on, permintaan tersebut melewati cache. Permintaan diteruskan langsung ke layanan backend, dan tanggapannya tidak di-cache.

   

   • Cache Key Generation Policy: Pilih Use Only The Latest Question (default) atau Integrate Historical Questions sesuai kebutuhan.

   • Redis Cache Configuration:

     • Redis Endpoint: Masukkan endpoint Redis Anda.

     • Port: Masukkan nomor port Anda.

     • Access Method: Pilih metode untuk mengakses layanan Redis. Opsi yang tersedia adalah Log On With An Account And Password, Log On With A Password, dan Log On Without A Password.

     • Database Account: Masukkan akun database jika Anda masuk menggunakan akun dan kata sandi.

     • Database Password: Jika Anda memilih autentikasi berbasis kata sandi, Anda harus memasukkan kata sandi database.

     • Database Number: Nomor database.

     • Cache Duration (seconds): Durasi cache default adalah 1800 detik. Selama periode ini, jika API menerima permintaan AI yang identik, LLM tidak dipanggil, dan respons dari cache dikembalikan langsung.

4. Konfirmasi konfigurasi dan klik Save.

Panduan konfigurasi ambang batas kemiripan vektor

Rasio hit cache

Pernyataan pencarian contoh berikut menunjukkan cara mengkueri rasio hit cache di tingkat gateway:

cluster_id:{your-gatewayId} and inner-ai-cache-{your-gatewayId} | SELECT 
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) AS hit_count,
SUM(CASE WHEN content LIKE '%cache miss for key%' OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END) AS miss_count,
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) * 100.0 / 
NULLIF(SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' OR content LIKE '%cache miss for key%' 
           OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END), 0) AS hit_rate

• Ganti {your-gatewayId} dengan ID instans gateway Anda. Perhatikan bahwa placeholder pertama memerlukan awalan gw-, sedangkan yang kedua tidak. Jika Anda membuka halaman kueri log dari pengaturan cache, `cluster_id` sudah otomatis disertakan. Dalam hal ini, Anda hanya perlu menempelkan sisa pernyataan pencarian.

• Hasil kueri menunjukkan rasio hit cache.

  

Contoh

• Saat Precise Cache diaktifkan, hanya kueri identik yang dicocokkan:

• Saat Semantic Cache diaktifkan, kueri yang secara semantik mirip juga dapat dicocokkan. Jika kemiripan semantik lebih rendah dari ambang batas, kecocokan tidak ditemukan: