Alibaba Cloud Service Mesh：Implementasikan Pembatasan Laju Token LLM Berdasarkan Header Permintaan

Informasi latar belakang

Prasyarat

• Anda telah menambahkan kluster ke instans ASM, dan instans ASM menggunakan versi 1.23 atau yang lebih baru.

• Anda telah membaca dan mengikuti Langkah 1 dan 2 dalam Perutean trafik: Gunakan ASM untuk mengelola trafik LLM secara efisien guna menerapkan LLMProvider dan sumber daya terkaitnya.

• Anda telah menerapkan layanan Redis di kluster atau secara lokal. Anda juga dapat menggunakan Tair (Redis OSS-compatible) untuk membuat instans Redis dengan cepat. Untuk informasi selengkapnya, lihat Ikhtisar Panduan Cepat.

Contoh

Contoh ini mengonfigurasi dua header permintaan dengan nama pengguna regular-user dan subscriber. Saat plug-in Wasm memproses permintaan, plug-in tersebut membaca header permintaan, mengekstrak kunci pembatasan laju, lalu mengirim kunci tersebut ke layanan pembatasan laju. Layanan pembatasan laju kemudian melakukan pengendalian aliran terhadap permintaan berdasarkan aturan pembatasan laju yang dikonfigurasi. Hal ini memungkinkan subscriber mengonsumsi lebih banyak token, sedangkan pengguna reguler hanya dapat mengonsumsi jumlah token yang kecil.

Langkah 1: Terapkan layanan pembatasan laju

1. Buat file bernama token-limit.yaml yang berisi konten berikut.

   Klik untuk melihat konten YAML

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: asm-llm-token-rate-limit-example
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: asm-llm-token-rate-limit-example
     labels:
       app: asm-llm-token-rate-limit-example
       service: asm-llm-token-rate-limit-example
   spec:
     ports:
     - name: http
       port: 80
       targetPort: 8080
     selector:
       app: asm-llm-token-rate-limit-example
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: asm-llm-token-rate-limit-example
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: asm-llm-token-rate-limit-example
         version: v1
     template:
       metadata:
         labels:
           app: asm-llm-token-rate-limit-example
           version: v1
         annotations:
           sidecar.istio.io/inject: "true"
       spec:
         tolerations:
         - key: "node.kubernetes.io/disk-pressure"
           operator: "Equal"
           value: ""
           effect: "NoSchedule"
         serviceAccountName: asm-llm-token-rate-limit-example
         containers:
         - image: registry-cn-hangzhou.ack.aliyuncs.com/acs/asm-wasm-token-rate-limit-example:v1.23.6.34-g92d6a4b-aliyun
           imagePullPolicy: IfNotPresent
           name: asm-llm-token-rate-limit-example
           ports:
           - containerPort: 8080
           env:
           - name: REDIS_ADDRESS
             value: ${redis-address}:${redis-port}
           - name: REDIS_PASSWORD
             value: "${redis-user}:${password}"
           - name: RATE_LIMIT_CONFIG
             value: |
               [
                 {
                   "rate_limit_key_regex": "regular-user.*",
                   "redis_expired_seconds": 300,
                   "fill_interval_second": 30,
                   "tokens_per_fill": 50,
                   "max_tokens": 200
                 },
                 {
                   "rate_limit_key_regex": "subscriber.*",
                   "redis_expired_seconds": 600,
                   "fill_interval_second": 60,
                   "tokens_per_fill": 100,
                   "max_tokens": 1.000
                 }
               ]
           resources:
             limits:
               memory: 256Mi
               cpu: 200m
             requests:
               memory: 64Mi
               cpu: 50m

   File YAML di atas mengonfigurasi variabel lingkungan RATE_LIMIT_CONFIG. Variabel ini berfungsi sebagai berikut:

   • Jika rate_limit_key_regex cocok dengan regular-user.* dalam header permintaan, aturan pembatasan laju berikut diterapkan: Catatan di Redis kedaluwarsa setelah 300 detik. Bucket token diisi ulang dengan 50 token setiap 30 detik. Kapasitas maksimum bucket token adalah 200 token.

   • Jika rate_limit_key_regex cocok dengan subscriber.* dalam header permintaan, aturan pembatasan laju berikut diterapkan: Catatan di Redis kedaluwarsa setelah 600 detik. Bucket token diisi ulang dengan 100 token setiap 60 detik. Kapasitas maksimum bucket token adalah 1.000 token.

2. Gunakan file kubeconfig kluster bidang data untuk menjalankan perintah berikut.

   kubectl apply -f token-limit.yaml

   ASM mendukung layanan pembatasan laju kustom dan menyediakan implementasi default yang menggunakan pencocokan tepat di Redis. Untuk informasi selengkapnya, lihat repositori kode. Jika Anda memiliki persyaratan kustom lainnya, Anda dapat mengembangkan layanan pembatasan laju berdasarkan contoh ini.

Langkah 2: Terapkan plug-in pembatasan laju

1. Buat file bernama wasm.yaml yang berisi konten berikut.

   apiVersion: extensions.istio.io/v1alpha1
   kind: WasmPlugin
   metadata:
     name: llm-token-ratelimit
     namespace: default
   spec:
     failStrategy: FAIL_OPEN
     imagePullPolicy: IfNotPresent
     selector:
       matchLabels:
         app: sleep
     match:
     - mode: CLIENT
       ports:
       - number: 80
     phase: STATS
     pluginConfig:
       matches:
       - host:
           exact: "dashscope.aliyuncs.com"
       rateLimitKeys:
       - "{{request.headers.user-type}}"
       rateLimitService:
         service: asm-llm-token-rate-limit-example.default.svc.cluster.local
         port: 80
     priority: 10
     url: registry-cn-hangzhou.ack.aliyuncs.com/acs/asm-wasm-llm-token-ratelimit:v1.23.6.34-g92d6a4b-aliyun

   Tabel berikut menjelaskan beberapa item konfigurasi.

   Item konfigurasi	Deskripsi
   .spec.pluginConfig.matches	Mencocokkan permintaan yang akan diterapkan logika pembatasan lajunya. Permintaan yang tidak cocok diizinkan untuk dilewatkan.
   .spec.pluginConfig.rateLimitKeys	Aturan untuk menghasilkan kunci pembatasan laju. Untuk informasi selengkapnya, lihat Attributes. Pada contoh ini, nilainya adalah {{request.headers.user-type}}.
   .spec.pluginConfig.rateLimitService	Informasi tentang layanan pembatasan laju. Anda harus menentukan nama lengkap (FQDN) dari Service tersebut.

2. Gunakan file kubeconfig kluster lapisan kontrol untuk menjalankan perintah berikut.

   kubectl apply -f wasm.yaml

Langkah 3: Uji fitur

Gunakan file kubeconfig kluster bidang data untuk menjalankan perintah berikut beberapa kali sebagai regular-user dan subscriber.

kubectl exec deployment/sleep -it -- curl 'http://dashscope.aliyuncs.com' \
--header 'Content-Type: application/json' \
--header "user-type: regular-user" \
--data '{
    "messages": [
        {"role": "user", "content": "Please introduce yourself"}
    ]
}'

kubectl exec deployment/sleep -it -- curl 'http://dashscope.aliyuncs.com' \
--header 'Content-Type: application/json' \
--header "user-type: subscriber" \
--data '{
    "messages": [
        {"role": "user", "content": "Silakan perkenalkan diri Anda"}
    ]
}'

Output yang diharapkan:

{"choices":[{"message":{"role":"assistant","content":"I am a large language model from Alibaba Cloud. My name is Tongyi Qianwen. I am a super-large language model that can answer questions, create text, express opinions, and write code. My knowledge comes from text on the Internet. After multiple iterations and optimizations, my capabilities have continuously improved. I can now answer questions on various topics, such as technology, culture, history, and entertainment, and can also engage in continuous conversations. If you have any questions or need help, feel free to let me know, and I will do my best to provide support."},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":10,"completion_tokens":95,"total_tokens":105},"created":1735103573,"system_fingerprint":null,"model":"qwen1.5-72b-chat","id":"chatcmpl-7de0bd64-341a-9196-b676-99b5644ec111"}%
regular-user is being rate-limited

{"choices":[{"message":{"role":"assistant","content":"I am a large language model from Alibaba Cloud. My name is Tongyi Qianwen. I am a super-large language model that can answer questions, create text, express opinions, and write code. My knowledge comes from text on the Internet. After multiple iterations and optimizations, my capabilities have continuously improved. I can now answer questions on various topics, such as technology, culture, history, and entertainment, and can also engage in continuous conversations. If you have any questions or need help, feel free to let me know, and I will do my best to provide support."},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":10,"completion_tokens":95,"total_tokens":105},"created":1735103890,"system_fingerprint":null,"model":"qwen1.5-72b-chat","id":"chatcmpl-1b284b71-f850-95f5-9a7e-12678812763c"}%
{"choices":[{"message":{"role":"assistant","content":"I am a large language model from Alibaba Cloud. My name is Tongyi Qianwen. I am a super-large language model that can answer questions, create text, express opinions, and write code. My knowledge comes from the massive text data of Alibaba Cloud, including various books, documents, web pages, and papers, which is intended to enable me to understand and answer various topics. If you have any questions or need help, feel free to let me know, and I will do my best to provide support."},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion","usage":{"prompt_tokens":10,"completion_tokens":81,"total_tokens":91},"created":1735103895,"system_fingerprint":null,"model":"qwen1.5-72b-chat","id":"chatcmpl-0d29d820-c9c5-9e94-9a5a-d054233ed35a"}
subscriber is being rate-limited