Server Load Balancer:Fallback layanan AI

1. Buat instans ALB Extensible Edition

1. Masuk ke Konsol ALB, pilih wilayah Tiongkok (Ulanqab), lalu klik Create ALB.

2. Pada halaman pembelian, lengkapi konfigurasi berikut dan klik Create Now.

   • Region: Pilih China (Ulanqab).

   • Instance network type: Pilih Internet.

   • VPC dan Availability zone: Pilih VPC target. Lalu, centang kotak untuk Ulanqab Zone A dan Ulanqab Zone B, pilih vSwitch yang sesuai untuk masing-masing, dan pilih Assign EIP.

   • IP version: Pilih IPv4.

   • Edition (instance fee): Pilih Extensible Edition.

3. Pada halaman Confirm Order, tinjau detail konfigurasi instans dan klik Activate Now.

2. Buat kelompok server AI

Buat tiga kelompok server bertipe layanan AI untuk DeepSeek, OpenAI, dan Model Studio (Bailian). Untuk mendemonstrasikan fallback, kelompok server DeepSeek dan OpenAI merujuk kredensial identitas yang berisi Kunci API salah sehingga permintaan ke mereka gagal dan memicu mekanisme fallback.

3. Buat pendengar

1. Di Konsol ALB, klik ID instans target Anda untuk membuka halaman Instance Details. Pada tab Listener, klik Create Listener.

2. Pada langkah Configure Listener, atur Listener Protocol ke HTTPS dan Listener Port ke 443. Lalu, klik Next.

3. Pada langkah Configure SSL Certificate, pilih Sertifikat server yang sesuai dengan domain kustom Anda dan klik Next.

4. Pada langkah Select Server Group, pilih tipe AI Service dan kelompok server sgp-fake-deepseek. Lalu, klik Next.

   Kelompok server yang dipilih di sini digunakan untuk aturan default pendengar, yang memproses permintaan yang tidak sesuai dengan aturan pengalihan lainnya. Anda dapat menyesuaikannya sesuai kebutuhan.

5. Pada langkah Configuration Review, konfirmasi konfigurasi dan klik Submit.

4. Konfigurasi aturan pengalihan

ALB mengevaluasi aturan pengalihan berdasarkan urutan prioritas naik. Setelah permintaan sesuai dengan suatu aturan, ALB menjalankan aksi aturan tersebut dan melewati aturan sisanya.

1. Pada tab Listener halaman detail instans, klik ID pendengar target Anda. Pada halaman Listener Details, beralih ke tab Forwarding Rules.

2. Klik Add New Rule, lengkapi konfigurasi berikut, lalu klik OK.

   1. Add Condition: Pilih AI Model dan masukkan deepseek-chat untuk Model Name.

   2. Action: Forward To kelompok server sgp-fake-deepseek.

   3. Add Action: Konfigurasi Fallback ke kelompok server sgp-fake-openai dan masukkan gpt-3.5 untuk Model Name di sebelah kanan.

   4. Di bagian Fallback, klik Add Server Group. Pilih kelompok server sgp-bailian dan masukkan qwen-turbo untuk Model Name di sebelah kanan.

Kondisi AI Model mencocokkan semua permintaan yang menggunakan protokol kompatibel OpenAI, memiliki path permintaan /v1/completions, /v1/chat/completions, atau /v1/embeddings. Jika Anda menentukan Model Name, bidang model dalam badan permintaan juga harus sesuai dengan nama yang ditentukan.

Saat Anda mengonfigurasi nama model untuk aksi fallback, ALB secara otomatis menulis ulang bidang model dalam badan permintaan ke nama yang ditentukan selama fallback. Hal ini memastikan badan permintaan sesuai dengan model yang diharapkan oleh layanan target.

5. Siapkan resolusi DNS

Buat Rekaman CNAME yang mengarahkan domain kustom Anda ke nama DNS instans ALB, sehingga klien dapat mengakses ALB melalui domain Anda.

Panduan ini menggunakan Alibaba Cloud DNS sebagai contoh. Jika domain Anda tidak didaftarkan di Alibaba Cloud, tambahkan domain tersebut ke Konsol DNS Alibaba Cloud terlebih dahulu.

1. Di Konsol ALB, salin Domain Name instans target Anda.

2. Masuk ke Konsol DNS Alibaba Cloud. Di kolom Actions untuk domain target Anda, klik Settings. Pada halaman Settings, klik Add Record.

3. Tambahkan Rekaman CNAME dengan informasi berikut dan klik OK.

   • Record Type: Pilih CNAME.

   • Hostname: Masukkan awalan domain, seperti ai. Jika domain root Anda adalah example.com, domain lengkap untuk mengakses ALB akan menjadi ai.example.com.

   • Query Source dan TTL: Pertahankan pengaturan default.

   • Record Value: Masukkan nama DNS instans ALB.

4. Di kotak dialog Change Resource Record Confirmation, tinjau informasi DNS dan klik OK.

6. Uji dan verifikasi

• Gunakan perintah curl untuk memverifikasi bahwa permintaan melakukan fallback ke layanan model besar yang benar. Ganti ai.example.com dengan domain yang Anda konfigurasi. Pastikan Rekaman DNS telah tersebar.

• Permintaan klien harus menggunakan protokol kompatibel OpenAI. Path permintaan harus berupa /v1/completions, /v1/chat/completions, atau /v1/embeddings, dan badan permintaan harus menyertakan bidang model. ALB menggunakan nilai model untuk routing.

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user",
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

Permintaan yang berhasil mengembalikan tanggapan berikut. Karena sgp-fake-deepseek dan sgp-fake-openai menggunakan Kunci API salah, ALB menerima respons gagal dan melakukan fallback secara berurutan, akhirnya meneruskan permintaan ke sgp-bailian. Tanggapan menunjukkan model sebagai qwen-turbo dan content berisi perkenalan dari Qwen, yang mengonfirmasi bahwa permintaan melakukan fallback ke Model Studio (Bailian) dan nama model ditulis ulang menjadi qwen-turbo.

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large language model from Alibaba's Tongyi Lab. I can answer questions, create text, use logical reasoning, and write code. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

Penagihan

• ALB Extensible Edition: Fitur ini saat ini berada dalam beta publik dan dapat digunakan secara gratis.

• Biaya akses Internet: Gateway NAT mengenakan biaya instans dan biaya Unit kapasitas (CU). Alamat IP Elastis (EIP) yang terikat ke Gateway NAT dan instans ALB Extensible Edition memiliki aturan penagihan terpisah, yang dikenakan oleh layanan EIP.

• Biaya domain dan DNS: Selain biaya pendaftaran domain, konfigurasi resolusi DNS dengan Alibaba Cloud mengenakan biaya DNS otoritatif publik.

• Biaya sertifikat: Pembelian sertifikat dari Alibaba Cloud atau pengunggahan sertifikat pihak ketiga mengenakan biaya Sertifikat server.

• Biaya Model Studio: Pemanggilan API model bahasa besar Model Studio mengenakan biaya penggunaan.

Batasan

• Fallback didukung untuk tipe kelompok server berikut: Server, IP Address, Function Compute, FQDN, dan AI Service. Tipe kelompok server ini dapat digunakan sebagai target untuk aksi Forward To maupun Fallback.

• Jika Anda mengonfigurasi fallback ke kelompok server non-AI Service, pastikan kelompok server tersebut menyediakan layanan model yang kompatibel dengan protokol OpenAI.

• Secara default, Anda dapat mengonfigurasi hingga lima layanan fallback untuk satu aturan pengalihan. Untuk menambah kuota ini, kirimkan Tiket.

• Kondisi pemicu fallback (kode status HTTP 4xx atau 5xx) bersifat tetap dan tidak dapat dikustomisasi.

Wilayah ALB Extensible Edition

Rekomendasi

• Rencanakan urutan fallback: ALB menjalankan aksi fallback sesuai urutan konfigurasinya. Rencanakan prioritas setiap layanan fallback berdasarkan ketersediaan model, biaya, dan latensi respons.

• Pastikan konsistensi model: Format output dan kemampuan bervariasi antar penyedia model. Pilih model dengan kemampuan serupa untuk setiap layanan fallback guna meminimalkan dampak terhadap logika bisnis Anda selama fallback.

FAQ