Buat instans AI Gateway - API Gateway - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara membuat instans AI Gateway.

Prosedur

Masuk ke Konsol AI Gateway.
Pada panel navigasi di sebelah kiri, pilih Instance. Di bilah menu atas, pilih wilayah.

Klik Create Instance. Pada halaman pembelian AI Gateway, konfigurasikan pengaturan yang diperlukan, lalu klik Buy Now.

Configuration Item	Description
Product Type	Didukung Dedicated Instance (Pay-as-you-go), Dedicated Instance (Subscription), dan Serverless (Pay-as-you-go). Untuk detail penagihan jenis-jenis tersebut, lihat Billing Overview.
Region	Pilih region untuk gateway Anda. Penting Anda tidak dapat mengubah wilayah setelah resource dibuat.
GatewayName	Masukkan nama kustom untuk gateway Anda. Kami menyarankan menggunakan nama lingkungan atau kombinasi nama lingkungan dan domain bisnis, seperti test atau order-prod. Nama dapat terdiri dari maksimal 64 karakter.
GatewaySpec	Pilih spesifikasi node sesuai kebutuhan Anda. Untuk detail kapasitas berbagai spesifikasi gateway, lihat Gateway Types. Instans Serverless tidak memiliki spesifikasi gateway.
resource	Pilih kelompok sumber daya default atau yang sudah ada. Untuk membuat kelompok sumber daya baru, klik Create Resource Group. Catatan Gunakan kelompok sumber daya untuk mengkategorikan dan mengelola resource di bawah Akun Alibaba Cloud Anda. Hal ini memungkinkan Anda mengelola izin, men-deploy resource, dan memantau resource berdasarkan kelompok alih-alih menangani setiap resource secara individual.
Network Type	Didukung tiga jenis akses: Public Network, Private Network, dan Internet + Private Network. Internet: Mengakses gateway melalui Internet akan dikenai biaya transfer data. Trafik Internet ditagih melalui Cloud Data Transfer (CDT) menggunakan mode Border Gateway Protocol (BGP) (multi-line). Untuk informasi lebih lanjut, lihat Internet Traffic. Private Network: Tidak dikenai biaya transfer data. Internet + Private Network: Mengakses gateway melalui Internet akan dikenai biaya transfer data yang ditagih melalui CDT menggunakan mode BGP (multi-line). Mengakses melalui jaringan pribadi tidak dikenai biaya transfer data.
VPC	Pilih VPC tempat instans gateway dijalankan. Untuk membuat VPC baru, buka Konsol Manajemen VPC. Catatan VPC gateway harus sesuai dengan VPC layanan backend Anda.
Zone Selection	Pilih Automatic Allocation atau Manual Selection. Automatic Allocation: Pilih satu vSwitch. Sistem akan secara otomatis mengalokasikan dua zona untuk men-deploy node gateway. Manual Selection: Pilih secara manual zona dan vSwitch untuk men-deploy node gateway.
vSwitch	Pilih vSwitch tempat instans gateway dijalankan. Untuk membuat vSwitch baru, buka Konsol Manajemen VPC.
Simple Log Service	Pilih Use Simple Log Service (SLS) untuk mengaktifkan SLS dan mengaktifkan pengiriman log guna analisis log dan dasbor. Untuk informasi lebih lanjut, lihat Enable Gateway Log Delivery.
Service-linked Role	Dibuat secara otomatis. Peran ini memungkinkan AI Gateway mengakses layanan Alibaba Cloud lainnya.

Pada halaman Confirm Order, tinjau konfigurasi AI Gateway Anda dan klik Buy Now.

Catatan
Pembuatan instans gateway memerlukan waktu 1 hingga 5 menit.
Kembali ke halaman Instance AI Gateway. Verifikasi bahwa informasi gateway benar dan Status adalah Running. Hal ini menunjukkan bahwa gateway berhasil dibuat.

Fitur Lanjutan

Saat membuat instans gateway, jika Anda ingin menggunakan data log untuk pemantauan dan analisis atau mengompres muatan permintaan dan respons guna mengurangi trafik, ikuti petunjuk berikut. Perhatikan bahwa akselerasi perangkat keras Gzip hanya dapat diaktifkan saat pembuatan gateway—tidak dapat diaktifkan setelahnya. Layanan log tidak memiliki batasan semacam ini.

Aktifkan Akselerasi Perangkat Keras Gzip

Akselerasi perangkat keras Gzip menggunakan perangkat keras khusus untuk mengompres dan mendekompres data secara cepat. Dengan memindahkan tugas dekompresi Gzip dari CPU ke perangkat keras khusus, fitur ini secara signifikan meningkatkan efisiensi pemrosesan dan mengurangi beban CPU.

Catatan

Instans Serverless tidak mendukung akselerasi perangkat keras Gzip.

Prosedur

Pada halaman pembelian AI Gateway, lengkapi konfigurasi berikut sebelum mengklik Buy Now:
- Region: Akselerasi perangkat keras Gzip tersedia di Hangzhou, Beijing, Shanghai, Shenzhen, Ulanqab, China (Hong Kong), dan Singapura.
  
  Beberapa zona dalam wilayah yang didukung mungkin tidak mendukung fitur ini. Lihat halaman pembelian produk untuk ketersediaan terbaru.
- GatewaySpec: Pilih spesifikasi aigw.medium.x1 atau lebih tinggi.
- Gzip Hardware Acceleration: Centang untuk mengaktifkan akselerasi perangkat keras Gzip.
- Available Zone: Pilih zona yang didukung akselerasi perangkat keras Gzip dan pilih vSwitch.
Setelah instans dibuat, klik ID atau nama instans. Di panel navigasi sebelah kiri, klik Parameters. Di bagian Gateway Engine Parameters, edit parameter EnableGzipHardwareAccelerate.

Catatan
Jika Anda tidak memilih Enable Gzip Hardware Acceleration saat pembelian, Anda tidak dapat mengaktifkan pengaturan ini nanti.
Setelah mengaktifkan fitur ini, pastikan klien Anda dapat menangani data terkompresi Gzip. Klien yang didukung harus menyertakan Accept-Encoding: gzip dalam header permintaan.

Referensi Performa

Berapa banyak trafik yang dapat dihemat oleh kompresi Gzip dibandingkan dengan trafik tanpa kompresi?

Rasio kompresi—rasio ukuran data terkompresi terhadap ukuran data asli—sangat bergantung pada jenis data tersebut. Rasio yang lebih rendah menunjukkan kompresi lebih efektif, sedangkan rasio yang lebih tinggi berarti kompresi kurang efektif.

Secara umum, Gzip paling efektif pada data dengan pola atau struktur berulang, seperti teks yang terdiri atas huruf, kata, dan tanda baca, sehingga menghasilkan rasio kompresi yang lebih rendah. Sebaliknya, data yang sangat acak atau berentropi tinggi—seperti gambar, video, atau file yang sudah dikompresi—memiliki redundansi internal yang rendah, sehingga menghasilkan rasio kompresi yang lebih tinggi dan penghematan terbatas.

Karena perbedaan karakteristik bisnis, pelanggan mengalami rasio kompresi Gzip yang bervariasi. Berdasarkan statistik dari wilayah inti tempat Gzip diaktifkan, sebagian besar instans mencapai rasio kompresi antara 10% hingga 50%. Artinya, pengguna biasanya menghemat lebih dari 50% trafik mereka setelah mengaktifkan Gzip.

Dengan Gzip sudah diaktifkan, berapa banyak resource instans yang dapat dihemat oleh akselerasi perangkat keras?

Mengaktifkan akselerasi perangkat keras Gzip menggunakan perangkat keras khusus untuk kompresi, sehingga mengurangi penggunaan CPU. Data uji stres berikut membandingkan konsumsi CPU antara instans node tunggal dengan akselerasi perangkat keras Gzip dan instans empat node yang menggunakan Gzip berbasis perangkat lunak, keduanya menangani QPS yang sama.

Sebagai contoh, data terkompresi adalah muatan JSON sekitar 120 KB:

QPS	Hardware-accelerated Gzip / aigw.medium.x1 / Single-node CPU Usage	Software Gzip / aigw.medium.x1 / 4-node CPU Usage
2000	9%	11%
5000	26%	28%
10000	56%	56%
13000	69%	72%

Tabel tersebut menunjukkan bahwa penggunaan CPU untuk Gzip berakselerasi perangkat keras pada node tunggal hampir sama dengan Gzip berbasis perangkat lunak pada empat node. Artinya, Anda dapat menangani beban kerja yang sama dengan satu node alih-alih empat, sehingga menghemat sekitar 75% resource instans.

Aktifkan Pengiriman Log Gateway

Untuk mengumpulkan, menyimpan, dan menganalisis log operasional dari gateway Anda, aktifkan Simple Log Service (SLS) saat pembuatan instans gateway guna mendukung analisis log dan pemantauan melalui dasbor.

Saat membuat instans gateway, pilih Use Simple Log Service (SLS). Sistem akan mengaktifkan SLS dan mengaktifkan pengiriman log gateway.

Setelah pengiriman log diaktifkan, buka Observability > Log Center untuk melihat log gateway.

Deskripsi Field Log

Field	Type	Description
__time__	long	Waktu saat log dihasilkan.
cluster_id	string	ID instans AI Gateway.
ai_log	json	Objek JSON yang berisi field log untuk Model API, Agent API, dan MCP API. Field ini kosong untuk jenis API lainnya. api: Nama AI API. cache_status: Menunjukkan apakah permintaan terlayani dari cache saat caching konten diaktifkan untuk Model API. consumer: Identitas konsumen. Field ini diisi saat autentikasi konsumen diaktifkan. fallback_from: Rute tempat permintaan melakukan fallback. Field ini diisi saat kebijakan fallback diaktifkan untuk Model API. input_token: Jumlah token input dalam permintaan LLM. llm_first_token_duration: Waktu hingga token pertama (TTFT) untuk permintaan LLM. llm_service_duration: Waktu respons end-to-end untuk permintaan LLM. model: Nama model yang digunakan dalam permintaan LLM. output_token: Jumlah token output dalam respons LLM. response_type: Jenis respons permintaan LLM, seperti streaming atau non-streaming. safecheck_status: Hasil Moderasi Konten untuk permintaan LLM. token_ratelimit_status: Menunjukkan apakah permintaan diblokir oleh pembatasan laju berbasis token.
authority	string	Nilai header Host dalam permintaan.
bytes_received	long	Ukuran body permintaan dalam byte, tidak termasuk header.
bytes_sent	long	Ukuran body respons dalam byte, tidak termasuk header.
downstream_local_address	string	Alamat pod gateway.
downstream_remote_address	string	Alamat klien yang terhubung ke gateway.
duration	long	Total waktu pemrosesan permintaan dalam milidetik, diukur sejak gateway menerima byte pertama dari klien hingga mengirim byte terakhir respons.
method	string	Metode HTTP.
path	string	Path dalam permintaan HTTP.
protocol	string	Versi protokol HTTP.
request_duration	long	Waktu dalam milidetik sejak gateway menerima byte pertama permintaan dari klien hingga menerima byte terakhir.
request_id	string	ID unik yang dihasilkan gateway untuk setiap permintaan. ID ini disertakan dalam header `x-request-id`. Anda dapat menggunakan field ini untuk mencatat dan memecahkan masalah permintaan.
requested_server_name	string	Nama server yang digunakan untuk koneksi SSL.
response_code_details	string	Konteks tambahan untuk kode respons. Misalnya, `via_upstream` menunjukkan bahwa layanan backend mengembalikan kode respons, dan `route_not_found` menunjukkan bahwa gateway tidak menemukan entri rute yang sesuai.
response_tx_duration	long	Waktu dalam milidetik sejak gateway menerima byte pertama dari layanan upstream hingga mengirim byte terakhir ke klien.
route_name	string	Nama entri rute.
start_time	string	Waktu mulai permintaan. Waktu dalam UTC.
trace_id	string	ID jejak.
upstream_cluster	string	Kluster upstream.
upstream_host	string	Alamat IP host upstream.
upstream_local_address	string	Alamat lokal yang digunakan untuk terhubung ke layanan upstream.
upstream_service_time	long	Waktu pemrosesan permintaan dalam milidetik untuk layanan upstream. Durasi ini mencakup latensi jaringan dan waktu pemrosesan layanan itu sendiri.
upstream_transport_failure_reason	string	Alasan kegagalan koneksi upstream.
user_agent	string	Nilai header User-Agent dalam permintaan.
x_forwarded_for	string	Nilai header `x-forwarded-for`, yang biasanya berisi alamat IP asli klien.