Buat instans AI Gateway - API Gateway

Topik ini menjelaskan cara membuat instans AI Gateway.

Prosedur

Masuk ke Konsol AI Gateway.
Pada panel navigasi di sebelah kiri, klik AI Gateway > Instance. Pada bilah navigasi di bagian atas, pilih wilayah.

Klik Create Instance. Pada halaman pembelian AI Gateway, pilih konfigurasi yang diperlukan, lalu klik Buy Now.

Item Konfigurasi	Deskripsi
Product Type	Mendukung Dedicated Instance (pay-as-you-go), Dedicated Instance (subscription), dan Serverless (pay-as-you-go). Untuk informasi selengkapnya mengenai metode penagihan ketiga tipe tersebut, lihat Billing.
Region	Pilih wilayah gateway. Penting Setelah resource dibuat, Anda tidak dapat mengubah wilayahnya.
Gateway Name	Masukkan nama kustom untuk gateway. Konvensi penamaan yang disarankan adalah `environment` atau `environment-business_realm`, seperti `test` atau `order-prod`. Nama dapat terdiri dari maksimal 64 karakter.
Gateway Specifications	Pilih spesifikasi node berdasarkan kebutuhan aktual Anda. Untuk spesifikasi kapasitas berbagai spesifikasi gateway, lihat Product selection. Edisi Serverless tidak memiliki spesifikasi gateway.
Resource Group	Gunakan kelompok sumber daya default atau kelompok sumber daya yang sudah ada. Untuk membuat kelompok sumber daya baru, klik Create Resource Group. Catatan Gunakan kelompok sumber daya untuk mengklasifikasikan dan mengelola resource di bawah Akun Alibaba Cloud Anda. Hal ini memungkinkan Anda mengelola izin, men-deploy resource, dan memantau resource berdasarkan kelompok, bukan mengelola setiap resource secara individual.
Network Access Type	Mendukung tiga tipe akses: Public Network, Private Network, dan Public Network + Private Network. Internet: Saat Anda mengakses gateway melalui Internet, biaya transfer data akan dikenakan untuk trafik yang ditagih secara seragam berdasarkan Cloud Data Transfer (CDT) dan menggunakan Border Gateway Protocol (BGP) dalam pola multi-line. Untuk informasi selengkapnya, lihat Internet data transfers. Private Network: Tidak ada biaya transfer data yang dikenakan untuk akses melalui jaringan pribadi. Internet + Private Network: Saat Anda mengakses gateway melalui internet, biaya transfer data akan dikenakan. Trafik internet ditagih berdasarkan CDT dan menggunakan mode BGP (multi-line). Tidak ada biaya transfer data yang dikenakan untuk akses melalui jaringan pribadi.
VPC	Pilih virtual private cloud (VPC) tempat instans gateway dijalankan. Untuk membuat VPC baru, buka Konsol VPC. Catatan VPC gateway harus sama dengan VPC layanan.
Zone Selection	Pilih Automatic Allocation atau Manual Selection. Automatic Allocation: Pilih vSwitch, dan sistem akan secara otomatis mengalokasikan 2 zona untuk men-deploy node gateway. Manual Selection: Pilih secara manual zona dan vSwitch untuk men-deploy node gateway.
VSwitch	Pilih vSwitch tempat instans gateway dijalankan. Untuk membuat vSwitch baru, buka Konsol VPC.
Simple Log Service	Pilih Use Simple Log Service (SLS) untuk mengaktifkan Simple Log Service (SLS) dan mengaktifkan fitur pengiriman log gateway, menyediakan analisis log dan dasbor. Untuk informasi selengkapnya, lihat Enable gateway log delivery.
Service-linked Role	Dibuat secara otomatis. Peran ini memungkinkan AI Gateway mengakses layanan Alibaba Cloud lainnya.

Pada halaman Confirm Order, tinjau detail konfigurasi AI Gateway, lalu klik Purchase Now.
Catatan
Pembuatan instans gateway memerlukan waktu 1 hingga 5 menit.
Kembali ke halaman Instances AI Gateway. Verifikasi bahwa informasi gateway benar dan status Running Status menunjukkan Running. Hal ini menandakan bahwa gateway berhasil dibuat.

Fitur lanjutan

Saat membuat instans gateway, Anda dapat mengonfigurasi fitur lanjutan untuk menggunakan data log guna pemantauan dan analisis atau untuk mengompresi permintaan dan respons guna mengurangi trafik gateway. Akselerasi perangkat keras Gzip hanya dapat diaktifkan saat pembuatan instans dan tidak tersedia setelah instans dibuat. Namun, Simple Log Service (SLS) dapat diaktifkan kapan saja.

Aktifkan akselerasi perangkat keras Gzip

Akselerasi perangkat keras Gzip adalah teknologi yang menggunakan perangkat keras khusus untuk kompresi dan dekompresi data secara cepat. Dengan memindahkan tugas kompresi dan dekompresi Gzip dari CPU ke perangkat keras khusus, teknologi ini secara signifikan meningkatkan efisiensi pemrosesan dan mengurangi beban CPU.

Catatan

Edisi Serverless tidak mendukung akselerasi perangkat keras Gzip.

Prosedur

Pada halaman pembelian AI Gateway, atur parameter berikut, lalu klik Buy Now untuk membuat instans gateway:
- Region: Akselerasi perangkat keras Gzip didukung di wilayah Hangzhou, Beijing, Shanghai, Shenzhen, Ulanqab, China (Hong Kong), dan Singapura.
  Fitur ini mungkin tidak tersedia di semua zona dalam wilayah yang didukung. Untuk informasi terbaru, lihat halaman pembelian produk.
- Gateway Specification: Pilih aigw.medium.x1 atau spesifikasi yang lebih tinggi.
- Gzip Hardware Acceleration: Aktifkan opsi ini untuk mengaktifkan akselerasi perangkat keras Gzip.
- Zone: Pilih zona yang Supports Gzip Hardware Acceleration, lalu pilih vSwitch.
Setelah instans dibuat, klik ID atau nama instans target. Pada panel navigasi di sebelah kiri, klik Parameter Configuration. Di area Gateway Engine Parameters, edit parameter EnableGzipHardwareAccelerate.
Catatan
Jika Anda tidak memilih Enable Gzip Hardware Acceleration saat membeli instans, Anda tidak dapat mengaktifkan fitur ini nanti.
Setelah mengaktifkan fitur ini, klien harus mampu memproses data yang dikompresi Gzip. Untuk klien yang didukung, tambahkan header permintaan Accept-Encoding: gzip.

Referensi performa

Berapa banyak trafik yang dapat dihemat dengan mengaktifkan kompresi Gzip?

Saat menggunakan Gzip untuk kompresi, rasio kompresi—yaitu rasio ukuran data terkompresi terhadap ukuran data asli—sangat bergantung pada jenis data tersebut. Rasio kompresi yang lebih rendah menunjukkan kompresi yang lebih efektif, sedangkan rasio yang lebih tinggi menunjukkan kompresi yang kurang optimal.

Secara umum, jika data berisi banyak pola atau struktur berulang, seperti huruf, kata, dan tanda baca dalam teks, kompresi Gzip lebih efektif dan menghasilkan rasio kompresi yang lebih rendah. Sebaliknya, untuk data dengan tingkat keacakan dan entropi tinggi, seperti citra, video, dan file yang sudah terkompresi, efek kompresinya terbatas dan rasio kompresinya biasanya lebih tinggi karena rendahnya pengulangan internal.

Rasio kompresi sangat bervariasi antar pelanggan tergantung pada atribut bisnis mereka. Menurut statistik dari instans yang telah mengaktifkan Gzip di wilayah inti, rasio kompresi untuk sebagian besar instans berkisar antara 10% hingga 50%. Artinya, setelah Anda mengaktifkan Gzip, Anda dapat menghemat lebih dari 50% trafik rata-rata.

Dengan Gzip sudah diaktifkan, berapa banyak resource instans yang dapat dihemat menggunakan akselerasi perangkat keras?

Setelah Anda mengaktifkan akselerasi perangkat keras Gzip, gateway menggunakan perangkat keras khusus untuk kompresi, sehingga menghemat sumber daya CPU. Data uji stres berikut membandingkan konsumsi CPU instans mandiri dengan akselerasi perangkat keras Gzip diaktifkan dan instans 4-node yang menggunakan Gzip berbasis perangkat lunak. Kedua instans menangani jumlah permintaan per detik (QPS) yang sama.

Sebagai contoh, data terkompresi berupa teks JSON berukuran sekitar 120 KB:

QPS	Hardware-accelerated Gzip / aigw.medium.x1 / konsumsi CPU node tunggal	Software-based Gzip / aigw.medium.x1 / konsumsi CPU 4-node
2000	9%	11%
5000	26%	28%
10000	56%	56%
13000	69%	72%

Tabel tersebut menunjukkan bahwa konsumsi CPU instans node tunggal dengan akselerasi perangkat keras Gzip hampir sama dengan instans 4-node dengan Gzip berbasis perangkat lunak. Artinya, beban kerja yang awalnya memerlukan empat node dapat ditangani oleh satu node setelah Anda mengaktifkan akselerasi perangkat keras Gzip, sehingga menghemat sekitar 75% sumber daya instans.

Aktifkan pengiriman log gateway

Untuk mengumpulkan, menyimpan, dan menganalisis log operasional gateway, Anda dapat mengaktifkan Simple Log Service (SLS) saat membuat instans gateway. Hal ini memungkinkan analisis log dan pemantauan melalui dasbor.

Saat membuat instans gateway, pilih Use Simple Log Service (SLS). Tindakan ini mengaktifkan SLS dan mengaktifkan fitur pengiriman log gateway.

Setelah Anda mengaktifkan pengiriman log, Anda dapat membuka Observability & Analysis > Log Center untuk melihat log gateway.

Deskripsi field log

Nama Bidang	Tipe	Deskripsi
__time__	long	Waktu saat log dihasilkan.
cluster_id	string	Instans gateway yang dibeli.
ai_log	json	Field log yang dirancang untuk Model API, Agent API, dan MCP API. Field ini dalam format JSON. Field ini kosong untuk jenis API lainnya. api: Nama AI API. cache_status: Jika caching konten diaktifkan untuk Model API, field ini menunjukkan apakah permintaan mengenai cache. consumer: Jika autentikasi konsumen diaktifkan, field ini mencatat identitas konsumen untuk permintaan saat ini. fallback_from: Jika kebijakan fallback diaktifkan untuk Model API, field ini mencatat entri rute dari mana permintaan melakukan fallback. input_token: Jumlah token input dalam permintaan LLM. llm_first_token_duration: Waktu respons (RT) paket pertama permintaan LLM. llm_service_duration: RT keseluruhan permintaan LLM. model: Nama model dalam permintaan LLM. output_token: Jumlah token output dalam permintaan LLM. response_type: Tipe respons permintaan LLM, seperti streaming atau non-streaming. safecheck_status: Status Moderasi Konten permintaan LLM. token_ratelimit_status: Menunjukkan apakah permintaan LLM diblokir oleh pembatasan laju berbasis token.
authority	string	Header Host dalam pesan permintaan.
bytes_received	long	Ukuran badan permintaan, tidak termasuk header.
bytes_sent	long	Ukuran badan respons, tidak termasuk header.
downstream_local_address	string	Alamat pod gateway.
downstream_remote_address	string	Alamat klien yang terhubung ke gateway.
duration	long	Total waktu yang diperlukan untuk memproses permintaan. Ini adalah periode dari saat gateway menerima byte pertama dari layanan downstream hingga mengirim byte terakhir respons. Satuan: milidetik.
method	string	Metode HTTP.
path	string	Jalur dalam permintaan HTTP.
protocol	string	Versi protokol HTTP.
request_duration	long	Periode dari saat gateway menerima byte pertama dari layanan downstream hingga menerima byte terakhir dari layanan downstream. Satuan: milidetik.
request_id	string	Gateway menghasilkan ID untuk setiap permintaan dan menyertakannya dalam header `x-request-id`. Backend dapat menggunakan field ini untuk logging dan troubleshooting.
requested_server_name	string	Nama server yang digunakan untuk koneksi SSL-VPN.
response_code_details	string	Memberikan informasi tambahan mengenai kode respons. Misalnya, `via_upstream` menunjukkan bahwa kode respons dikembalikan oleh layanan backend, dan `route_not_found` menunjukkan bahwa tidak ditemukan entri rute yang cocok untuk permintaan tersebut.
response_tx_duration	long	Periode dari saat gateway menerima byte pertama dari layanan upstream hingga mengirim byte terakhir ke layanan downstream. Satuan: milidetik.
route_name	string	Nama entri rute.
start_time	string	Waktu permintaan dimulai. Format: UTC.
trace_id	string	ID jejak.
upstream_cluster	string	Kluster upstream.
upstream_host	string	Alamat IP upstream.
upstream_local_address	string	Alamat lokal yang digunakan untuk terhubung ke layanan upstream.
upstream_service_time	long	Waktu yang diperlukan oleh layanan upstream untuk memproses permintaan, dalam milidetik. Ini mencakup latensi jaringan untuk akses gateway ke layanan upstream dan waktu pemrosesan layanan upstream itu sendiri.
upstream_transport_failure_reason	string	Alasan kegagalan koneksi ke layanan upstream.
user_agent	string	Header User-Agent dalam permintaan HTTP.
x_forwarded_for	string	Header `x-forwarded-for` dalam permintaan HTTP. Header ini biasanya menunjukkan alamat IP asal klien HTTP.