全部产品
Search

搜索本产品

    Platform For AI：Panggil layanan melalui gateway khusus

    文档中心

    Platform For AI：Panggil layanan melalui gateway khusus

    更新时间：Jan 21, 2026

    Shared Gateway memiliki kebijakan akses tetap dan bandwidth bersama, sehingga tidak cocok untuk layanan berkonkurensi tinggi yang memerlukan isolasi kuat dan elastisitas. Untuk mengatasi hal ini, Elastic Algorithm Service (EAS) menyediakan dedicated gateway. Dedicated gateway menawarkan kontrol akses fleksibel untuk jaringan publik maupun pribadi, mendukung nama domain kustom, serta menyediakan bandwidth eksklusif guna memastikan stabilitas dan keandalan layanan.

    Ikhtisar dan pemilihan

    EAS menyediakan dua jenis dedicated gateway:

    • Application Load Balancer (ALB) dedicated gateway: Gateway ini dibangun di atas Application Load Balancer (ALB) untuk menyediakan manajemen traffic Lapisan 7. Gateway ini mendukung protokol HTTP dan HTTPS serta memiliki fitur Auto Scaling, keandalan tinggi, dan perutean pintar.

      Penting

      Kami sangat merekomendasikan penggunaan Application Load Balancer (ALB) dedicated gateway di lingkungan produksi demi performa, stabilitas, dan skalabilitas yang unggul.

    • Fully-managed dedicated gateway: Ini adalah dedicated gateway asli yang ditawarkan oleh EAS. Anda dapat mengonfigurasi pengaturan jaringan, nama domain kustom, dan fitur gateway lainnya langsung di Konsol PAI. Arsitektur jaringannya ditunjukkan pada gambar berikut:

      image
    Penting

    Saat suatu layanan menggunakan dedicated gateway, Auto Scaling tidak dapat diskalakan dari nol. Anda harus mengatur jumlah minimum instans menjadi satu atau lebih.

    Penagihan

    • Application Load Balancer (ALB) dedicated gateway: Anda dikenai biaya untuk instans ALB terkait. Untuk informasi selengkapnya, lihat aturan penagihan ALB.

    • Fully-managed dedicated gateway:

      • Gateway itu sendiri mendukung metode penagihan pay-as-you-go dan subscription. Untuk informasi selengkapnya, lihat Penagihan EAS.

      • Jika Anda mengakses layanan melalui jaringan pribadi, biaya tambahan PrivateLink akan dikenakan, termasuk biaya instans dan biaya pemrosesan data. Untuk informasi selengkapnya, lihat Penagihan PrivateLink.

      • Jika Anda mengakses layanan melalui Internet, biaya traffic jaringan publik akan dikenakan melalui Cloud Data Transfer (CDT). Untuk informasi selengkapnya, kunjungi Konsol CDT.

    Bagian I. Buat dan konfigurasikan dedicated gateway

    [Direkomendasikan] Application Load Balancer (ALB) dedicated gateway

    1.1 Buat gateway ALB

    Pertama, buat konfigurasi logis untuk gateway. Langkah ini tidak membuat sumber daya cloud aktual atau menimbulkan biaya.

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Gateway, klik Create Dedicated Gateway dan pilih Application Load Balancer.

    3. Sistem akan memeriksa izin peran terkait layanan Anda. Jika peran belum diaktifkan, ikuti petunjuk untuk menyelesaikan otorisasi.

    4. Masukkan nama gateway dan klik Submit.

    1.2 Buat dan asosiasikan instans ALB untuk mengaktifkan akses jaringan

    Setelah membuat gateway, Anda perlu mengaktifkan akses jaringan internal atau publik. Tindakan ini secara otomatis membuat dan mengasosiasikan Instans ALB di bawah akun Anda, dan penagihan dimulai.

    Penting

    Saat mengaktifkan akses publik dan pribadi untuk ALB dedicated gateway, Anda harus menggunakan VPC yang sama. Selain itu, setiap layanan EAS yang menggunakan gateway ini juga harus diterapkan di VPC yang sama.

    1. Pada tab Inference Gateway, klik nama gateway ALB yang baru saja Anda buat untuk membuka halaman detailnya.

    2. Pada bagian Gateway Access Control, Anda akan melihat tab VPC dan Internet.

      Aktifkan akses VPC (jaringan internal)

      1. Pada tab VPC, klik Add VPC.

      2. Pada panel konfigurasi yang muncul, pilih VPC dan vSwitch yang sesuai untuk layanan Anda. Untuk memastikan ketersediaan tinggi (HA), pilih minimal dua vSwitch di zona berbeda. Anda hanya dapat memilih satu vSwitch per zona.

        Penting

        Jika akses jaringan publik sudah diaktifkan untuk gateway ini, VPC yang Anda pilih di sini harus sama.

      3. Klik OK. Sistem akan mulai membuat Instans ALB.

      Aktifkan akses jaringan publik

      1. Beralih ke tab Internet dan klik Enable Public Network.

      2. Pada panel konfigurasi yang muncul, pilih VPC dan vSwitch yang sesuai untuk layanan Anda. Untuk memastikan HA, pilih minimal dua vSwitch di zona berbeda. Anda hanya dapat memilih satu vSwitch per zona.

        Penting

        Jika akses jaringan internal sudah diaktifkan untuk gateway ini, VPC yang Anda pilih di sini harus sama.

      3. Klik OK. Sistem akan mulai membuat Instans ALB.

    Fully-managed dedicated gateway

    Fully-managed dedicated gateway mendukung fitur-fitur berikut:

    • Kontrol akses: Mengontrol akses jaringan publik dan internal melalui daftar putih.

    • Akses nama domain kustom: Mengonfigurasi nama domain kustom dan sertifikat untuk menyediakan layanan eksternal.

    • Akses VPC lintas akun: Memungkinkan server dalam VPC di akun berbeda namun wilayah yang sama untuk mengakses layanan EAS melalui alamat jaringan internal.

    • Resolusi DNS otoritatif: Menggunakan resolusi otoritatif untuk nama domain gateway saat memanggil layanan EAS dari cloud lain atau pusat data lokal. Fitur ini memerlukan koneksi jaringan yang telah ditetapkan dengan Alibaba Cloud.

    1.1 Buat fully-managed dedicated gateway

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Gateway, klik Create Dedicated Gateway dan pilih Fully-managed Dedicated Gateway.

    3. Pada halaman pembelian dedicated gateway EAS, konfigurasikan parameter. Rujuk Lampiran: Perencanaan kapasitas dedicated gateway untuk memilih gateway specification guna memastikan stabilitas layanan.

    4. Setelah mengonfigurasi parameter, klik Buy Now. Ikuti petunjuk di layar untuk mengonfirmasi pesanan dan menyelesaikan pembayaran.

      Anda dapat melihat fully-managed dedicated gateway yang telah dibeli di daftar Inference Gateway. Anda dapat mulai menggunakannya ketika Status-nya Running.

    Catatan

    Anda dapat memperbarui spesifikasi gateway dan jumlah node gateway setelah fully-managed dedicated gateway dibuat. Perubahan tersebut akan berlaku dalam waktu sekitar 3 hingga 5 menit.

    1.2 Konfigurasikan kontrol akses

    Pada tab Inference Gateway, klik nama fully-managed dedicated gateway yang dituju untuk membuka halaman detailnya. Konfigurasikan pengaturan di bagian Gateway Access Control.

    Kontrol akses jaringan publik

    1. Pada tab Internet, aktifkan sakelar Access Entry. Saat statusnya Enabled, saluran akses publik untuk fully-managed dedicated gateway terbuka.image

    2. Secara default, fully-managed dedicated gateway tidak dapat diakses dari jaringan publik. Anda harus mengklik Add To Whitelist dan masukkan rentang alamat IP publik yang diizinkan (misalnya, 192.0.2.0/24).

      • Pisahkan entri dengan koma (,) atau baris baru.

      • Untuk mengizinkan akses dari semua alamat IP publik, tambahkan rentang alamat 0.0.0.0/0. Anda dapat menambahkan hingga 15 rentang alamat.

    3. Verifikasi konektivitas jaringan publik fully-managed dedicated gateway. Misalnya, tambahkan alamat IP publik mesin lokal Anda ke daftar putih.

      1. Pada tab Internet, temukan Domain Name Address.image

      2. Di terminal lokal Anda, akses alamat nama domain tersebut. Jika output-nya mirip seperti berikut, artinya alamat yang ada di daftar putih dapat mengakses dedicated gateway melalui jaringan publik.

        image

    4. Nonaktifkan akses jaringan publik untuk fully-managed dedicated gateway.

      1. Pada tab Internet, nonaktifkan sakelar Access Entry untuk menonaktifkan akses jaringan publik ke gateway.

      2. Di terminal lokal Anda, akses alamat nama domain tersebut. Jika output-nya mirip seperti berikut, artinya akses jaringan publik ke gateway telah dinonaktifkan.imageimage

    Kontrol akses jaringan internal

    1. Pada tab VPC, klik Add VPC dan pilih VPC serta vSwitch yang ingin dihubungkan.

      • Anda dapat menambahkan VPC dari akun berbeda di wilayah yang sama. Setelah Anda menambahkan VPC Akun B, server di VPC tersebut dapat mengakses layanan EAS yang menggunakan dedicated gateway ini melalui alamat VPC.

        Catatan

        Ini adalah fitur daftar putih. Untuk menggunakan fitur ini, Anda harus mengajukan tiket.

        image

      • Dukungan resolusi DNS otoritatif. Fitur ini digunakan saat memanggil layanan EAS dari cloud lain atau pusat data lokal dan memerlukan koneksi jaringan yang telah ditetapkan dengan Alibaba Cloud. Saat ini, resolusi domain otoritatif hanya dapat digunakan dalam satu konfigurasi VPC.

    2. Saat Anda menambahkan VPC, sistem secara otomatis menambahkan entri daftar putih default 0.0.0.0/0 untuk VPC tersebut, sehingga mengizinkan akses dari semua alamat IP di dalamnya. Anda dapat Modify Whitelist sesuai kebutuhan.

    3. Verifikasi konektivitas jaringan internal dedicated gateway.

      1. Pada tab VPC, temukan Domain Name Address.image

      2. Di mesin terminal dalam VPC, akses alamat nama domain tersebut. Jika output-nya mirip seperti berikut, artinya alamat yang ada di daftar putih dapat mengakses dedicated gateway melalui jaringan internal.

        Catatan

        Dalam VPC, zona mana pun dapat mengakses dedicated gateway jika berada di daftar putih, bukan hanya zona dari vSwitch yang ditambahkan ke gateway.

        image

    4. Tutup saluran akses VPC untuk dedicated gateway.

      1. Pada daftar VPC, klik Delete di kolom VSwitch Operation untuk menonaktifkan akses VPC ke dedicated gateway.

      2. Di mesin terminal dalam VPC, akses alamat nama domain tersebut. Jika output-nya mirip seperti berikut, artinya akses jaringan internal ke gateway telah dinonaktifkan.

        image

        image

    1.3 Konfigurasikan nama domain kustom

    1. (Opsional) Kelola sertifikat digital. Jika Anda berencana menggunakan HTTPS, Anda harus terlebih dahulu mengunggah atau membeli SSL Certificate untuk domain kustom Anda di Layanan Manajemen Sertifikat. Anda kemudian dapat mengonfigurasi sertifikat ini di dedicated gateway.

      1. Masuk ke Konsol Layanan Manajemen Sertifikat dan pilih SSL Certificate Management.

      2. Jika domain Anda belum memiliki sertifikat, Anda dapat memilih Purchase Certificate atau mengunggah yang sudah ada. Untuk informasi selengkapnya, lihat Purchase an SSL Certificate dan Upload an SSL Certificate.

        SSL证书

    2. Konfigurasikan nama domain kustom publik dan internal.

      Konfigurasikan nama domain kustom publik

      1. Pada halaman detail dedicated gateway, beralih ke tab Domain Names, klik Create Domain Name, dan konfigurasikan parameter seperti yang ditunjukkan pada gambar berikut.

        创建公网自定义域名

        Jika layanan sudah diterapkan menggunakan dedicated gateway ini, Anda harus menunggu sebentar (maksimal 5 menit) agar nama domain kustom publik berlaku setelah dikonfigurasi. Periksa informasi pemanggilan layanan. Jika domain di Public Endpoint adalah nama domain kustom publik yang Anda konfigurasi, pengaturan tersebut telah berlaku.

      2. Konfigurasikan resolusi nama domain publik. Tambahkan rekaman CNAME untuk nama domain kustom publik agar mengarah ke nama domain publik gateway.

        1. Pada tab Gateway Details dedicated gateway, temukan alamat nama domain publik gateway.

          image

        2. Ambil contoh Alibaba Cloud DNS. Prosesnya serupa untuk penyedia cloud lainnya. Masuk ke Konsol Alibaba Cloud DNS. Pada tab Authoritative Domain Names, temukan nama domain kustom Anda. Jika nama domain tidak terdaftar di Alibaba Cloud, Anda harus menambahkannya secara manual. Klik nama domain tersebut untuk membuka halaman DNS Settings lalu klik Add Record. Atur Record Type menjadi CNAME. Atur Host menjadi nama domain kustom Anda. Atur Value menjadi nama domain publik dedicated gateway dari Langkah a. Untuk informasi selengkapnya, lihat Add a domain name dan Add a DNS record.

          域名解析添加记录

      Konfigurasikan nama domain kustom internal

      1. Pada halaman detail dedicated gateway, beralih ke tab Domain Names dan klik Create Domain Name. Rujuk konfigurasi berikut.

        创建自定义域名

      2. Jika layanan sudah diterapkan menggunakan dedicated gateway ini, Anda harus menunggu sebentar (maksimal 5 menit) setelah nama domain kustom pribadi dikonfigurasi. Periksa informasi pemanggilan layanan. Jika domain di VPC Endpoint adalah nama domain pribadi yang Anda konfigurasi, pengaturan tersebut telah berlaku.

    Catatan

    Anda dapat mengatur dedicated gateway sebagai gateway default. Sistem akan secara otomatis memilihnya untuk penerapan layanan berikutnya.

    Bagian II. Bind layanan ke dedicated gateway

    Langkah-langkah berikut menjelaskan cara menerapkan layanan baru dan mengikatnya ke gateway melalui konsol. Untuk layanan yang sudah ada, Anda dapat mengubah gateway yang terikat dengan memperbarui layanan tersebut.

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Service, klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

    3. Pada bagian Network Information, pilih Dedicated Gateway dan pilih gateway yang telah Anda buat dari daftar dropdown.

      Penting

      Jika Anda menggunakan Application Load Balancer (ALB) dedicated gateway, layanan harus dikonfigurasi dengan VPC yang sama dengan gateway.

    Bagian III. Uji pemanggilan layanan

    Pada tab Inference Service, klik Invocation Method di kolom Service Type untuk layanan yang dituju. Pada tab Dedicated Gateway, Anda dapat menemukan Internet Endpoint, VPC Endpoint, dan Token.

    image

    Gunakan perintah curl untuk mengirim permintaan dan memverifikasi bahwa responsnya benar.

    • Pemanggilan publik: Dapat dijalankan dari terminal lokal Anda.

    • Pemanggilan privat: Anda harus menjalankannya dari mesin di dalam VPC.

    curl <endpoint_URL> -H'Authorization:<token>'

    Gambar berikut menunjukkan pengujian permintaan GET tanpa parameter, yang diharapkan mengembalikan True.

    Public invocation

    Manajemen dan pemantauan lanjutan

    • ALB dedicated gateway: Untuk konfigurasi jaringan lanjutan dan pemantauan, buka Konsol Application Load Balancer (ALB) untuk mengelola gateway secara terpusat dengan fleksibilitas maksimal.

    • Fully-managed dedicated gateway: Logging dan pemantauan dinonaktifkan secara default. Untuk menggunakan fitur ini, buka halaman detail gateway. Pada tab Log atau Monitoring, klik Enable Now. Jika layanan dasar (seperti Log Service) belum aktif, Anda akan diminta untuk mengaktifkannya sebelum dapat mengaktifkan pemantauan atau logging gateway.

    Pantau dan konfigurasikan peringatan

    Application Load Balancer (ALB) dedicated gateway

    Sebagian besar konfigurasi jaringan lanjutan dan fungsi pemantauan harus dikelola di Konsol Application Load Balancer (ALB) demi fleksibilitas maksimal.

    Fully-managed dedicated gateway

    Untuk memastikan stabilitas fully-managed gateway Anda dan mendeteksi secara cepat exception pada waktu proses, kami merekomendasikan agar Anda mengaktifkan log, pemantauan, dan peringatan untuk gateway tersebut.

    Langkah-langkah

    1. Aktifkan log, pemantauan, dan peringatan. Pada halaman detail gateway, buka tab Logs, Monitoring, dan Alert, lalu ikuti petunjuk di layar untuk mengaktifkannya.

    2. Buat kebijakan peringatan: Setelah Anda mengaktifkan peringatan, tombol Create EAS Dedicated Gateway Alert Policy akan muncul. Klik tombol ini. Rujuk Manage alert rules untuk membuat aturan peringatan bagi gateway.

    Penting

    Variabel {{$labels.envoy_clusterid}} yang digunakan untuk mengidentifikasi gateway dalam konten peringatan menampilkan ID internal dan tidak mencakup nama gateway kustom Anda, sehingga sulit mengidentifikasi gateway dari pemberitahuan peringatan. Untuk mempermudah identifikasi, kami sangat menyarankan agar Anda secara manual memodifikasi templat notifikasi saat membuat aturan peringatan untuk mengganti atau melengkapi variabel ini dengan nama gateway yang mudah dikenali.

    Penjelasan metrik peringatan

    Metrik

    Definisi dan Rumus

    Ambang Batas dan Skenario yang Direkomendasikan

    Utilisasi CPU gateway khusus EAS

    Persentase utilisasi CPU instans gateway (Pod).

    Rekomendasi: > 85% selama 5 menit.
    Skenario: Utilisasi tinggi yang berkelanjutan menunjukkan bahwa sumber daya gateway hampir mencapai batas dan mungkin perlu diskalakan naik.

    Utilisasi memori EAS dedicated gateway

    Persentase utilisasi memori instans gateway (Pod).

    Rekomendasi: > 85% selama 5 menit.
    Skenario: Utilisasi tinggi yang berkelanjutan dapat menyebabkan error OOMKilled, yang memengaruhi stabilitas gateway.

    Tingkat keberhasilan keseluruhan EAS dedicated gateway

    (Jumlah permintaan dengan kode status HTTP 2xx / Total jumlah permintaan) * 100%.

    Rekomendasi: < 99,9% selama 1 menit.
    Skenario: Ini adalah metrik ketersediaan inti. Penurunan biasanya menunjukkan masalah serius pada layanan backend atau konfigurasi gateway.

    Waktu kedaluwarsa sertifikat EAS dedicated gateway

    Jumlah hari tersisa masa berlaku sertifikat HTTPS yang dikonfigurasi pada gateway.

    Rekomendasi: Sisa hari < 15.
    Skenario: Memberi peringatan sebelum sertifikat kedaluwarsa untuk mencegah gangguan layanan HTTPS.

    Rasio permintaan 4xx/5xx EAS dedicated gateway

    (Jumlah permintaan 4xx atau 5xx / Total jumlah permintaan) * 100%. Kami merekomendasikan mengonfigurasi peringatan terpisah untuk error 4xx dan 5xx.

    Rekomendasi 5xx: > 1% selama 1 menit.
    Rekomendasi 4xx: > 5% selama 5 menit.
    Skenario: Lonjakan error 5xx menunjukkan masalah serius di sisi server. Lonjakan error 4xx mungkin menunjukkan kesalahan pemanggilan di sisi klien atau masalah autentikasi.

    Waktu respons rata-rata (RT) EAS dedicated gateway

    Waktu respons rata-rata semua permintaan selama periode statistik, diukur dalam milidetik (ms).

    Rekomendasi: Tetapkan berdasarkan garis dasar layanan Anda, misalnya, > 200 ms selama 3 menit.
    Skenario: Peningkatan RT berdampak langsung pada pengalaman pengguna dan perlu diselidiki.

    Volume permintaan EAS dedicated gateway vs. kemarin

    Persentase perubahan volume permintaan selama periode N menit dibandingkan dengan periode N menit yang sama pada hari sebelumnya.

    Rekomendasi: < -50% atau > 200% selama 10 menit.
    Skenario: Membantu mendeteksi penurunan tiba-tiba dalam traffic (potensi masalah layanan) atau lonjakan (potensi serangan atau traffic promosi).

    Permintaan yang dibatasi laju EAS dedicated gateway

    Jumlah total permintaan yang ditolak oleh kebijakan pembatasan laju gateway selama periode statistik.

    Rekomendasi: > 10 per menit.
    Skenario: Pembatasan laju yang sering menunjukkan bahwa traffic telah melebihi ekspektasi. Anda mungkin perlu menyesuaikan kebijakan pembatasan laju atau menskalakan naik sumber daya.

    FAQ

    1. Mengapa saya mendapatkan error "vSwitch ... is not supported" saat menambahkan VPC ke dedicated gateway?

      Anda melihat error ini karena dedicated gateway memerlukan vSwitch terkait berada di zona ketersediaan tertentu, dan vSwitch yang Anda pilih tidak berada di salah satu zona tersebut.

      Untuk mengatasi masalah ini:

      1. Periksa pesan error untuk daftar zona yang didukung.

      2. Saat mengonfigurasi akses jaringan untuk gateway Anda, pilih vSwitch yang berada di salah satu zona yang didukung.

      Contohnya, dengan error vSwitch vsw-2zeqwh8hv0gb96zcd**** di zona cn-beijing-g tidak didukung, zona yang didukung: [cn-beijing-i cn-beijing-l cn-beijing-k], Anda harus memilih vSwitch dari zona cn-beijing-i, cn-beijing-l, atau cn-beijing-k alih-alih cn-beijing-g.

    Dokumen terkait