All Products
Search

This Product

    Platform For AI:Menggunakan gateway khusus

    Document Center

    Platform For AI:Menggunakan gateway khusus

    Last Updated:Mar 07, 2026

    Gateway bersama menyediakan bandwidth bersama dan kebijakan akses tetap, sehingga tidak cocok untuk layanan dengan konkurensi tinggi yang memerlukan isolasi jaringan atau skalabilitas elastis. Untuk memenuhi persyaratan tersebut, Elastic Algorithm Service (EAS) menyediakan gateway khusus yang memberikan kontrol akses fleksibel terhadap lalu lintas internet maupun jaringan internal, serta mendukung nama domain kustom dan bandwidth khusus guna menjamin stabilitas serta keandalan layanan.

    Jenis gateway

    EAS menyediakan dua jenis gateway khusus:

    Penting

    Gunakan gateway khusus Application Load Balancer (ALB) di lingkungan produksi untuk performa, stabilitas, dan ekstensibilitas yang lebih baik.

    Gateway khusus Application Load Balancer (ALB)

    Gateway khusus fully-managed

    Ikhtisar

    Mengelola traffic Lapisan 7 menggunakan Application Load Balancer (ALB).

    Gateway khusus EAS asli.

    Fitur utama

    • Mendukung protokol HTTP dan HTTPS

    • Skalabilitas otomatis

    • Keamanan dan keandalan tinggi

    • Routing cerdas

    • Mengontrol akses jaringan publik dan pribadi menggunakan daftar putih

    • Mendukung nama domain kustom dan Sertifikat SSL

    • Mendukung akses VPC cross-account

    • Mendukung resolusi DNS otoritatif untuk skenario cloud hibrida dan multi-cloud

    Skenario

    Lingkungan produksi yang memerlukan performa tinggi, stabilitas, dan ekstensibilitas.

    Skenario yang memerlukan fitur jaringan spesifik yang belum tersedia di ALB.

    Penagihan

    • Gateway khusus Application Load Balancer (ALB): Biaya dibebankan oleh instans ALB terkait. Untuk informasi selengkapnya, lihat aturan penagihan ALB.

    • Gateway khusus fully-managed:

      • Biaya gateway: Mendukung metode penagihan bayar sesuai penggunaan dan langganan. Untuk informasi selengkapnya, lihat penagihan Elastic Algorithm Service (EAS).

      • Biaya tambahan:

        • Akses jaringan pribadi: Dikenakan biaya PrivateLink tambahan, termasuk biaya instans dan biaya pemrosesan traffic. Untuk informasi selengkapnya, lihat penagihan PrivateLink.

        • Akses jaringan publik: Biaya traffic internet yang dihasilkan selama operasi layanan dikenakan melalui Cloud Data Transfer (CDT). Untuk informasi selengkapnya, lihat Konsol CDT.

    Prosedur

    1. Buat dan konfigurasikan gateway khusus

    [Direkomendasikan] Gateway khusus Application Load Balancer (ALB)

    1.1 Buat gateway ALB

    Pertama, buat konfigurasi logis untuk gateway. Langkah ini tidak membuat sumber daya cloud aktual atau menghasilkan biaya.

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Gateway, klik Create Dedicated Gateway dan pilih Application Load Balancer.

    3. Sistem akan memeriksa izin Anda untuk peran terkait layanan. Jika peran belum diaktifkan, ikuti petunjuk untuk memberikan izin yang diperlukan.

    4. Masukkan nama gateway dan klik Submit.

    1.2 Aktifkan akses jaringan

    Setelah membuat gateway, aktifkan akses jaringan pribadi atau publik. Operasi ini secara otomatis membuat dan mengaitkan instans ALB ke akun Anda serta mulai menagih biaya.

    Penting

    Untuk mengaktifkan akses jaringan publik dan pribadi pada gateway khusus ALB, Anda harus memilih virtual private cloud (VPC) yang sama. Layanan EAS yang diterapkan menggunakan gateway ini juga harus dikonfigurasi dengan VPC yang sama.

    1. Pada daftar di tab Inference Gateway, klik nama gateway ALB untuk membuka halaman detailnya.

    2. Pada bagian Gateway Access Control, buka tab VPC dan Internet.

      Aktifkan akses virtual private cloud (jaringan pribadi)

      1. Pada tab VPC, klik Add VPC.

      2. Pada panel konfigurasi yang muncul, pilih VPC dan vSwitch yang sesuai dengan kebutuhan bisnis Anda. Untuk memastikan ketersediaan tinggi, pilih minimal dua vSwitch di zona berbeda. Anda hanya dapat memilih satu vSwitch per zona.

        Penting

        Jika akses jaringan publik sudah diaktifkan untuk gateway, VPC yang dipilih di sini harus sama.

      3. Klik OK. Sistem mulai membuat instans ALB.

      Aktifkan akses jaringan publik

      1. Beralih ke tab Internet dan klik Enable Public Network.

      2. Pada panel konfigurasi yang muncul, pilih VPC dan vSwitch yang sesuai dengan kebutuhan bisnis Anda. Untuk memastikan ketersediaan tinggi, pilih minimal dua vSwitch di zona berbeda. Anda hanya dapat memilih satu vSwitch per zona.

        Penting

        Jika akses virtual private cloud sudah diaktifkan untuk gateway, VPC yang dipilih di sini harus sama.

      3. Klik OK. Sistem mulai membuat instans ALB.

    Gateway khusus fully-managed

    Gateway khusus fully-managed mendukung fitur-fitur berikut:

    • Kontrol akses: Mengontrol akses jaringan publik dan pribadi menggunakan daftar putih.

    • Akses nama domain kustom: Mendukung konfigurasi nama domain kustom dan sertifikat untuk menyediakan layanan eksternal.

    • Akses VPC cross-account: Memungkinkan server di VPC milik akun lain dalam wilayah yang sama mengakses layanan EAS melalui titik akhir pribadi.

    • Resolusi DNS otoritatif: Mendukung resolusi DNS otoritatif untuk nama domain gateway. Fitur ini digunakan saat memanggil layanan EAS dari cloud lain atau pusat data lokal. Anda harus terlebih dahulu membuat koneksi dengan jaringan Alibaba Cloud.

    1.1 Buat gateway khusus fully-managed

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Gateway, klik Create Dedicated Gateway dan pilih Fully managed dedicated gateway.

    3. Pada halaman pembelian Gateway Khusus EAS, konfigurasikan parameter. Untuk informasi selengkapnya, lihat Lampiran: Perencanaan kapasitas gateway khusus untuk memilih Gateway Specification yang menjamin stabilitas layanan.

    4. Setelah mengonfigurasi parameter, klik Buy Now. Ikuti petunjuk di layar untuk mengonfirmasi pesanan dan menyelesaikan pembayaran.

      Anda dapat melihat gateway khusus fully-managed yang telah dibeli di daftar inference gateway. Gateway dapat digunakan ketika Status-nya adalah Running.

    Catatan

    Setelah gateway khusus fully-managed dibuat, Anda dapat memperbarui spesifikasinya dan jumlah node. Perubahan memerlukan waktu sekitar 3 hingga 5 menit untuk berlaku.

    1.2 Konfigurasikan kontrol akses

    Pada tab Inference Gateway, klik nama gateway khusus fully-managed yang dituju untuk membuka halaman detailnya. Konfigurasikan kontrol akses di bagian Gateway Access Control.

    Kontrol akses jaringan publik

    1. Pada tab Internet, aktifkan sakelar Access Portal. Saat statusnya Activated, saluran akses publik untuk gateway khusus fully-managed diaktifkan.image

    2. Secara default, gateway khusus fully-managed tidak dapat diakses dari internet. Klik Add to Whitelist dan masukkan blok CIDR alamat IP publik yang diizinkan mengakses (misalnya, 192.0.2.0/24).

      • Pisahkan beberapa entri dengan koma (,) atau baris baru.

      • Untuk mengizinkan akses dari semua alamat IP publik, tambahkan blok CIDR 0.0.0.0/0. Anda dapat menambahkan maksimal 15 blok CIDR.

    3. Verifikasi konektivitas jaringan publik gateway khusus fully-managed.

      1. Pada tab Internet, temukan Endpoint.image

      2. Dari perangkat dalam blok CIDR yang diizinkan, akses alamat nama domain. Jika output-nya seperti berikut, koneksi berhasil.

        image

    4. Untuk menonaktifkan akses jaringan publik, pada tab Internet, nonaktifkan sakelar Access Portal.

      Dari terminal lokal, akses alamat nama domain. Jika output-nya seperti berikut, saluran akses publik untuk gateway dinonaktifkan.imageimage

    Kontrol akses jaringan pribadi

    1. Pada tab VPC, klik Add VPC dan pilih VPC serta vSwitch yang akan dihubungkan.

      • Anda dapat menambahkan VPC milik akun lain dalam wilayah yang sama. Setelah menambahkan VPC Akun B, server dalam VPC tersebut dapat mengakses layanan EAS yang menggunakan gateway khusus ini melalui titik akhir VPC.

        Catatan

        Ini adalah fitur daftar putih. Untuk menggunakannya, ajukan tiket.

        image

      • Resolusi DNS otoritatif untuk nama domain gateway didukung. Fitur ini digunakan saat memanggil layanan EAS dari cloud lain atau pusat data lokal. Anda harus terlebih dahulu membuat koneksi dengan jaringan Alibaba Cloud. Saat ini, Anda hanya dapat menggunakan resolusi DNS otoritatif dalam konfigurasi satu VPC saja.

    2. Saat menambahkan VPC, sistem mengonfigurasi daftar putih default 0.0.0.0/0, yang mengizinkan akses dari semua alamat IP dalam VPC. Anda dapat Modify Whitelist sesuai kebutuhan.

    3. Verifikasi konektivitas jaringan pribadi gateway khusus.

      1. Pada tab VPC, temukan Endpoint.image

      2. Dari terminal dalam VPC, akses alamat nama domain. Jika output-nya seperti berikut, koneksi berhasil.

        Catatan

        Dalam VPC, Anda dapat mengakses gateway khusus dari zona mana pun dengan mengonfigurasi daftar putih. Akses tidak terbatas pada zona vSwitch yang ditambahkan ke gateway.

        image

    4. Untuk menonaktifkan akses VPC, pada daftar VPC, klik Delete di kolom Configure vSwitch.

      Dari terminal dalam VPC, akses alamat nama domain. Jika output-nya seperti berikut, saluran akses pribadi untuk gateway khusus dinonaktifkan.

      image

      image

    1.3 Konfigurasikan nama domain kustom

    1. (Opsional) Kelola sertifikat digital. Jika Anda menggunakan protokol HTTPS untuk mengakses layanan, Anda harus terlebih dahulu mengelola Sertifikat SSL untuk nama domain kustom di Layanan Manajemen Sertifikat.

      1. Masuk ke Konsol Layanan Manajemen Sertifikat dan pilih SSL Certificate Management.

      2. Pilih Purchase Certificate atau unggah sertifikat yang sudah ada. Untuk informasi selengkapnya, lihat Purchase an SSL Certificate dan Upload an SSL Certificate.

        SSL证书

    2. Konfigurasikan nama domain kustom publik dan pribadi.

      Konfigurasikan nama domain kustom publik

      1. Pada halaman detail gateway khusus, beralih ke tab Domain Name, klik Create Domain Name, dan konfigurasikan parameter seperti pada gambar berikut.

        创建公网自定义域名

        Catatan

        • Jika layanan sudah diterapkan menggunakan gateway khusus ini, Anda harus menunggu beberapa saat (maksimal 5 menit) agar pengaturan nama domain kustom publik berlaku.

        • Periksa informasi pemanggilan layanan untuk memastikan bahwa nama domain untuk titik akhir publik telah diperbarui menjadi nama domain kustom publik yang dikonfigurasi untuk gateway.

      2. Konfigurasikan resolusi nama domain publik. Tambahkan rekaman CNAME untuk nama domain kustom publik agar mengarah ke nama domain publik gateway khusus.

        1. Pada tab Gateway gateway khusus, lihat alamat nama domain publik gateway.

          image

        2. Ambil contoh DNS Alibaba Cloud. Prosedurnya serupa untuk penyedia cloud lain. Masuk ke Konsol DNS Alibaba Cloud. Pada tab Authoritative Domain Names, temukan nama domain kustom. Jika nama domain tidak terdaftar di Alibaba Cloud, Anda harus menambahkannya secara manual. Klik nama domain untuk membuka halaman DNS Settings, lalu klik Add Record. Atur Record Type ke CNAME. Atur Host ke nama domain kustom. Atur Record Value ke nama domain publik gateway khusus dari langkah a. Untuk informasi selengkapnya, lihat Add a domain name dan Add a DNS record.

          域名解析添加记录

      Konfigurasikan nama domain kustom pribadi

      1. Pada halaman detail gateway khusus, beralih ke tab Domain Name dan klik Create Domain Name. Konfigurasikan parameter sebagai berikut.

        创建自定义域名

      2. Jika layanan sudah diterapkan menggunakan gateway khusus ini, tunggu beberapa saat (maksimal 5 menit) setelah nama domain kustom pribadi berhasil dikonfigurasi. Periksa informasi pemanggilan layanan. Jika nama domain pada titik akhir VPC adalah nama domain pribadi yang dikonfigurasi untuk gateway, maka nama domain tersebut telah berlaku.

    Catatan

    Anda dapat mengatur gateway khusus sebagai gateway default. Sistem kemudian akan memilihnya secara otomatis saat Anda menerapkan layanan.

    2. Ikat layanan ke gateway khusus

    Langkah-langkah berikut menunjukkan cara menerapkan layanan baru dari konsol. Untuk layanan yang sudah diterapkan, Anda dapat memperbarui layanan untuk mengubah gateway yang terikat.

    1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

    2. Pada tab Inference Service, klik Deploy Service. Pada bagian Custom Model Deployment, klik Custom Deployment.

    3. Pada bagian Network Information, pilih Dedicated Gateway dan pilih gateway khusus yang telah dibuat dari daftar drop-down.

      Penting

      Jika Anda menggunakan gateway khusus ALB, layanan harus dikonfigurasi dengan VPC yang sama dengan gateway.

    3. Uji pemanggilan layanan

    1. Pada tab Inference Service, temukan layanan yang dituju. Pada kolom Service Type, klik Invocation Method.

    2. Pada tab Dedicated Gateway, dapatkan Internet Endpoint, VPC Endpoint, dan Token.

      image

    3. Gunakan perintah curl untuk mengirim permintaan dan verifikasi bahwa data yang dikembalikan benar.

      • Pemanggilan publik: Jalankan perintah di mesin apa pun yang dapat mengakses internet.

      • Pemanggilan pribadi: Jalankan perintah di terminal dalam VPC.

      curl <interface_URL> -H'Authorization:<token>'

      Gambar berikut menunjukkan pengujian permintaan GET tanpa parameter. Nilai kembali yang diharapkan adalah True.

      公网调用

    Konfigurasi pemantauan dan peringatan

    Application Load Balancer (ALB)

    Untuk fitur konfigurasi jaringan lanjutan dan pemantauan, buka Konsol Application Load Balancer (ALB) untuk mengelolanya secara terpusat demi fleksibilitas maksimal.

    Gateway khusus fully-managed

    Untuk menjamin stabilitas layanan gateway fully-managed dan mendeteksi pengecualian waktu proses secara cepat, aktifkan log, pemantauan, dan peringatan.

    Prosedur

    1. Aktifkan log, pemantauan, dan peringatan. Pada halaman detail gateway, buka tab Logs, Monitoring, dan Alert dan ikuti petunjuk di layar untuk mengaktifkannya.

    2. Buat kebijakan peringatan: Setelah mengaktifkan peringatan, tombol Create EAS Dedicated Gateway Alert Policy akan muncul. Klik tombol ini. Untuk informasi selengkapnya, lihat Manage alert rules untuk membuat aturan peringatan bagi gateway.

      Penting

      Dalam konten peringatan, variabel {{$labels.envoy_clusterid}} yang digunakan untuk mengidentifikasi gateway menampilkan ID internal dan tidak mencakup nama gateway kustom Anda. Hal ini menyulitkan identifikasi cepat gateway tertentu saat Anda menerima peringatan. Untuk mempermudah identifikasi, kami sangat menyarankan agar Anda memodifikasi templat notifikasi secara manual saat membuat aturan peringatan. Ganti atau tambahkan variabel ini dengan nama gateway yang mudah dikenali.image

    Detail metrik peringatan

    Nama metrik

    Definisi dan rumus

    Ambang batas dan skenario yang direkomendasikan

    Penggunaan CPU gateway khusus EAS

    Persentase penggunaan CPU instans gateway (pod).

    Rekomendasi: > 85% selama 5 menit.
    Skenario: Penggunaan tinggi yang berkelanjutan menunjukkan bahwa sumber daya gateway mendekati bottleneck dan mungkin memerlukan skala keluar.

    Penggunaan memori gateway khusus EAS

    Persentase penggunaan memori instans gateway (pod).

    Rekomendasi: > 85% selama 5 menit.
    Skenario: Penggunaan tinggi yang berkelanjutan dapat menyebabkan error kehabisan memori (OOM), yang memengaruhi stabilitas gateway.

    Tingkat keberhasilan keseluruhan gateway khusus EAS

    (Jumlah permintaan dengan kode status HTTP 2xx / Total jumlah permintaan) × 100%.

    Rekomendasi: < 99,9% selama 1 menit.
    Skenario: Ini adalah metrik ketersediaan inti. Penurunan biasanya menandakan masalah kritis pada layanan backend atau konfigurasi gateway.

    Waktu kedaluwarsa sertifikat gateway khusus EAS

    Memantau sisa periode validitas dalam hari dari sertifikat HTTPS yang dikonfigurasi pada gateway.

    Rekomendasi: Sisa hari < 15.
    Skenario: Mencegah gangguan layanan HTTPS akibat sertifikat kedaluwarsa.

    Rasio permintaan 4xx/5xx gateway khusus EAS

    (Jumlah permintaan 4xx atau 5xx / Total jumlah permintaan) × 100%. Kami merekomendasikan mengonfigurasi peringatan terpisah untuk error 4xx dan 5xx.

    Rekomendasi 5xx: > 1% selama 1 menit.
    Rekomendasi 4xx: > 5% selama 5 menit.
    Skenario: Lonjakan error 5xx menunjukkan error sisi server yang kritis. Lonjakan error 4xx mungkin menunjukkan error pemanggilan sisi klien atau masalah otentikasi.

    RT rata-rata gateway khusus EAS

    Waktu respons rata-rata semua permintaan dalam periode statistik, dalam milidetik (ms).

    Rekomendasi: Tetapkan berdasarkan garis dasar bisnis Anda, misalnya > 200 ms selama 3 menit.
    Skenario: Peningkatan RT secara langsung memengaruhi pengalaman pengguna dan perlu mendapat perhatian.

    Volume permintaan gateway khusus EAS dibandingkan hari sebelumnya

    Persentase perubahan jumlah permintaan dalam N menit pada waktu saat ini dibandingkan jumlah permintaan dalam N menit pada waktu yang sama di hari sebelumnya.

    Rekomendasi: < -50% selama 10 menit atau > 200% selama 10 menit.
    Skenario: Digunakan untuk mendeteksi penurunan tiba-tiba dalam traffic (kemungkinan pengecualian layanan) atau lonjakan (kemungkinan serangan atau traffic kampanye).

    Pembatasan laju permintaan gateway khusus EAS

    Total jumlah permintaan yang ditolak oleh kebijakan pembatasan laju gateway dalam periode statistik.

    Rekomendasi: > 10 kali dalam 1 menit.
    Skenario: Pemicuan pembatasan laju yang sering menunjukkan bahwa traffic telah melebihi ekspektasi. Anda perlu mengevaluasi apakah akan menyesuaikan kebijakan pembatasan laju atau melakukan skala keluar.

    Catatan

    Ketika layanan menggunakan gateway khusus, Auto Scaling tidak mendukung skala keluar dari nol. Jumlah replika minimum harus lebih besar dari 0.

    FAQ

    T: Terjadi error saat saya menambahkan VPC: Vswitch vsw-2zeqwh8hv0gb96zcd**** di zona cn-beijing-g tidak didukung, zona yang didukung: [cn-beijing-i cn-beijing-l cn-beijing-k]

    Zona tempat vSwitch yang dipilih berada tidak didukung. Pilih vSwitch di zona yang didukung.

    Lampiran: Struktur jaringan gateway khusus fully-managed

    image

    Referensi

    • Untuk mempelajari lebih lanjut tentang metode pendaftaran layanan, lihat Service invocation overview.

    • Mengonfigurasi timeout gateway khusus secara tepat dapat mencegah kehabisan sumber daya dan penumpukan permintaan, serta meningkatkan pengalaman pengguna. Untuk informasi selengkapnya tentang cara mengonfigurasi timeout, lihat Configure the timeout for a dedicated gateway.