PAI-EAS menyediakan berbagai metode akses dan dua protokol komunikasi yang dapat Anda kombinasikan sesuai kebutuhan jaringan dan kinerja Anda.
Skenario
Secara default, Anda dapat memanggil layanan yang telah diterapkan melalui gateway bersama menggunakan HTTP tanpa perlu konfigurasi tambahan. Gunakan panduan berikut untuk menemukan informasi yang sesuai dengan kasus penggunaan Anda:
Mulai cepat: Untuk memanggil layanan yang telah diterapkan menggunakan gateway bersama default, lihat Panggil Layanan Melalui Gateway.
Jelajahi metode akses lainnya: Jika gateway bersama tidak memenuhi kebutuhan Anda, lihat Pilih Metode Akses untuk mempelajari alternatif seperti gateway khusus, koneksi langsung VPC, Network Load Balancer (NLB), atau penemuan layanan (Nacos).
Gunakan gRPC: Untuk menggunakan protokol biner gRPC guna mengurangi overhead jaringan dan meningkatkan kinerja inferensi, lihat Panggil Layanan Inferensi PAI-EAS Menggunakan gRPC.
Cara kerja
Alur data untuk pemanggilan layanan PAI-EAS adalah sebagai berikut:
Permintaan client: Aplikasi Anda mengirim permintaan inferensi ke titik akhir layanan PAI-EAS, yang dapat berupa gateway atau alamat koneksi langsung.
Routing titik akhir: Titik akhir meneruskan permintaan ke instans layanan backend melalui metode akses yang Anda pilih: gateway bersama, gateway khusus, koneksi langsung VPC, NLB, atau Nacos. Untuk metode berbasis gateway, lapisan gateway menangani load balancing dan routing. Untuk metode koneksi langsung, client memilih instans layanan target.
Pemrosesan oleh instans layanan: Saat permintaan mencapai instans layanan PAI-EAS, proses serving model menjalankan perhitungan inferensi dan melakukan serialisasi hasil ke dalam format yang ditentukan, seperti JSON atau ProtoBuf, sebelum mengembalikannya.
Client menerima respons: Setelah menerima hasil inferensi, client mengurai data respons berdasarkan jenis permintaan dan melanjutkan logika bisnisnya.
Metode akses
Metode akses yang Anda pilih tergantung pada lingkungan jaringan Anda.
Metode | Jalur jaringan | Biaya konfigurasi | Kasus penggunaan |
Internet atau VPC melalui gateway bersama | Tidak perlu konfigurasi | Validasi cepat dan layanan dengan traffic rendah | |
Internet atau VPC melalui gateway khusus (mendukung akses cross-VPC dan cross-cloud) | Perlu pembuatan dan dikenai biaya tambahan | Untuk layanan yang memerlukan keamanan, stabilitas, dan kapasitas traffic tinggi | |
Terhubung langsung ke instans dalam VPC yang sama, melewati gateway | Perlu konfigurasi VPC | Skema latensi rendah dan konkurensi tinggi | |
Meneruskan traffic melalui NLB dalam VPC yang sama | Perlu membuat atau mengaitkan instans NLB | Traffic tinggi dengan load balancing | |
Menggunakan Nacos untuk registrasi dan penemuan dalam VPC yang sama | Perlu instans Nacos yang dikelola sendiri | Untuk lingkungan yang sudah menggunakan Nacos untuk tata kelola layanan |
Setelah Anda mengonfigurasi Virtual Private Cloud (VPC), vSwitch, dan security group untuk layanan PAI-EAS Anda:
Tidak dibatasi oleh aturan security group: Akses melalui gateway bersama atau gateway khusus tidak terpengaruh oleh aturan security group. Namun, Anda dapat mengonfigurasi daftar izin (allowlist) untuk gateway khusus.
Dibatasi oleh aturan security group: Akses melalui Network Load Balancer (NLB), Nacos, atau koneksi langsung VPC tunduk pada aturan security group. Seluruh lalu lintas outbound dari PAI-EAS juga tunduk pada aturan tersebut.
Protokol komunikasi yang didukung
Protokol yang dapat Anda gunakan tergantung pada jenis layanan Anda:
HTTP/JSON (Default): Diaktifkan secara default setelah penerapan dan cocok untuk sebagian besar skenario.
gRPC: Protokol biner berkinerja tinggi yang cocok untuk skenario inferensi yang sensitif terhadap kinerja atau streaming. Anda harus mengaktifkan protokol ini secara manual selama penerapan.