PAI-EAS menyediakan berbagai metode akses dan dua protokol komunikasi yang dapat dikombinasikan sesuai kebutuhan jaringan dan kinerja Anda.
Panduan skenario
Setelah layanan diterapkan, layanan tersebut dapat dipanggil melalui shared gateway menggunakan HTTP secara default tanpa konfigurasi tambahan. Gunakan panduan berikut untuk menemukan informasi yang sesuai dengan skenario Anda:
Mulai dengan cepat: Jika layanan Anda telah diterapkan dan Anda ingin memanggilnya melalui shared gateway default, lihat Memanggil layanan melalui gateway.
Gunakan metode akses lainnya: Jika shared gateway tidak memenuhi kebutuhan Anda, pelajari opsi lain beserta konfigurasinya, seperti dedicated gateway, koneksi langsung VPC, Network Load Balancer (NLB), atau service discovery (Nacos). Untuk informasi selengkapnya, lihat Memilih metode akses di bawah ini.
Gunakan protokol gRPC: Untuk memanfaatkan protokol biner gRPC guna mengurangi overhead jaringan dan meningkatkan kinerja inferensi, lihat Memanggil layanan inferensi PAI-EAS melalui gRPC.
Cara kerja
Alur data umum untuk pemanggilan layanan PAI-EAS adalah sebagai berikut:
Klien mengirim permintaan: Aplikasi Anda mengirim permintaan inferensi ke titik akhir layanan PAI-EAS, yang dapat berupa gateway atau alamat koneksi langsung.
Routing titik akhir: Permintaan diarahkan ke instans layanan backend melalui metode pilihan Anda: shared gateway, dedicated gateway, koneksi langsung VPC, NLB, atau Nacos. Jika Anda menggunakan gateway, lapisan gateway menangani load balancing dan routing. Jika Anda menggunakan koneksi langsung, klien memilih instans target.
Pemrosesan oleh instans layanan: Saat permintaan mencapai instans layanan PAI-EAS, proses layanan model menjalankan perhitungan inferensi dan mengembalikan hasil yang telah diserialisasi dalam format tertentu, seperti JSON atau Protobuf.
Klien menerima respons: Setelah menerima hasil inferensi, klien mengurai data tersebut dan melanjutkan logika bisnisnya.
Metode akses
Pilih metode akses berdasarkan kasus penggunaan Anda.
Skenario | Metode yang direkomendasikan | Jalur jaringan | Biaya konfigurasi |
Validasi cepat, layanan dengan traffic rendah | Internet atau VPC melalui shared gateway | Gratis, konfigurasi sederhana | |
Keamanan tinggi, stabilitas tinggi, traffic tinggi | Internet atau VPC melalui dedicated gateway | Memerlukan pembuatan dan konfigurasi gateway. Biaya tambahan berlaku. | |
Skenario latensi rendah dan konkurensi tinggi di mana klien dan layanan PAI-EAS berada dalam VPC yang sama | Koneksi langsung ke instans layanan dalam VPC yang sama, melewati gateway | Memerlukan konfigurasi VPC | |
Traffic tinggi dengan load balancing | Diteruskan melalui NLB (NLB dan layanan PAI-EAS harus berada dalam VPC yang sama) | Memerlukan pembuatan atau asosiasi NLB | |
Sistem governance layanan berbasis Nacos yang sudah ada | Terdaftar dan ditemukan melalui Nacos (Instans Nacos dan layanan PAI-EAS harus berada dalam VPC yang sama) | Anda harus menyediakan instans Nacos. |
Setelah Anda mengonfigurasi VPC, vSwitch, dan security group untuk layanan PAI-EAS:
Tidak dibatasi oleh aturan grup keamanan: Saat Anda mengakses PAI-EAS melalui shared gateway atau dedicated gateway, aturan grup keamanan tidak berlaku. Untuk dedicated gateway, Anda dapat mengonfigurasi daftar izin (allowlist) untuk mengontrol akses.
Dibatasi oleh aturan grup keamanan: Saat Anda mengakses PAI-EAS melalui NLB, Nacos, atau koneksi langsung VPC, semua lalu lintas, termasuk seluruh lalu lintas keluar dari PAI-EAS, tunduk pada aturan grup keamanan.
Protokol komunikasi
PAI-EAS mendukung dua protokol komunikasi. Protokol yang tersedia bergantung pada jenis layanan yang Anda terapkan:
HTTP/JSON (Default): Diaktifkan secara otomatis setelah penerapan. Cocok untuk sebagian besar kasus penggunaan.
gRPC: Protokol biner berkinerja tinggi untuk skenario inferensi yang sensitif terhadap kinerja atau streaming. Anda harus mengaktifkannya secara manual saat penerapan.
FAQ
Akses lintas wilayah dan penagihan
T: Bagaimana cara mengakses layanan dari wilayah berbeda melalui jaringan pribadi (menggunakan titik akhir VPC gateway)?
Saat layanan PAI-EAS dan klien berada dalam VPC berbeda lintas wilayah, pendekatannya bervariasi tergantung jenis gateway:
Application Dedicated Gateway: Anda hanya perlu membuat koneksi jaringan lintas VPC menggunakan layanan seperti CEN atau VPC Peering Connection. Untuk informasi selengkapnya, lihat Interkoneksi VPC.
Fully Managed Dedicated Gateway: Selain membuat koneksi jaringan lintas VPC, Anda harus mengasosiasikan VPC klien dengan dedicated gateway. Untuk informasi selengkapnya, lihat Mengakses fully managed dedicated gateway dari VPC lain.
T: Apakah saya perlu membayar untuk lalu lintas lintas wilayah melalui koneksi VPC pribadi? Apa kelebihannya dibandingkan menggunakan Internet?
Ya. Saat Anda membuat koneksi lintas wilayah melalui jaringan pribadi, Anda tetap dikenai biaya untuk lalu lintas lintas wilayah tersebut. Biaya spesifik bergantung pada metode interkoneksi yang Anda gunakan. Koneksi VPC pribadi menawarkan kelebihan berikut dibandingkan akses melalui Internet:
Keamanan lebih baik: Layanan tidak terpapar ke Internet, sehingga mengurangi risiko keamanan.
Kecepatan lebih tinggi dan latensi lebih rendah: Jaringan pribadi menyediakan kualitas tautan yang stabil.
Biaya lalu lintas lebih rendah: Biaya lalu lintas jaringan pribadi biasanya lebih rendah daripada biaya lalu lintas Internet.
Untuk lingkungan produksi, kami merekomendasikan penggunaan titik akhir VPC pribadi untuk akses lintas wilayah.
Pemanggilan antar layanan
Jika aplikasi Anda diterapkan dalam kontainer PAI-EAS dan perlu memanggil layanan PAI-EAS lain, perhatikan hal-hal berikut:
Persyaratan autentikasi: Semua permintaan harus menyertakan Authorization Token yang valid di Header, baik Anda menggunakan titik akhir publik maupun titik akhir VPC pribadi.
Penyebab umum kegagalan: Secara default, layanan PAI-EAS tidak dapat mengakses Internet. Upaya memanggil layanan PAI-EAS lain menggunakan titik akhir publik mereka akan gagal. Untuk mengatasinya, lihat Mengonfigurasi akses jaringan untuk layanan PAI-EAS. Jika Anda mengalami kode kesalahan 401, 502, atau lainnya, lihat Lampiran: Kode status layanan dan kesalahan umum untuk troubleshooting.
Praktik yang direkomendasikan: Gunakan titik akhir VPC pribadi untuk pemanggilan antar layanan dalam PAI-EAS guna memastikan konektivitas jaringan dan keamanan.