Scale PAI EAS Traffic with NLB Load Balancing - Platform for AI

Kaitkan layanan Elastic Algorithm Service (EAS) dengan NLB untuk mengaktifkan load balancing dan kontrol akses pada penerapan bertrafik tinggi.

Prasyarat

Buat instans NLB. Untuk informasi selengkapnya, lihat Buat dan kelola instans NLB.
Buat VPC, vSwitch, dan security group untuk mengaktifkan koneksi langsung VPC. Pastikan security group dikhususkan untuk layanan ini dan vSwitch memiliki cukup alamat IP tersedia. Untuk informasi selengkapnya, lihat Buat dan kelola VPC dan Kelola security group.

Penagihan

Penggunaan NLB dikenai biaya. Untuk informasi selengkapnya, lihat Aturan penagihan NLB.

Cara kerja

Buat instans NLB di VPC dan vSwitch yang ditentukan. Pastikan lingkungan jaringan sesuai dengan konfigurasi koneksi langsung VPC.
Saat menerapkan atau memperbarui layanan, aktifkan koneksi langsung VPC dan kaitkan instans NLB dengan port listener. EAS menyambungkan elastic network interface (ENI) di bawah vSwitch ke Pod EAS dan menambahkan TCP listener ke instans NLB, sehingga memungkinkan akses ke layanan EAS menggunakan domain NLB:port listener.

Kaitkan instans NLB

Sertakan parameter berikut dalam file konfigurasi JSON saat menerapkan atau memperbarui layanan. Untuk informasi tentang penerapan atau pembaruan layanan EAS, lihat Terapkan layanan inferensi kustom dan Jalankan perintah untuk menggunakan klien EASCMD.

"cloud": {
        "networking": {
            "vpc_id": "vpc-bp15jr4ggze4rvow39****",
            "vswitch_id": "vsw-bp11dobkizy0jjsgn****",
            "security_group_id": "sg-bp1dz9lad9s0615r****"
        }
    },
"networking": {
        "nlb": [
            {
               "id": "nlb-5q4sp7u6oorkha****",
                "listener_port": 9090
            }
        ]
    }

Penting

Konfigurasi untuk instans NLB (networking) harus berada pada level yang sama dengan cloud.

Parameter			Deskripsi
cloud	networking	vpc_id	Mengaktifkan koneksi langsung VPC dengan mengonfigurasi VPC, vSwitch, dan security group. Penting Gunakan VPC yang sama dengan instans NLB. Pastikan security group tidak digunakan oleh produk cloud lain dan vSwitch memiliki IP tersedia yang cukup. IP instans EAS dan port 8080 harus berada dalam rentang IP dan port inbound yang diizinkan oleh security group.
		vswitch_id
		security_group_id
networking	nlb	id	ID instans NLB yang telah dibuat.
		listener_port	Port kustom. Saat menerapkan layanan, EAS secara otomatis membuatnya sebagai port listener instans NLB. Setelah penerapan berhasil, akses layanan EAS melalui `nama domain NLB:port listener`. Catatan Port tidak boleh 8080 karena mesin EAS mendengarkan pada port 8080. Gunakan port yang tidak didengarkan oleh NLB untuk menghindari konflik.

Verifikasi konektivitas jaringan

Setelah penerapan layanan berhasil, verifikasi konektivitas jaringan untuk nama domain NLB:port listener:

Lihat nama domain NLB di Konsol NLB. Periksa kolom Domain Name untuk instans tersebut.
Uji konektivitas menggunakan telnet nama domain port listener. Gunakan listener_port yang Anda tentukan saat penerapan layanan dan nama domain dari langkah sebelumnya.
- Untuk NLB internet, jalankan perintah di terminal lokal Anda.
- Untuk NLB intranet, jalankan perintah di terminal dalam VPC.
Contoh hasil:

Akses layanan EAS menggunakan nama domain dan port NLB. Contoh perintah:

# Contoh perintah
curl http://<domain NLB>:<port listener>/api/predict/<service_name> -H 'Authorization:<service_token>' -d '[{"What is the capital city of Zhejiang?"}]'
# Contoh hasil
{"response":"The capital city of Zhejiang is Hangzhou.","history":[["[{\"What is the capital city of Zhejiang?\"}]","The capital city of Zhejiang is Hangzhou."]]}

Deskripsi parameter:

Alamat akses layanan adalah http://<nama domain NLB>:<port listener>/api/predict/<service_name>. Untuk melihatnya:
1. Klik nama layanan yang diinginkan pada halaman Elastic Algorithm Service (EAS).
2. Klik View Endpoint Information di bagian Basic Information.
3. Ganti alamat domain shared gateway pada endpoint dengan <nama domain NLB>:<port listener>.
  - Nama domain NLB: Nama domain yang telah diperiksa sebelumnya.
  - Port listener: Gunakan listener_port yang ditentukan saat penerapan layanan.
Token layanan: Lihat dengan mengikuti langkah a dan b.