Mengasosiasikan layanan Elastic Algorithm Service (EAS) dengan instans Network Load Balancer (NLB) memungkinkan pengelolaan dan penjadwalan layanan secara terpusat. Konfigurasi ini memanfaatkan fitur kontrol akses NLB yang kuat, sehingga ideal untuk layanan bertrafik tinggi yang memerlukan load balancing.
Asosiasi NLB saat ini tidak mendukung routing cerdas LLM.
Penagihan
Penggunaan Network Load Balancer (NLB) dikenai biaya. Untuk informasi lebih lanjut, lihat aturan penagihan NLB.
Cara kerja
-
Setelah Anda mengonfigurasi VPC untuk layanan EAS, sistem akan menetapkan alamat IP dari dalam VPC ke setiap Pod layanan tersebut.
-
Saat Anda mengasosiasikan instans NLB dari VPC yang sama dengan layanan EAS, sistem akan menambahkan TCP listener ke instans NLB tersebut. Listener ini meneruskan permintaan yang diterima pada port listener langsung ke layanan EAS.
Prosedur
Konfigurasi di Konsol
Pada halaman konfigurasi penerapan, di bagian Network Information, konfigurasikan VPC dan aktifkan Associate NLB.
-
Konfigurasi jaringan VPC: Untuk mengasosiasikan instans NLB, Anda harus mengonfigurasi VPC, vSwitch, dan security group untuk layanan EAS. Jika Anda belum memiliki sumber daya tersebut, lihat Buat dan kelola VPC dan Kelola security group.
-
VPC: Jika Anda mengasosiasikan instans NLB yang sudah ada, Anda harus menggunakan VPC yang sama dengan instans NLB tersebut.
-
vSwitch: Pastikan vSwitch memiliki cukup alamat IP tersedia untuk jumlah replika.
-
Security group:
-
Pastikan security group tersebut tidak digunakan oleh produk cloud lainnya.
-
Aturan masuk (inbound rules) security group harus mengizinkan traffic dari rentang IP dan port yang Anda otorisasi ke instans EAS pada port 8080.
-
-
-
Aktifkan Associate NLB dan pilih Configuration Method:
-
Use System-Created NLB Instance: Sistem secara otomatis membuat instans NLB di akun Anda. Siklus hidupnya terikat pada penerapan layanan saat ini.
-
Associate Existing NLB Instance: Pilih instans NLB yang sudah ada. Layanan EAS harus dikonfigurasi dengan VPC yang sama seperti instans NLB tersebut. Untuk membuat instans, lihat Buat instans NLB.
-
-
Network Selection:
-
Opsi ini hanya tersedia jika Anda memilih Use System-Created NLB Instance.
-
Anda dapat memilih internet atau intranet. Jika Anda memilih keduanya, dua instans NLB akan dibuat.
-
-
Port Number: Port listener untuk NLB. Ini opsional. Nilainya harus berada di antara 1 hingga 65535.
-
Jika Anda menentukan port, Anda dapat mengakses layanan EAS di
NLB domain name:listener port.Penting-
Jangan gunakan port 8080. Mesin EAS secara default mendengarkan pada port ini. Menggunakannya sebagai port listener akan menyebabkan konflik port dan mencegah layanan berjalan dengan benar.
-
Untuk menghindari konflik, gunakan port yang belum digunakan oleh listener NLB lainnya.
-
-
Jika Anda biarkan kosong, sistem akan mengaktifkan fitur all-port untuk listener NLB. Anda kemudian dapat mengakses layanan EAS di
NLB domain name:service port.
-
Konfigurasi menggunakan JSON
Parameter JSON berikut diperlukan untuk mengasosiasikan instans NLB. Untuk detail cara mengonfigurasi setiap parameter, lihat Konfigurasi konsol.
|
Parameter |
Deskripsi |
||
|
cloud |
networking |
vpc_id |
Menentukan ID VPC, ID vSwitch, dan ID security group untuk layanan EAS. |
|
vswitch_id |
|||
|
security_group_id |
|||
|
networking |
nlb |
id |
Menentukan cara mengasosiasikan NLB. Nilai yang valid:
|
|
net_type |
Jenis jaringan. Parameter ini hanya diperlukan jika Anda menggunakan instans NLB yang dibuat sistem. Nilai yang valid:
|
||
|
listener_port |
Port listener untuk NLB. |
||
Contoh konfigurasi:
{
"cloud": {
"computing": {
.... // Deployment resources
},
"networking": {
"security_group_id": "sg-bp1brugkivv2im5738q9",
"vpc_id": "vpc-bp1uepgqtarjwghnfy9po",
"vswitch_id": "vsw-bp1glkxasep5isqpvbj0t,vsw-bp1atvza5gzz0hedw2eci"
}
},
"metadata": {
.... // Other configuration information
},
"networking": {
"nlb": [
{
"id": "default",
"listener_port": 80,
"net_type": "internet"
}
]
}
}
Verifikasi konektivitas jaringan
Setelah layanan diterapkan, verifikasi bahwa Anda dapat terhubung ke NLB domain name:listener port:
-
Login ke Konsol NLB. Temukan nama domain instans NLB target Anda di kolom DNS Name.
-
Jalankan perintah
telnetuntuk memverifikasi konektivitas.Port listener adalah port yang Anda tentukan saat mengasosiasikan instans NLB selama penerapan. Jika Anda tidak menentukannya, gunakan port layanan EAS. Nama domain adalah nama DNS yang Anda peroleh pada langkah sebelumnya.
-
NLB Internet: Jalankan perintah dari terminal lokal Anda.
-
NLB Intranet: Jalankan perintah dari terminal di dalam VPC.
Koneksi yang berhasil akan tampak seperti berikut:
-
-
Panggil layanan EAS menggunakan nama domain dan port NLB-nya. Contoh berikut menunjukkan perintah dan hasil contoh. Perintah dan hasil Anda mungkin berbeda.
# Contoh perintah curl http://:/path/to/api -H 'Authorization:' -d '[{"What is the capital of Zhejiang?"}]' # Contoh hasil {"response":"The capital of Zhejiang is Hangzhou.","history":[["[{\"What is the capital of Zhejiang?\"}]","The capital of Zhejiang is Hangzhou."]]}Bagian
:menggantikan nama domain gateway di titik akhir layanan. Misalnya, jika titik akhir layanan aslinya adalahhttp://123456***.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/your-service-name, maka URL permintaan yang sesuai menggunakan NLB adalahhttp://:/api/predict/your-service-name.