Memanggil layanan menggunakan NLB - Platform For AI

Setelah mengaktifkan koneksi langsung VPC, Anda dapat mengaitkan layanan Elastic Algorithm Service (EAS) dengan instance Network Load Balancer (NLB) yang dibuat di Alibaba Cloud. Integrasi ini memungkinkan pengelolaan dan penjadwalan yang efisien untuk layanan EAS menggunakan NLB, serta memanfaatkan kemampuan kontrol akses dari NLB, ideal untuk layanan berlalu lintas tinggi yang memerlukan load balancing. Topik ini menjelaskan cara mengaitkan instance NLB.

Prasyarat

Sebuah instance NLB telah dibuat. Untuk informasi lebih lanjut, lihat Membuat dan Mengelola Instance NLB.
Sebuah virtual private cloud (VPC), vSwitch, dan grup keamanan telah dibuat untuk mengaktifkan koneksi langsung VPC. Pastikan bahwa grup keamanan tidak digunakan oleh layanan lain dan bahwa vSwitch memiliki jumlah IP yang cukup tersedia untuk instance. Untuk informasi lebih lanjut, lihat Membuat dan Mengelola VPC dan Mengelola Grup Keamanan.

Penagihan

Penggunaan NLB dikenakan biaya. Lihat Aturan Penagihan NLB.

Cara kerjanya

Buat instance NLB dalam VPC dan vSwitch yang ditentukan. Pastikan lingkungan jaringan sesuai dengan yang digunakan untuk koneksi langsung VPC.
Saat penyebaran atau pembaruan layanan, aktifkan koneksi langsung VPC dan kaitkan instance NLB dengan port listener. EAS akan menambahkan antarmuka jaringan elastis (ENI) di bawah vSwitch ke pod EAS dan menambahkan Listener TCP ke instance NLB, sehingga memungkinkan akses ke layanan EAS menggunakan Domain NLB:port listener.

Mount NLB

Untuk mengaitkan instance NLB, sertakan parameter kunci berikut dalam file konfigurasi JSON saat menerapkan atau memperbarui layanan. Untuk informasi tentang cara menerapkan atau memperbarui layanan EAS, lihat Parameter untuk Penyebaran Kustom di Konsol dan Jalankan Perintah untuk Menggunakan Klien EASCMD.

"cloud": {
        "networking": {
            "vpc_id": "vpc-bp15jr4ggze4rvow39****",
            "vswitch_id": "vsw-bp11dobkizy0jjsgn****",
            "security_group_id": "sg-bp1dz9lad9s0615r****"
        }
    },
"networking": {
        "nlb": [
            {
               "id": "nlb-5q4sp7u6oorkha****",
                "listener_port": 9090
            }
        ]
    }

Penting

Seperti yang ditunjukkan pada kode di atas, konfigurasi untuk instance NLB (networking) harus berada pada level yang sama dengan cloud.

Parameter			Deskripsi
cloud	networking	vpc_id	Aktifkan koneksi langsung VPC dengan mengonfigurasi VPC, vSwitch, dan grup keamanan. Penting Gunakan VPC yang sama dengan instance NLB. Pastikan bahwa grup keamanan tidak digunakan oleh produk cloud lainnya dan bahwa jumlah IP yang tersedia di vSwitch sesuai dengan jumlah instance. IP instance EAS dan port 8080-nya berada dalam rentang IP dan port masuk yang diizinkan oleh grup keamanan.
		vswitch_id
		security_group_id
networking	nlb	id	ID instance NLB yang telah dibuat.
		listener_port	Port kustom. Saat menerapkan layanan, EAS akan secara otomatis membuatnya sebagai port listener dari instance NLB. Setelah layanan berhasil diterapkan, Anda dapat mengakses layanan EAS melalui `Nama domain NLB:port listener`. Catatan Karena mesin EAS mendengarkan pada port 8080, port tersebut tidak boleh 8080. Gunakan port yang tidak didengarkan oleh NLB untuk menghindari konflik.

Verifikasi konektivitas jaringan

Setelah penyebaran layanan berhasil, konfirmasikan konektivitas jaringan dari Nama domain NLB:port listener:

Untuk melihat nama domain NLB, masuk ke Konsol NLB dan periksa kolom Domain Name untuk instance yang diinginkan.
Gunakan perintah telnet nama domain port listener untuk menguji konektivitas domain NLB. Port listener adalah listener_port yang Anda tentukan saat penyebaran layanan, dan nama domain diperiksa pada langkah sebelumnya.
- Untuk NLB jaringan internet, jalankan perintah di terminal lokal Anda.
- Untuk NLB jaringan intranet, jalankan perintah di terminal dalam VPC.
Hasil sampel ditampilkan di bawah ini:

Anda kemudian dapat mengakses layanan EAS menggunakan nama domain NLB dan port. Contoh perintah:

# Contoh perintah  
curl http://<Nama domain NLB>:<port listener>/api/predict/<service_name> -H 'Authorization:<service_token>' -d '[{"Apa ibu kota Zhejiang?"}]'
# Contoh hasil
{"response":"Ibu kota Zhejiang adalah Hangzhou.","history":[["[{\"Apa ibu kota Zhejiang?\"}]","Ibu kota Zhejiang adalah Hangzhou."]]}

Dimana:

Alamat akses layanan adalah http://<Nama domain NLB>:<port listener>/api/predict/<service_name>. Untuk melihatnya:
1. Klik nama layanan yang diinginkan di halaman Elastic Algorithm Service (EAS).
2. Klik Lihat Informasi Endpoint di bagian Informasi Dasar.
3. Ganti alamat domain gateway bersama di endpoint dengan <Nama domain NLB>:<port listener>.
  - <Nama domain NLB>: Nama domain yang diperiksa sebelumnya.
  - <port listener>: Gunakan listener_port yang ditentukan selama penyebaran layanan.
<service_token>: Ikuti langkah a dan b untuk melihatnya.