Akses layanan di dalam instans melalui jaringan publik - Platform For AI

Data Science Workshop (DSW) dapat mengekspos layanan yang berjalan di dalam suatu instans—seperti API model dan antarmuka web—ke jaringan publik. Anda kemudian dapat mengakses layanan tersebut langsung dari browser atau membagikannya dengan rekan kerja untuk pengujian. Fitur ini dibangun di atas sumber daya NAT Gateway dan Elastic IP Address (EIP), serta ditujukan untuk pengembangan dan pengujian.

Catatan penggunaan

Biaya tambahan berlaku: Akses jaringan publik memerlukan NAT Gateway dan Elastic IP Address (EIP), dan kedua sumber daya tersebut ditagih secara terpisah.
Tipe instans yang didukung: Anda dapat mengonfigurasi akses jaringan publik untuk instans di kelompok sumber daya publik yang tipe instansnya tidak diawali dengan ecs.ebm, serta untuk instans komputasi cerdas Lingjun. Setiap instans mendukung maksimal 5 layanan kustom.
Layanan kustom berhenti saat instans DSW berhenti: Ketika instans DSW berhenti, layanan di dalamnya beserta akses jaringan publiknya menjadi tidak tersedia.
Gunakan PAI-EAS untuk lingkungan produksi: Untuk layanan yang stabil dan berdaya tinggi yang mendukung skalabilitas elastis, deploy model Anda ke PAI-EAS (Elastic Algorithm Service).

Cara kerja

Untuk membuat layanan di dalam instans DSW dapat dijangkau dari jaringan publik (misalnya, API yang mendengarkan pada port 9000), sumber daya berikut digunakan:

EIP: Menyediakan alamat IP publik tetap (121.40.**.**). Ini merupakan titik masuk untuk akses jaringan publik.
NAT Gateway: Berada di virtual private cloud (VPC) Anda dan memetakan permintaan dari jaringan publik (EIP:port) ke instans DSW di jaringan pribadi (IP privat:port).
Security group: Mengontrol trafik ke instans DSW seperti firewall. Anda harus secara eksplisit menambahkan aturan yang mengizinkan trafik publik pada port tempat layanan Anda mendengarkan, misalnya 9000. Langkah ini sangat penting agar akses berhasil.

Alur inti: Pengguna eksternal (browser/tool) -> EIP:port -> NAT Gateway -> vSwitch -> pemeriksaan aturan security group -> IP privat instans DSW:port -> layanan Anda

Penagihan

Biaya untuk NAT Gateway dan EIP mulai dikenakan segera setelah sumber daya dibuat.
Meskipun instans DSW dihentikan, biaya tetap berjalan selama NAT Gateway dan EIP belum dihapus.
Instans DSW itu sendiri ditagih berdasarkan statusnya. Instans bayar sesuai penggunaan berhenti menghasilkan biaya setelah dihentikan.

Konfigurasi akses jaringan publik

Konfigurasi akses jaringan publik saat membuat instans DSW

Buat instans DSW dan konfigurasikan parameter jaringan utama berikut.
- Pada bagian Network Information, pilih VPC dan security group Anda. Untuk membuat sumber daya ini, ikuti langkah-langkah di bagian ini. Untuk informasi lebih lanjut, lihat Buat VPC dan vSwitch dan Buat security group. VPC dan security group harus berada di wilayah yang sama dengan instans DSW.
  Langkah-langkah membuat VPC, vSwitch, dan security group
  1. Pada halaman konfigurasi DSW, klik Create VPC.
    Konfigurasikan nama VPC, blok CIDR IPv4, dan informasi vSwitch. Biarkan parameter lain pada nilai default, lalu klik OK untuk membuat VPC dan vSwitch.
  2. Kembali ke halaman konfigurasi DSW. Di VPC Settings, pilih VPC yang baru saja Anda buat.
  3. Klik Create Security Group. Biarkan parameter default dan klik Create. Lalu kembali ke halaman konfigurasi DSW dan atur Security Group ID ke security group yang baru saja Anda buat.
    Pastikan security group mengizinkan akses inbound pada port 22.
- Temukan Service Access and Port Configuration dan klik Add. Untuk membuat NAT Gateway dan EIP, ikuti langkah-langkah berikut. NAT Gateway dan EIP harus berada di wilayah yang sama dengan instans DSW.
- Masukkan Service Name dan Listener Port (misalnya, 9000).
- Pilih Access over Internet, dan atur Internet Access Port (misalnya, 9000).
- Klik DNAT+EIP, lalu pilih NAT Gateway dan EIP Anda.
  Langkah-langkah membuat NAT Gateway dan EIP
  1. Klik Create NAT Gateway.
    Pada halaman pembuatan NAT Gateway, konfigurasikan parameter atau biarkan nilai default, lalu klik Create EIP.
  2. Pada halaman pembuatan EIP, konfigurasikan parameter atau biarkan nilai default, lalu klik Buy Now.
  3. Kembali ke halaman pembuatan NAT Gateway. Di Elastic IP Address Instance, pilih EIP yang baru saja Anda buat, lalu klik Buy Now untuk membuat NAT Gateway.
  Selain itu, Anda juga dapat menggunakan Network Load Balancer (NLB). Saat membuat NLB, atur Instance Network Type ke Public, dan pilih VPC yang sama dengan instans DSW. Untuk informasi lebih lanjut, lihat Network Load Balancer.
  Catatan
  Jika beberapa instans DSW berbagi entri DNAT dan EIP (atau NLB) yang sama, gunakan port berbeda untuk akses publik.
Tambahkan aturan inbound untuk port pendengar ke security group yang Anda pilih. Parameter utamanya sebagai berikut. Untuk informasi lebih lanjut, lihat Tambahkan aturan security group.
- Authorization Policy: Allow
- Protocol Type: Pilih protokol yang digunakan layanan Anda, seperti TCP.
- Port Range: Masukkan port pendengar yang Anda konfigurasi, seperti 9000/9000.
- Authorization Object: 0.0.0.0/0 (mengizinkan akses dari semua alamat IP publik; hanya untuk pengujian) atau rentang IP terbatas sesuai kebutuhan Anda. Untuk lingkungan produksi, batasi ketat alamat IP sumber.
  Setelah aturan ditambahkan, daftar aturan inbound security group akan menampilkan aturan dengan protokol Custom TCP, range port 9000/9000, dan sumber 0.0.0.0/0.

Konfigurasi akses jaringan publik untuk instans DSW yang sudah ada

Untuk instans DSW yang sudah ada, Anda dapat mengubah konfigurasi akses jaringan publik dengan salah satu cara berikut:

Catatan: Untuk menambah atau mengubah sumber daya seperti VPC atau NAT Gateway, Anda tetap harus menggunakan Change Settings, lalu restart instans.

Konfigurasi di halaman detail instans

Di halaman daftar instans DSW, klik nama instans untuk membuka halaman detail dan ubah konfigurasi akses jaringan publik.

Di bagian Access Configurations halaman detail, temukan baris Custom Service dan klik Modify Configuration untuk mengonfigurasi akses jaringan publik. Jika Anda perlu membuka port selama konfigurasi, dapatkan Security Group ID dari bagian Network Configuration (misalnya, sg-bp1g37d4lmajq...), lalu buka security group tersebut untuk menambahkan aturan yang sesuai.

Konfigurasi di dalam instans DSW

Di lingkungan pengembangan DSW, klik Change Settings di bagian atas halaman untuk mengubah layanan kustom.

Di panel navigasi kiri, klik Access Configurations. Bagian layanan kustom menampilkan layanan yang telah dikonfigurasi (misalnya, layanan bernama gradio dengan port pendengar 9000) beserta URL akses publik dan status konfigurasinya. Klik Modify Configuration untuk mengedit layanan kustom.

Di panel navigasi kiri, klik Network. Di informasi konfigurasi jaringan di sebelah kanan, temukan Security Group ID (misalnya, sg-bp1g37d4lmajugsicmz2) dan catat untuk konfigurasi aturan security group.

Uji konektivitas

Di Terminal DSW, jalankan perintah berikut untuk menjalankan server HTTP bawaan Python:

# Buat file HTML yang berisi konten uji
echo 'Hello, World!' > index.html
# Jalankan server HTTP bawaan Python (mendengarkan pada port 9000)
python -m http.server 9000 --bind 0.0.0.0

Di halaman detail instans, lihat Access Configurations untuk mendapatkan URL akses.
Tabel di bagian Access Configurations berisi dua kolom informasi alamat: VPC Access dan Public Access. Saat status konfigurasi adalah Ready, URL akses yang sesuai tersedia.
Untuk akses jaringan publik, salin URL akses publik 121.40.**.**:9000 dan buka di browser. Jika Hello, World! dikembalikan, layanan tersebut dapat diakses melalui jaringan publik.

Penerapan di produksi

Hanya untuk pengembangan dan pengujian: Fitur akses jaringan publik DSW ditujukan untuk pengujian sementara dan debugging kolaboratif.
Deploy layanan produksi ke PAI-EAS: Deploy layanan inferensi ke PAI-EAS untuk penggunaan produksi. PAI-EAS menyediakan kemampuan berikut:
- Ketersediaan tinggi dan load balancing.
- Skalabilitas elastis otomatis untuk menangani fluktuasi trafik.
- Pemantauan Peringatan komprehensif, manajemen versi, dan rilis canary.
- Akses jaringan publik dan model penagihan yang dioptimalkan. Untuk informasi lebih lanjut, lihat PAI-EAS.
Kurangi biaya:
- Setelah instans DSW dihentikan: Instans DSW itu sendiri (bayar sesuai penggunaan) berhenti menghasilkan biaya. Namun, NAT Gateway dan EIP terus menghasilkan biaya selama masih ada.
- Saat Anda tidak lagi memerlukan akses jaringan publik: Jika Anda yakin tidak lagi memerlukannya, hapus NAT Gateway dan EIP untuk menghentikan biaya terkait. Anda dapat menghapusnya di Konsol VPC dan Konsol EIP.

FAQ

T: Saya telah mengonfigurasi akses jaringan publik, tetapi akses browser atau koneksi eksternal gagal (This site can't be reached, Connection refused, atau timeout). Apa yang harus saya lakukan?

Langkah 1: Periksa aturan security group (penyebab paling umum)
- Pastikan aturan inbound telah ditambahkan ke security group.
- Pastikan Port Range aturan mencakup port yang Anda konfigurasi, seperti 9000.
- Pastikan Authorization Object aturan mencakup alamat IP publik Anda atau 0.0.0.0/0.
- Pastikan Protocol Type aturan (TCP/UDP) benar.
Langkah 2: Pastikan layanan berjalan dan mendengarkan pada port yang benar
- Di Terminal instans DSW, jalankan netstat -tunlp | grep <port> (misalnya, netstat -tunlp | grep 9000) untuk memeriksa apakah ada proses yang mendengarkan pada port tersebut.
- Pastikan proses layanan aplikasi telah dijalankan dan mendengarkan pada port yang dikonfigurasi.
Langkah 3: Periksa status NAT Gateway dan EIP
- Di Konsol VPC, pastikan NAT Gateway berada dalam status Running.
- Di Konsol EIP, pastikan EIP terkait berada dalam status Associated dan akun tidak memiliki pembayaran tertunda.
Langkah 4: Uji secara lokal: Di dalam instans DSW, jalankan curl http://localhost:<port> atau curl http://<IP privat instans>:<port> untuk memeriksa apakah layanan merespons.
Langkah 5: Gunakan tool diagnosa jaringan:
- VPC Alibaba Cloud menyediakan Network Intelligence Service (NIS) untuk membantu troubleshooting masalah jalur (NIS harus diaktifkan terlebih dahulu).
- Di dalam instans DSW, jalankan telnet <EIP> <port> untuk menguji konektivitas port (instal telnet terlebih dahulu).

T: Apa yang harus saya lakukan jika antarmuka web menampilkan "disconnected (1006): no reason"?

Pesan ini menunjukkan bahwa koneksi WebSocket antara browser dan layanan di dalam instans ditutup secara tak terduga. Pertama, pastikan instans DSW itu sendiri berjalan normal, lalu troubleshooting jalur akses jaringan publik.

Langkah 1: Periksa status instans DSW
- Di halaman daftar instans DSW di Konsol Platform for AI (PAI), temukan instans target dan periksa apakah statusnya Running.
Langkah 2: Restart instans yang bermasalah
- Jika instans berada dalam status selain Running, seperti Stopped atau Failed, klik Start di kolom Actions, atau panggil operasi API DSW StartInstance untuk menjalankan instans.
- Setelah instans kembali ke status Running, buka ulang antarmuka web untuk memulihkan akses.
Langkah 3: Jika status instans normal tetapi error tetap muncul, troubleshooting jalur akses jaringan publik: Ikuti langkah troubleshooting pada pertanyaan sebelumnya. Periksa secara berurutan: aturan inbound security group, apakah layanan mendengarkan pada port yang dikonfigurasi, dan status NAT Gateway serta EIP.

Penting

Jangan menjalankan ps aux | grep gateway di dalam instans DSW untuk mencari atau me-restart proses gateway. Gateway DSW adalah layanan sisi platform PAI (berkorespondensi dengan nama domain platform seperti dsw-gateway-<region>.data.aliyun.com) dan tidak berjalan di dalam instans DSW. Oleh karena itu, Anda tidak dapat menemukan proses tersebut di dalam instans atau me-restart-nya dari dalam instans. Proses di dalam instans DSW yang dikelola oleh supervisord meliputi dsw-agent, dsw-manager, jupyter-lab, dan web-terminal, yang masing-masing mendengarkan pada port 8888, 8887, 8088, dan 8090.

T: Apakah konfigurasi akses jaringan publik tetap dikenai biaya setelah saya menghentikan DSW?

Ya. Setelah instans DSW dihentikan, instans itu sendiri (bayar sesuai penggunaan) tidak lagi dikenai biaya. Namun, NAT Gateway dan EIP terkait tetap dikenai biaya independen selama belum dihapus. Hapus secara manual untuk menghemat biaya.

T: Dapatkah satu EIP memetakan beberapa port?

Ya. Beberapa port layanan yang dikonfigurasi pada instans DSW yang sama (maksimal 5) semuanya dipetakan melalui EIP dan NAT Gateway yang sama untuk akses. Gunakan EIP:<port> untuk mengakses setiap layanan.

T: Mengapa saya tidak dapat menemukan VPC atau NAT Gateway yang saya buat di daftar drop-down?

Penyebab paling umum adalah ketidaksesuaian wilayah. Di pojok kiri atas halaman DSW, periksa apakah wilayah saat ini sesuai dengan wilayah VPC atau NAT Gateway. DSW hanya dapat menggunakan VPC dan NAT Gateway di wilayah yang sama.
Daftar drop-down belum direfresh. Jika VPC atau NAT Gateway baru saja dibuat, tunggu hingga sumber daya selesai dibuat, lalu klik tombol refresh di halaman konfigurasi DSW untuk memuat ulang daftar.