Platform For AI:FAQ EAS

T: Layanan terjebak dalam status Waiting dalam waktu lama. Bagaimana cara memperbaikinya?

Setelah Anda menerapkan layanan, layanan tersebut memasuki status Waiting selama sumber daya dijadwalkan dan instans dimulai. Ketika semua instans berhasil dimulai, layanan berpindah ke status Running. Skenario berikut dapat menyebabkan status Waiting berlangsung lama:

[2025-07-18 18:50:46] WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[2025-07-18 18:50:50]  * Serving Flask app 'service'
[2025-07-18 18:50:50]  * Debug mode: off
[2025-07-18 18:50:50] WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
[2025-07-18 18:50:50]  * Running on all addresses (0.0.0.0)
[2025-07-18 18:50:50]  * Running on http://127.0.0.1:7000
[2025-07-18 18:50:50]  * Running on http://xxx:7000
[2025-07-18 18:50:50] Press CTRL+C to quit

T: Layanan berada dalam status Failed. Bagaimana cara memperbaikinya?

Layanan memasuki status Failed dalam dua situasi:

• Saat penerapan: Jika sumber daya yang ditentukan saat penerapan (seperti path model) tidak ada, status layanan akan menunjukkan alasan error. Pesan error biasanya mengindikasikan mengapa penerapan gagal.

• Saat startup: Jika layanan gagal setelah penerapan berhasil dan penjadwalan dimulai, status menunjukkan: Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.

  Pesan ini berarti satu atau beberapa instans gagal dimulai. Periksa daftar Instans layanan di halaman Ikhtisar layanan untuk mengidentifikasi penyebab spesifik. Penyebab kegagalan umum meliputi:

  • Instans kehabisan memori saat startup dan sistem menghentikannya (OOMKilled). Terapkan ulang layanan dengan alokasi memori yang lebih tinggi. Di daftar instans, kolom Last status menunjukkan OOMKilled(247), yang mengindikasikan kontainer dihentikan karena melebihi batas memori. Periksa kolom Restart count dan Last exit reason untuk konfirmasi lebih lanjut.

  • Error kode menyebabkan crash saat startup. Dalam kasus ini, Last status menunjukkan Error(kode error). Klik Log di kolom Actions instans untuk meninjau log layanan dan mengidentifikasi kegagalan startup.

  • Gambar layanan gagal ditarik. Lihat Apa yang harus dilakukan jika penarikan gambar gagal (ImagePullBackOff)?

T: Apa yang harus dilakukan jika penarikan gambar gagal (ImagePullBackOff)?

Jika kolom Last exit reason di daftar instans layanan menunjukkan ImagePullBackOff, penarikan gambar telah gagal. Jika ikon muncul di kolom Status, klik ikon tersebut untuk melihat alasan spesifik.

Penyebab umum kegagalan penarikan gambar tercantum di bawah ini:

Berdasarkan wilayah tempat registri gambar dan layanan EAS berada, gunakan panduan berikut:

• Wilayah sama: Tarik gambar menggunakan alamat gambar privat.

• Lintas wilayah: ACR Edisi Personal hanya mendukung alamat gambar publik. Untuk ACR Edisi Perusahaan, pilih berdasarkan kebutuhan Anda:

  • Untuk keamanan dan keandalan yang lebih tinggi, gunakan alamat gambar privat. Ini memerlukan koneksi VPC melalui CEN. Lihat Akses instans ACR Edisi Perusahaan lintas wilayah atau dari IDC.

  • Untuk skenario yang lebih sederhana atau ketika konektivitas jaringan privat belum tersedia, gunakan alamat gambar publik sebagai opsi sementara. Unduhan melalui jaringan publik lebih lambat.

Catatan tambahan untuk ACR Edisi Perusahaan:

• Konfigurasikan kontrol akses baik untuk akses VPC maupun jaringan publik sesuai kebutuhan.

• Jika repositori tidak mengizinkan penarikan anonim, penarikan lintas wilayah melalui alamat publik memerlukan konfigurasi username dan password registri gambar dalam layanan EAS.

T: Layanan EAS restart otomatis setelah dihentikan. Apa yang terjadi?

Deskripsi masalah: Layanan EAS restart sendiri setelah dihentikan untuk periode tertentu.

Akar penyebab:

Layanan memiliki konfigurasi auto-scaling dengan jumlah instans minimum 0. Ketika trafik berhenti untuk periode tertentu, jumlah instans secara otomatis melakukan skala turun hingga 0. Jika permintaan tiba saat tidak ada instans yang tersedia akibat skala turun, EAS memicu skala naik secara otomatis—ini tidak memerlukan ambang batas skala naik yang dikonfigurasi tercapai.

Periksa event penerapan untuk pesan auto scaling guna mengonfirmasi apakah skala naik otomatis terjadi. Entri Service is now auto scaling di kolom informasi mengindikasikan layanan dipicu untuk melakukan skala naik secara otomatis, setelah itu status event berubah dari Waiting melalui Scaling ke Running, dan jumlah instans yang tersedia berubah dari 0 menjadi 1.

Solusi:

• Jika layanan tidak lagi diperlukan, hapus layanan tersebut.

• Untuk menyimpan layanan tetapi mencegah restart otomatis, hentikan melalui konsol atau dengan memanggil API StopService. Layanan yang dihentikan secara manual tidak akan melakukan skala naik saat trafik tiba.

• Untuk mencegah auto-scaling menghentikan layanan, jangan atur jumlah instans minimum menjadi 0.

• Nonaktifkan auto-scaling sepenuhnya jika kekhawatiran tentang trafik tak terduga yang memicu skala naik menjadi masalah.

T: Startup PAI-EAS gagal dengan IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

Deskripsi masalah:

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

Akar penyebab: Disk sistem instans EAS penuh karena file model besar. Hal ini mencegah layanan dimulai.

Solusi:

Opsi 1: Perluas disk sistem untuk instans EAS.

Opsi 2: Jika file model terlalu besar, simpan di penyimpanan eksternal (OSS, NAS, atau sejenisnya) dan baca menggunakan Mount penyimpanan.

T: Penerapan gagal dengan fail to start program with error: fork/exec /bin/sh: exec format error

exec format error berarti sistem operasi tidak dapat menjalankan binari target. Penyebab paling umum adalah ketidaksesuaian arsitektur CPU antara executable atau gambar kontainer dengan mesin host.

Coba spesifikasi sumber daya yang berbeda.

P: Kesalahan: Jumlah GPU tidak valid 6, hanya yang didukung: [0 1 2 4 8 16]

Jumlah GPU per layanan harus merupakan pangkat 2 untuk memaksimalkan efisiensi komunikasi antar-GPU.

Jumlah GPU yang didukung per layanan: 0, 1, 2, 4, 8, atau 16.

T: Instans EAS gagal dihapus, atau mengklik Stop tidak berpengaruh. Apa yang harus dilakukan?

Masalah ini memiliki dua skenario umum:

1. Penghapusan instans gagal atau mengembalikan error: Jika operasi hapus melaporkan error seperti workspace terkait tidak ada, pertama-tama periksa apakah workspace terkait berada dalam kondisi normal. Anda juga dapat membuka daftar layanan di konsol PAI dan langsung mengklik Delete untuk melepaskan instans.

2. Mengklik Stop tidak berpengaruh (instans tetap dalam status Running):

   • Pemeriksaan sisi browser: Muat ulang halaman, bersihkan cache browser, atau coba di browser berbeda atau dalam mode penyamaran/privat.

   • Diagnosis permintaan: Buka alat developer browser (F12), buka panel Network, klik Stop, dan periksa apakah permintaan API dikirim dengan sukses serta tinjau kode status respons.

   • Pemeriksaan log: Periksa Operation logs atau Cloud Monitor di konsol PAI untuk catatan penghentian dan alasan kegagalan spesifik.

   • Alternatif API: Jika operasi konsol tetap tidak berfungsi, gunakan OpenAPI Explorer untuk memanggil API StopService guna memaksa menghentikan layanan.

T: Tidak terjadi apa-apa saat saya menambahkan tautan model di Edisi Shared. Apa yang harus dilakukan?

Edisi Shared tidak mendukung tautan model kustom, sehingga mengklik entri tersebut tidak berpengaruh. Ini merupakan keterbatasan fitur, bukan error.

Gunakan salah satu solusi berikut:

• Terapkan Edisi Dedicated dan tambahkan tautan model kustom di sana.

• Unduh file model secara manual, unggah ke OSS atau NAS, dan muat model melalui mount penyimpanan saat menerapkan layanan.

Error pemanggilan

Lakukan troubleshooting berdasarkan kode status HTTP yang dikembalikan. Untuk detailnya, lihat Kode status dan error layanan.

HTTPS dan domain kustom

T: Apakah EAS mendukung pemanggilan HTTPS?

Ya. Ganti http:// dengan https:// di URL titik akhir layanan untuk mengaktifkan transport terenkripsi. Jika klien (seperti library Python requests) melaporkan error verifikasi sertifikat SSL, ini merupakan masalah konfigurasi sisi klien, bukan masalah EAS.

T: Bagaimana memaksa akses HTTPS-only?

• Gateway shared: Pengalihan HTTPS tidak didukung.

• Gateway khusus: Didukung. Aktifkan HTTPS redirect dalam konfigurasi gateway khusus. Setelah diaktifkan, semua permintaan HTTP secara otomatis dialihkan ke HTTPS.

T: Dapatkah saya memanggil layanan menggunakan domain kustom?

Ya. Buat dan gunakan gateway khusus yang dikelola sepenuhnya, lalu konfigurasikan domain kustom Anda di pengaturan gateway. Untuk detailnya, lihat Gunakan gateway khusus.

Manajemen token

T: Apakah token layanan kedaluwarsa atau berubah?

Tidak. Token yang dihasilkan saat layanan diterapkan bersifat jangka panjang. Merestart, memperbarui (kecuali Anda mengubah metode autentikasi secara manual), atau menskala layanan tidak mengubah Token. Token hanya dinonaktifkan saat Anda meresetnya secara manual atau menghapus layanan.

T: Dapatkah saya membuat beberapa token untuk satu layanan?

Tidak. Setiap instans layanan EAS hanya mendukung satu Token autentikasi. Untuk manajemen izin multi-pengguna atau pelacakan penggunaan terpisah, gunakan solusi kontrol akses berbasis RAM Alibaba Cloud atau serupa.

Masalah pemanggilan lainnya

T: Bagaimana mengaktifkan respons streaming untuk layanan LLM?

EAS tidak memiliki toggle streaming global. Tentukan streaming dalam badan permintaan API tiap permintaan secara individual. Misalnya, saat memanggil layanan LLM yang kompatibel OpenAI, sertakan "stream": true dalam badan permintaan JSON.

T: Apa perbedaan antara pemanggilan alamat VPC dan koneksi langsung VPC?

• Pemanggilan alamat VPC: Permintaan melewati SLB internal ditambah gateway (pemanggilan alamat publik melewati SLB publik ditambah gateway). Ini adalah jalur permintaan standar. Tiap permintaan melewati forwarding layer-4 di SLB dan forwarding layer-7 di gateway sebelum mencapai instans layanan. Di bawah konkurensi tinggi dan trafik berat, forwarding ini menambah overhead latensi. Gateway juga memiliki batas bandwidth (1 Gbps secara default).

• Koneksi langsung VPC: EAS menyediakan mode koneksi langsung berkecepatan tinggi yang mengatasi masalah performa dan skalabilitas tanpa biaya tambahan. Mengaktifkan koneksi langsung VPC membuat jalur jaringan antara VPC Anda dan VPC layanan EAS. Permintaan Anda menggunakan penemuan layanan EAS untuk menemukan layanan, lalu melakukan load balancing perangkat lunak sisi klien. Ini memerlukan SDK EAS dan mengatur endpoint_type ke DIRECT.

  Misalnya, dalam skenario SDK Python, tambahkan baris berikut ke kode Anda untuk beralih dari pemanggilan gateway ke koneksi langsung:

  • client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
    client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
    client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
    client.init()

T: Mengapa pengguna RAM tidak dapat secara otomatis membuat atau menghapus peran terkait layanan EAS?

Hanya pengguna dengan izin tertentu yang dapat membuat atau menghapus AliyunServiceRoleForPaiEas secara otomatis. Jika pengguna RAM tidak dapat melakukan tindakan ini, berikan kebijakan yang diperlukan sebagai berikut:

1. Buat kebijakan berikut sebagai kebijakan kustom menggunakan metode konfigurasi berbasis skrip. Untuk detailnya, lihat Buat kebijakan kustom.

   Kebijakan untuk membuat atau menghapus peran terkait layanan

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. Lampirkan kebijakan kustom yang dibuat pada langkah sebelumnya ke pengguna RAM target. Untuk detailnya, lihat Kelola izin pengguna RAM.

T: Bagaimana layanan EAS mengakses internet?

Layanan EAS tidak memiliki akses internet secara default. Untuk mengaktifkan akses internet, konfigurasikan VPC dengan konektivitas internet untuk layanan EAS. Lihat Akses EAS ke sumber daya publik dan privat.

T: Apakah EAS mendukung akses SSH ke instans?

Tidak. EAS adalah layanan terkelola dan tidak menyediakan akses SSH ke dalam kontainer. Untuk menjalankan perintah tertentu saat kontainer dimulai, tentukan perintah tersebut di bidang Run Command dalam konfigurasi layanan.

T: Status layanan apa saja yang dimiliki EAS?

Layanan EAS memiliki status berikut. Anda juga dapat melihat status di kolom status di halaman Model Serving (EAS).

• Creating

• Waiting — menunggu instans dimulai

• Stopped

• Failed

• Updating — instans sedang diperbarui

• Stopping

• HotUpdate — memperbarui tanpa mengganti instans

• Starting

• DeleteFailed

• Running

• Scaling — instans sedang diskala

• Pending — menunggu pemrosesan

• Deleting

• Completed

• Preparing

T: Bagaimana mengetahui pengguna RAM mana yang membuat layanan?

Kueri event di Konsol ActionTrail. Atur filter nama event ke CreateService. Untuk detailnya, lihat Kueri event di Konsol ActionTrail.

T: Dapatkah saya mengunduh gambar resmi PAI dari internet?

Tidak. Gambar resmi PAI adalah gambar internal platform dan hanya dapat digunakan di dalam platform PAI. Gambar tersebut tidak dapat diunduh di luar kontainer platform.

T: Apa aturan keunikan untuk nama layanan dan ID layanan PAI-EAS?

• Keunikan nama layanan: Nama layanan EAS bersifat unik global dalam satu wilayah. Jika Anda melihat error "nama layanan sudah ada" saat membuat layanan tetapi nama tersebut tidak muncul di daftar Model Serving (EAS), artinya pengguna lain di wilayah yang sama telah menggunakan nama tersebut. Pilih nama berbeda dan coba lagi.

• Keunikan ID layanan: ID layanan PAI-EAS bersifat unik global dan ditetapkan secara otomatis oleh sistem. Anda tidak dapat menentukannya secara manual.

T: Dapatkah nama layanan diubah setelah layanan diterapkan?

Tidak. Nama layanan tidak dapat diubah setelah dibuat. Sebagai pengenal unik untuk pemanggilan API dan operasi manajemen, bidang nama layanan dinonaktifkan di formulir Update di konsol. Jika Anda perlu mengubah nama layanan, buat layanan baru dan hapus layanan asli. Perlu diperhatikan bahwa hal ini akan menyebabkan gangguan layanan dan perubahan alamat IP.

T: Apakah saya perlu membeli ulang EAS setelah menonaktifkan modul? Bagaimana jika saya tidak dapat menemukan instans layanan saya?

• Tidak perlu pembelian ulang: Setelah diaktifkan, PAI-EAS tetap tersedia tanpa batas waktu. Untuk menggunakannya kembali, buka konsol PAI, pilih atau buat ruang kerja, lalu buat instans EAS di ruang kerja tersebut. Tidak diperlukan pembelian atau reaktivasi tambahan.

• Jika Anda tidak dapat menemukan instans Anda:

  1. Login ke konsol PAI dan pastikan Ruang Kerja yang ditampilkan di bagian atas halaman adalah ruang kerja yang Anda cari.

  2. Jika ruang kerja dihapus atau diganti, cari daftar Model Serving (EAS) dari halaman Ikhtisar atau di dalam ruang kerja target.

  3. Jika daftar tidak menampilkan data dan tidak ada instans, artinya tidak ada instans EAS yang dapat ditagih yang dibuat di ruang kerja tersebut. Mengaktifkan modul saja tidak menimbulkan biaya dan tidak memerlukan pembersihan tambahan.

T: Kapan perubahan konfigurasi mount penyimpanan berlaku? Apakah saya perlu menerapkan ulang layanan?

Pengaturan mount penyimpanan merupakan bagian dari konfigurasi penerapan layanan dan tidak berlaku secara dinamis. Untuk menerapkan perubahan, perbarui layanan. Setelah pembaruan selesai, instans layanan restart dengan konfigurasi baru dan mount baru berlaku.

T: Apa yang harus dilakukan jika file yang dimount hilang setelah memperbarui konfigurasi layanan?

Masalah ini biasanya disebabkan oleh salah satu hal berikut:

• Pembaruan menghapus pengaturan mount penyimpanan asli atau mengubah path mount, sehingga instans tidak lagi memount penyimpanan asli. File tersebut sebenarnya tidak hilang. File tetap berada di OSS atau NAS asli.

• File ditulis ke disk lokal sementara di dalam kontainer, bukan ke direktori yang dimount. Data disk lokal dihapus saat instans restart atau diperbarui.

Pada kasus pertama, kembalikan pengaturan mount ke nilai sebelum pembaruan dan perbarui layanan lagi. File akan muncul kembali. Pada kasus kedua, data tidak dapat dipulihkan. Selalu tulis data yang harus dipertahankan ke direktori mount OSS atau NAS, dan pastikan pengaturan mount lengkap dan benar sebelum memperbarui layanan.

T: Mengapa saya tidak dapat memilih Bucket OSS saat menerapkan layanan EAS?

Saat menerapkan layanan EAS, Anda dapat memount model dan kode dengan menentukan lokasi penyimpanan. Pastikan Bucket OSS dan sistem file NAS berada di wilayah yang sama dengan layanan EAS. Penyimpanan lintas wilayah tidak dapat dipilih.

T: Bagaimana penagihan penyimpanan OSS saat dimount ke layanan EAS? Bagaimana cara memperkirakan kapasitas yang dibutuhkan?

EAS sendiri tidak membebankan biaya untuk kapasitas penyimpanan. Saat Anda memount OSS, OSS menagih penyimpanan berdasarkan penggunaan aktual dan kelas penyimpanan Anda. EAS hanya menagih sumber daya komputasi layanan. Untuk memperkirakan kapasitas, gunakan ukuran aktual file model, kode, dan data Anda. Penyimpanan OSS diskala secara elastis sesuai penggunaan, sehingga tidak perlu membeli kapasitas tetap di muka.

T: T: EAS gagal mengakses OSS melalui titik akhir publik default. Bagaimana cara mengatasinya?

Saat mengakses sumber daya OSS melalui domain kustom, jika wilayah OSS berada di Tiongkok Daratan, domain tersebut harus menyelesaikan Pendaftaran ICP sesuai peraturan. Domain tanpa Pendaftaran ICP tidak dapat digunakan untuk akses.

Gunakan alternatif berikut:

• Gunakan titik akhir internal.

• Untuk akses jaringan publik, gunakan domain kustom. Saat mengakses sumber daya OSS melalui domain kustom, jika wilayah OSS berada di Tiongkok Daratan, domain tersebut harus menyelesaikan Pendaftaran ICP sesuai peraturan. Domain tanpa Pendaftaran ICP tidak dapat digunakan untuk akses.

P: Masalah TensorFlow

Untuk detailnya, lihat FAQ TensorFlow.