Platform For AI:FAQ EAS

P: Layanan terjebak dalam status Waiting dalam waktu lama. Bagaimana cara memperbaikinya?

Setelah Anda menerapkan layanan, layanan tersebut masuk ke status Waiting saat sumber daya dijadwalkan dan instans mulai berjalan. Ketika semua instans berhasil dimulai, layanan beralih ke status Running. Skenario berikut dapat menyebabkan status Waiting yang berkepanjangan:

[2025-07-18 18:50:46] WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[2025-07-18 18:50:50]  * Serving Flask app 'service'
[2025-07-18 18:50:50]  * Debug mode: off
[2025-07-18 18:50:50] WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
[2025-07-18 18:50:50]  * Running on all addresses (0.0.0.0)
[2025-07-18 18:50:50]  * Running on http://127.0.0.1:7000
[2025-07-18 18:50:50]  * Running on http://xxx:7000
[2025-07-18 18:50:50] Press CTRL+C to quit

P: Layanan berada dalam status Failed. Bagaimana cara memperbaikinya?

Layanan memasuki status Failed dalam dua situasi:

• Saat penerapan: Jika sumber daya yang ditentukan saat penerapan (seperti path model) tidak ada, status layanan akan menunjukkan alasan error. Pesan error biasanya menjelaskan penyebab kegagalan penerapan.

• Saat startup: Jika layanan gagal setelah penerapan berhasil dan penjadwalan dimulai, status menunjukkan: Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.

  Pesan ini menunjukkan bahwa satu atau beberapa instans gagal dimulai. Periksa daftar Service instances di halaman Ikhtisar layanan untuk mengidentifikasi penyebab spesifiknya. Penyebab umum kegagalan meliputi:

  • Instans kehabisan memori saat startup dan sistem menghentikannya (OOMKilled). Terapkan ulang layanan dengan alokasi memori yang lebih tinggi. Di daftar instans, kolom Last status menunjukkan OOMKilled(247), yang mengindikasikan kontainer dihentikan karena melebihi batas memori. Periksa kolom Restart count dan Last exit reason untuk konfirmasi lebih lanjut.

  • Kesalahan kode menyebabkan crash saat startup. Dalam kasus ini, Last status menunjukkan Error(kode kesalahan). Klik Log di kolom Actions instans untuk meninjau log layanan dan mengidentifikasi kegagalan startup.

  • Gambar layanan gagal ditarik. Lihat Apa yang harus saya lakukan jika penarikan gambar gagal (ImagePullBackOff)?

P: Apa yang harus saya lakukan jika penarikan gambar gagal (ImagePullBackOff)?

Jika kolom Last exit reason di daftar instans layanan menunjukkan ImagePullBackOff, penarikan gambar telah gagal. Jika ikon muncul di kolom Status, klik ikon tersebut untuk melihat alasan spesifik.

Penyebab umum kegagalan penarikan gambar tercantum di bawah:

Berdasarkan wilayah tempat registri gambar dan layanan EAS berada, gunakan panduan berikut:

• Wilayah sama: Tarik gambar menggunakan alamat gambar privat.

• Lintas wilayah: ACR Edisi Personal hanya mendukung alamat gambar publik. Untuk ACR Edisi Perusahaan, pilih berdasarkan kebutuhan Anda:

  • Untuk keamanan dan keandalan yang lebih tinggi, gunakan alamat gambar privat. Ini memerlukan koneksi VPC melalui CEN. Lihat Akses instans ACR Edisi Perusahaan lintas wilayah atau dari IDC.

  • Untuk skenario yang lebih sederhana atau saat konektivitas jaringan privat belum tersedia, gunakan alamat gambar publik sebagai opsi sementara. Unduhan jaringan publik lebih lambat.

Catatan tambahan untuk ACR Edisi Perusahaan:

• Konfigurasikan kontrol akses untuk akses VPC dan jaringan publik sesuai kebutuhan.

• Jika repositori tidak mengizinkan penarikan anonim, penarikan lintas wilayah melalui alamat publik memerlukan konfigurasi username dan password registri gambar di layanan EAS.

P: Layanan EAS restart secara otomatis setelah dihentikan. Ada apa ini?

Deskripsi masalah: Layanan EAS restart sendiri setelah dihentikan untuk periode tertentu.

Akar penyebab:

Layanan memiliki konfigurasi auto-scaling dengan jumlah instans minimum 0. Saat trafik berhenti untuk periode waktu tertentu, jumlah instans secara otomatis melakukan skala turun ke 0. Jika permintaan tiba saat tidak ada instans yang tersedia akibat skala turun, EAS memicu skala naik secara otomatis — ini tidak memerlukan ambang batas skala naik yang dikonfigurasi tercapai.

Periksa event penerapan untuk pesan auto scaling guna mengonfirmasi apakah auto scale-up terjadi. Entri Service is now auto scaling di kolom informasi mengindikasikan layanan dipicu untuk melakukan skala naik secara otomatis, setelah itu status event bertransisi dari Waiting melalui Scaling ke Running, dan jumlah instans yang tersedia berubah dari 0 menjadi 1.

Solusi:

• Jika layanan tidak lagi diperlukan, hapuslah.

• Untuk menyimpan layanan tetapi mencegah restart otomatis, hentikan melalui konsol atau dengan memanggil API StopService. Layanan yang dihentikan secara manual tidak akan melakukan skala naik saat trafik tiba.

• Untuk mencegah auto-scaling menghentikan layanan, jangan atur jumlah instans minimum ke 0.

• Nonaktifkan auto-scaling sepenuhnya jika kekhawatiran tentang trafik tak terduga yang memicu skala naik.

P: Startup PAI-EAS gagal dengan IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

Deskripsi masalah:

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

Akar penyebab: Disk sistem instans EAS penuh karena file model besar. Hal ini mencegah layanan dimulai.

Solusi:

Opsi 1: Perluas disk sistem untuk instans EAS.

Opsi 2: Jika file model terlalu besar, simpan di penyimpanan eksternal (OSS, NAS, atau sejenisnya) dan baca menggunakan Mount penyimpanan.

P: Penerapan gagal dengan fail to start program with error: fork/exec /bin/sh: exec format error

exec format error berarti sistem operasi tidak dapat menjalankan binari target. Penyebab paling umum adalah ketidaksesuaian arsitektur CPU antara executable atau gambar kontainer dan mesin host.

Coba spesifikasi sumber daya yang berbeda.

P: Error: Invalid GPU count 6, only supported: [0 1 2 4 8 16]

Jumlah GPU per layanan harus merupakan pangkat 2 untuk memaksimalkan efisiensi komunikasi antar-GPU.

Jumlah GPU yang didukung per layanan: 0, 1, 2, 4, 8, atau 16.

P: Saat saya menggunakan vLLM untuk menerapkan layanan Large Language Model (LLM), apakah parameter --tp harus sama dengan jumlah GPU?

Tidak. Parameter parallelisme tensor --tp (tensor-parallel-size) tidak harus sama dengan jumlah GPU fisik. Namun, nilainya tidak boleh melebihi jumlah GPU yang dialokasikan ke layanan. Setiap GPU harus memiliki memori yang cukup untuk menampung bagiannya dari bobot model setelah bobot dibagi berdasarkan nilai TP. Pilih nilai berdasarkan ukuran model, memori GPU yang dibutuhkan model, dan tujuan optimasi performa Anda.

Jumlah GPU yang dialokasikan ke satu layanan tetap harus merupakan pangkat 2. Nilai yang didukung adalah 0, 1, 2, 4, 8, dan 16.

Saat Anda menerapkan layanan di PPU, nilai TP dalam perintah start framework harus sama dengan jumlah GPU di setiap instans. Jika tidak, penerapan gagal dengan error.

P: Instans EAS gagal dihapus, atau mengklik Stop tidak berpengaruh. Apa yang harus saya lakukan?

Masalah ini memiliki dua skenario umum:

1. Penghapusan instans gagal atau mengembalikan error: Jika operasi hapus melaporkan error seperti workspace terkait tidak ada, pertama-tama periksa apakah workspace terkait dalam kondisi normal. Anda juga dapat membuka daftar layanan di konsol PAI dan mengklik Delete langsung untuk melepaskan instans.

2. Mengklik Stop tidak berpengaruh (instans tetap dalam status Running):

   • Pemeriksaan sisi browser: Muat ulang halaman, bersihkan cache browser, atau coba di browser berbeda atau mode penyamaran/pribadi.

   • Diagnosis permintaan: Buka developer tools browser (F12), buka panel Network, klik Stop, dan periksa apakah permintaan API dikirim berhasil serta inspeksi kode status respons.

   • Pemeriksaan log: Periksa Operation logs atau Cloud Monitor di konsol PAI untuk catatan penghentian dan alasan kegagalan spesifik.

   • Alternatif API: Jika operasi konsol tetap tidak berfungsi, gunakan OpenAPI Explorer untuk memanggil API StopService guna memaksa menghentikan layanan.

P: Tidak terjadi apa-apa saat saya menambahkan tautan model di Edisi Shared. Apa yang harus saya lakukan?

Edisi Shared tidak mendukung tautan model kustom, sehingga mengklik entri tersebut tidak berpengaruh. Ini merupakan keterbatasan fitur, bukan error.

Gunakan solusi alternatif berikut:

• Terapkan Edisi Dedicated dan tambahkan tautan model kustom di sana.

• Unduh file model secara manual, unggah ke OSS atau NAS, dan muat model melalui mount penyimpanan saat menerapkan layanan.

Error pemanggilan

Lakukan troubleshooting berdasarkan kode status HTTP yang dikembalikan. Untuk detail, lihat Kode status dan error layanan.

HTTPS dan domain kustom

P: Apakah EAS mendukung pemanggilan HTTPS?

Ya. Ganti http:// dengan https:// di URL titik akhir layanan untuk mengaktifkan transport terenkripsi. Jika klien (seperti library Python requests) melaporkan error verifikasi sertifikat SSL, ini merupakan masalah konfigurasi sisi klien, bukan masalah EAS.

P: Bagaimana memaksa akses HTTPS-only?

• Gerbang bersama: Pengalihan HTTPS tidak didukung.

• Gateway khusus: Didukung. Aktifkan HTTPS redirect di konfigurasi gateway khusus. Setelah diaktifkan, semua permintaan HTTP secara otomatis dialihkan ke HTTPS.

P: Dapatkah saya memanggil layanan menggunakan domain kustom?

Ya. Buat dan gunakan gateway khusus yang dikelola sepenuhnya, lalu konfigurasikan domain kustom Anda di pengaturan gateway. Untuk detail, lihat Gunakan gateway khusus.

Manajemen token

P: Apakah token layanan kedaluwarsa atau berubah?

Tidak. Token yang dihasilkan saat layanan diterapkan bersifat jangka panjang. Merestart, memperbarui (kecuali Anda mengubah metode autentikasi secara manual), atau menskala layanan tidak mengubah Token. Token hanya dinonaktifkan saat Anda meresetnya secara manual atau menghapus layanan.

P: Dapatkah saya membuat beberapa token untuk satu layanan?

Tidak. Setiap instans layanan EAS hanya mendukung satu Token autentikasi. Untuk manajemen izin multi-pengguna atau pelacakan penggunaan terpisah, gunakan autentikasi berbasis RAM Alibaba Cloud atau solusi kontrol akses serupa.

Masalah pemanggilan lainnya

P: Bagaimana mengaktifkan respons streaming untuk layanan LLM?

EAS tidak memiliki toggle streaming global. Tentukan streaming di setiap badan permintaan API secara individual. Misalnya, saat memanggil layanan LLM yang kompatibel OpenAI, sertakan "stream": true di badan permintaan JSON.

T: Apa perbedaan antara panggilan ke alamat VPC dan koneksi langsung VPC?

• Pemanggilan alamat VPC: Permintaan melewati SLB internal plus gateway (pemanggilan alamat publik melewati SLB publik plus gateway). Ini adalah jalur permintaan standar. Setiap permintaan melewati forwarding layer-4 di SLB dan forwarding layer-7 di gateway sebelum mencapai instans layanan. Di bawah konkurensi tinggi dan trafik berat, forwarding ini menambah overhead latensi. Gateway juga memiliki batas bandwidth (1 Gbps secara default).

• VPC direct connect: EAS menyediakan mode direct connect berkecepatan tinggi yang mengatasi performa dan skalabilitas tanpa biaya tambahan. Mengaktifkan VPC direct connect membuat jalur jaringan antara VPC Anda dan VPC layanan EAS. Permintaan Anda menggunakan penemuan layanan EAS untuk menemukan layanan, lalu melakukan load balancing perangkat lunak sisi klien. Ini memerlukan SDK EAS dan mengatur endpoint_type ke DIRECT.

  Misalnya, dalam skenario SDK Python, tambahkan baris berikut ke kode Anda untuk beralih dari pemanggilan gateway ke direct connect:

  • client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
    client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
    client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
    client.init()

P: Mengapa pengguna RAM tidak dapat secara otomatis membuat atau menghapus peran terkait layanan EAS?

Hanya pengguna dengan izin tertentu yang dapat membuat atau menghapus AliyunServiceRoleForPaiEas secara otomatis. Jika pengguna RAM tidak dapat melakukan tindakan ini, berikan kebijakan yang diperlukan sebagai berikut:

1. Buat kebijakan berikut sebagai kebijakan kustom menggunakan metode konfigurasi berbasis skrip. Untuk detail, lihat Buat kebijakan kustom.

   Kebijakan untuk membuat atau menghapus peran terkait layanan

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. Lampirkan kebijakan kustom yang dibuat pada langkah sebelumnya ke pengguna RAM target. Untuk detail, lihat Kelola izin pengguna RAM.

P: Bagaimana layanan EAS mengakses internet?

Layanan EAS tidak memiliki akses internet secara default. Untuk mengaktifkan akses internet, konfigurasikan VPC dengan konektivitas internet untuk layanan EAS. Lihat Akses EAS ke sumber daya publik dan privat.

P: Apakah EAS mendukung akses SSH ke instans?

Tidak. EAS adalah layanan terkelola dan tidak menyediakan akses SSH ke dalam kontainer. Untuk menjalankan perintah tertentu saat kontainer dimulai, tentukan perintah tersebut di bidang Run Command konfigurasi layanan.

P: Status layanan apa saja yang dimiliki EAS?

Layanan EAS memiliki status berikut. Anda juga dapat melihat status di kolom status di halaman Model Serving (EAS).

• Creating

• Waiting — menunggu instans dimulai

• Stopped

• Failed

• Updating — instans sedang diperbarui

• Stopping

• HotUpdate — memperbarui tanpa mengganti instans

• Starting

• DeleteFailed

• Running

• Scaling — instans sedang diskala

• Pending — menunggu pemrosesan

• Deleting

• Completed

• Preparing

P: Bagaimana mengetahui pengguna RAM mana yang membuat layanan?

Kueri event di Konsol ActionTrail. Atur filter nama event ke CreateService. Untuk detail, lihat Kueri event di Konsol ActionTrail.

P: Dapatkah saya mengunduh gambar resmi PAI dari internet?

Tidak. Gambar resmi PAI adalah gambar internal platform dan hanya dapat digunakan di dalam platform PAI. Gambar tersebut tidak dapat diunduh di luar kontainer platform.

P: Apa aturan keunikan untuk nama layanan dan ID layanan PAI-EAS?

• Keunikan nama layanan: Nama layanan EAS bersifat unik secara global dalam satu wilayah. Jika Anda melihat error "nama layanan sudah ada" saat membuat layanan tetapi nama tersebut tidak muncul di daftar Model Serving (EAS), artinya pengguna lain di wilayah yang sama telah menggunakan nama tersebut. Pilih nama berbeda dan coba lagi.

• Keunikan ID layanan: ID layanan PAI-EAS bersifat unik secara global dan ditetapkan secara otomatis oleh sistem. Anda tidak dapat menentukannya secara manual.

P: Dapatkah nama layanan diubah setelah layanan diterapkan?

Tidak. Nama layanan tidak dapat diubah setelah dibuat. Sebagai pengenal unik untuk pemanggilan API dan operasi manajemen, bidang nama layanan dinonaktifkan di formulir Update di konsol. Jika Anda perlu mengubah nama layanan, buat layanan baru dan hapus layanan asli. Perhatikan bahwa ini akan menyebabkan gangguan layanan dan perubahan alamat IP.

P: Apakah saya perlu membeli ulang EAS setelah menonaktifkan modul? Bagaimana jika saya tidak dapat menemukan instans layanan saya?

• Tidak perlu pembelian ulang: Setelah diaktifkan, PAI-EAS tetap tersedia tanpa batas waktu. Untuk menggunakannya kembali, buka konsol PAI, pilih atau buat ruang kerja, lalu buat instans EAS di ruang kerja tersebut. Tidak diperlukan pembelian atau reaktivasi tambahan.

• Jika Anda tidak dapat menemukan instans Anda:

  1. Login ke konsol PAI dan pastikan Ruang Kerja yang ditampilkan di bagian atas halaman adalah ruang kerja yang Anda cari.

  2. Jika ruang kerja dihapus atau dialihkan, cari daftar Model Serving (EAS) dari halaman Ikhtisar atau di dalam ruang kerja target.

  3. Jika daftar tidak menampilkan data dan tidak ada instans, berarti tidak ada instans EAS yang dapat ditagih yang dibuat di ruang kerja tersebut. Mengaktifkan modul saja tidak dikenai biaya dan tidak memerlukan pembersihan tambahan.

P: Kapan perubahan konfigurasi mount penyimpanan berlaku? Apakah saya perlu menerapkan ulang layanan?

Pengaturan mount penyimpanan merupakan bagian dari konfigurasi penerapan layanan dan tidak berlaku secara dinamis. Untuk menerapkan perubahan, perbarui layanan. Setelah pembaruan selesai, instans layanan restart dengan konfigurasi baru dan mount baru berlaku.

P: Apa yang harus saya lakukan jika file yang dimount hilang setelah memperbarui konfigurasi layanan?

Masalah ini biasanya disebabkan oleh salah satu hal berikut:

• Pembaruan menghapus pengaturan mount penyimpanan asli atau mengubah path mount, sehingga instans tidak lagi memount penyimpanan asli. File tersebut sebenarnya tidak hilang. File tetap berada di OSS atau NAS asli.

• File ditulis ke disk lokal sementara di dalam kontainer, bukan ke direktori yang dimount. Data disk lokal dihapus saat instans restart atau diperbarui.

Pada kasus pertama, kembalikan pengaturan mount ke nilai sebelum pembaruan dan perbarui layanan lagi. File akan muncul kembali. Pada kasus kedua, data tidak dapat dipulihkan. Selalu tulis data yang harus dipertahankan ke direktori mount OSS atau NAS, dan pastikan pengaturan mount lengkap dan benar sebelum memperbarui layanan.

P: Mengapa saya tidak dapat memilih Bucket OSS saat menerapkan layanan EAS?

Saat menerapkan layanan EAS, Anda dapat memount model dan kode dengan menentukan lokasi penyimpanan. Pastikan Bucket OSS dan sistem file NAS berada di wilayah yang sama dengan layanan EAS. Penyimpanan lintas wilayah tidak dapat dipilih.

P: Bagaimana penagihan penyimpanan OSS saat dimount ke layanan EAS? Bagaimana memperkirakan kapasitas yang dibutuhkan?

EAS sendiri tidak membebankan biaya untuk kapasitas penyimpanan. Saat Anda memount OSS, OSS menagih penyimpanan berdasarkan penggunaan aktual dan kelas penyimpanan Anda. EAS hanya menagih sumber daya komputasi layanan. Untuk memperkirakan kapasitas, gunakan ukuran aktual model, kode, dan file data Anda. Penyimpanan OSS diskalakan secara elastis sesuai penggunaan, sehingga tidak perlu membeli kapasitas tetap di muka.

P: P: EAS gagal mengakses OSS melalui titik akhir publik default. Bagaimana menyelesaikannya?

Saat mengakses sumber daya OSS melalui domain kustom, jika wilayah OSS berada di daratan Tiongkok, domain tersebut harus menyelesaikan Pendaftaran ICP sesuai peraturan. Domain tanpa Pendaftaran ICP tidak dapat digunakan untuk akses.

Gunakan alternatif berikut:

• Gunakan titik akhir internal.

• Untuk akses jaringan publik, gunakan domain kustom. Saat mengakses sumber daya OSS melalui domain kustom, jika wilayah OSS berada di daratan Tiongkok, domain tersebut harus menyelesaikan Pendaftaran ICP sesuai peraturan. Domain tanpa Pendaftaran ICP tidak dapat digunakan untuk akses.

P: Masalah TensorFlow

Untuk detail, lihat FAQ TensorFlow.