Platform For AI：FAQ EAS

T: Layanan tetap berada dalam status Waiting dalam waktu lama. Bagaimana cara mengatasinya?

Setelah penerapan, layanan memasuki status Waiting sambil menunggu penjadwalan sumber daya dan startup instans layanan. Ketika semua instans layanan berhasil dimulai, layanan akan berpindah ke status Running. Kemungkinan penyebabnya sebagai berikut:

T: Layanan berada dalam status Failed. Bagaimana cara mengatasinya?

Layanan memasuki status Failed dalam dua skenario berikut:

• Saat penerapan layanan: Jika sumber daya tertentu, seperti path model, tidak ada, penerapan akan gagal. Penyebab kesalahan ditampilkan dalam informasi status layanan, yang dapat Anda gunakan untuk mengidentifikasi alasan kegagalan tersebut.

• Saat startup layanan: Layanan gagal dimulai setelah diterapkan dan dijadwalkan ke sumber daya. Dalam kasus ini, muncul pesan status Instance <network-test-5ff76448fd-h9dsn> not healthy: Instance crashed, please inspect instance log.

  Pesan status ini menunjukkan bahwa instans layanan gagal dimulai. Anda harus memeriksa status instans yang gagal di daftar Service Instances pada halaman Overview layanan untuk menentukan penyebab spesifiknya. Berikut adalah kemungkinan penyebab kegagalan instans:

  • Instans layanan dihentikan oleh sistem karena error out-of-memory (OOM) saat startup. Dalam kasus ini, Anda harus menambah memori yang dialokasikan untuk layanan dan menerapkan ulang layanan tersebut. Gambar berikut menunjukkan status instans:

  • Layanan mungkin crash karena kesalahan kode saat startup. Jika hal ini terjadi, Last Status akan menjadi Error dan kode kesalahan akan ditampilkan. Klik tombol Log di kolom Actions untuk instans tersebut guna memeriksa log layanan dan mengidentifikasi penyebab kegagalannya. Gambar berikut menunjukkan status instans:

  • Gambar layanan gagal ditarik. Untuk informasi lebih lanjut, lihat T: Apa yang harus saya lakukan jika gambar gagal ditarik (ImagePullBackOff)?.

T: Apa yang harus saya lakukan jika gambar gagal ditarik (ImagePullBackOff)?

Jika Anda melihat ImagePullBackOff sebagai Last Exit Reason di daftar instans layanan, kemungkinan besar proses penarikan gambar gagal. Jika ikon berikut muncul di kolom Status, Anda dapat mengkliknya untuk melihat penyebab spesifiknya.

Penyebab umum kegagalan penarikan gambar meliputi:

Ikuti rekomendasi berikut berdasarkan wilayah repository gambar dan layanan EAS Anda:

• Wilayah sama: Gunakan URL internal untuk menarik gambar.

• Wilayah berbeda: Untuk ACR Edisi Personal, Anda harus menggunakan URL gambar publik. Untuk ACR Edisi Perusahaan, pilih salah satu opsi berikut:

  • Jika Anda memiliki persyaratan tinggi terhadap keamanan dan stabilitas, gunakan URL gambar internal. Anda harus menghubungkan VPC menggunakan Cloud Enterprise Network (CEN). Untuk informasi lebih lanjut, lihat Mengakses instans ACR Edisi Perusahaan dari wilayah berbeda atau IDC.

  • Jika skenario bisnis Anda sederhana atau Anda tidak dapat segera menghubungkan jaringan internal, gunakan URL gambar publik sebagai solusi sementara. Perlu diingat bahwa unduhan melalui Internet lebih lambat.

Perhatikan hal berikut mengenai instans ACR Edisi Perusahaan:

• Konfigurasikan kontrol akses untuk VPC dan Internet sesuai kebutuhan.

• Jika repository tidak mengizinkan pull gambar anonim, Anda harus menyediakan username dan password untuk repository gambar di EAS saat menarik gambar dari wilayah berbeda melalui Internet.

T: Layanan EAS secara otomatis restart setelah dihentikan

Deskripsi masalah: Layanan EAS secara otomatis restart beberapa waktu setelah dihentikan.

Penyebab:

Hal ini terjadi karena Auto Scaling dikonfigurasi untuk layanan tersebut, dan jumlah minimum instans diatur ke 0. Setelah periode tanpa trafik, jumlah instans secara otomatis diskalakan menjadi 0. Jika permintaan tiba saat tidak ada instans yang tersedia, skala keluar secara otomatis dipicu, bahkan jika ambang batas metrik skala keluar yang dikonfigurasi belum tercapai.

Anda dapat menentukan apakah skala keluar dipicu secara otomatis berdasarkan deskripsi penskalaan otomatis dalam event penerapan.

Solusi:

• Jika Anda tidak lagi memerlukan layanan tersebut, Anda dapat menghapusnya.

• Jika Anda tidak ingin menghapus layanan tersebut, Anda dapat menghentikannya secara manual dengan mengklik Stop di konsol atau dengan memanggil operasi API StopService. Layanan yang dihentikan secara manual tidak akan secara otomatis diskalakan keluar oleh trafik masuk.

• Jika Anda tidak ingin layanan dihentikan secara otomatis karena skalabilitas elastis, jangan atur jumlah minimum instans ke 0.

• Anda juga dapat menonaktifkan Auto Scaling sesuai kebutuhan untuk mencegah trafik tak terduga memicu skala keluar.

T: Error startup PAI-EAS: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

Deskripsi masalah:

PAI-EAS melaporkan error berikut saat startup:

[2024-10-21 20:59:33] serialize_file(_flatten(tensors), filename, metadata=metadata)

[2024-10-21 20:59:33] safetensors_rust.SafetensorError: Error while serializing: IoError(Os { code: 28, kind: StorageFull, message: "No space left on device" })

[2024-10-21 20:59:35] time="2024-10-21T12:59:35Z" level=info msg="program stopped with status:exit status 1" program=/bin/sh

Penyebab: Disk sistem instans EAS penuh karena berisi terlalu banyak file model, sehingga layanan tidak dapat dimulai dengan benar.

Solusi:

Solusi 1: Perluas disk sistem untuk instans EAS.

Solusi 2: Jika file model terlalu besar, simpan di penyimpanan eksternal seperti OSS atau NAS, dan baca menggunakan storage mounts.

T: Error penerapan: fail to start program with error: fork/exec /bin/sh: exec format error

exec format error menunjukkan bahwa sistem operasi tidak dapat mengeksekusi file program target. Penyebab paling umum adalah arsitektur CPU dari file yang dapat dieksekusi atau gambar kontainer tidak kompatibel dengan arsitektur sistem host.

Anda dapat mencoba beralih ke spesifikasi sumber daya yang berbeda.

T: Error: Invalid GPU count 6, only supported: [0 1 2 4 8 16]

Untuk memaksimalkan efisiensi komunikasi antara beberapa GPU, jumlah GPU yang ditentukan untuk satu instans layanan harus merupakan pangkat dari 2.

Anda dapat mengalokasikan 0, 1, 2, 4, 8, atau 16 GPU.

Penggunaan dan batas sumber daya

Manajemen kelompok sumber daya khusus

Manajemen disk sistem

Error pemanggilan layanan

Lakukan troubleshooting berdasarkan kode status yang dikembalikan. Untuk informasi lebih lanjut, lihat Lampiran: Kode status layanan dan error umum.

HTTPS dan nama domain kustom

T: Apakah layanan mendukung pemanggilan HTTPS? 

Ya. Anda cukup mengganti http:// dengan https:// di titik akhir layanan untuk transmisi terenkripsi. Jika klien, seperti Python requests, melaporkan error validasi sertifikat SSL, penyebabnya biasanya masalah konfigurasi lingkungan di sisi klien, bukan masalah pada layanan EAS itu sendiri.

T: Bagaimana cara memaksa akses HTTPS?

• Shared gateway: Tidak mendukung pemaksaan HTTPS.

• Dedicated gateway: Mendukung pemaksaan HTTPS. Anda dapat mengaktifkan HTTPS Redirection dalam konfigurasi dedicated gateway. Setelah diaktifkan, semua permintaan HTTP secara otomatis diarahkan ke HTTPS.

T: Dapatkah saya menggunakan nama domain kustom untuk pemanggilan?

Ya. Anda perlu membuat dan menggunakan dedicated gateway yang dikelola sepenuhnya serta mengonfigurasi nama domain kustom Anda di gateway tersebut. Untuk informasi lebih lanjut, lihat Menggunakan dedicated gateway.

Manajemen token

T: Apakah token kedaluwarsa atau berubah?

Tidak. Token yang dihasilkan setelah layanan diterapkan bersifat jangka panjang. Merestart, memperbarui, atau menskalakan layanan tidak mengubah token, kecuali Anda mengubah metode autentikasi secara manual. Token tersebut hanya menjadi tidak valid ketika Anda mereset token secara manual atau menghapus layanan.

T: Dapatkah saya membuat beberapa token untuk satu layanan?

Tidak. Layanan EAS hanya mendukung satu Token autentikasi. Untuk menerapkan manajemen izin multi-pengguna atau metering terpisah, kami merekomendasikan Anda menggunakan solusi yang lebih fleksibel, seperti autentikasi Alibaba Cloud RAM.

Masalah pemanggilan lainnya

T: Bagaimana cara mengaktifkan respons streaming (Streaming) untuk layanan LLM?

Layanan EAS itu sendiri tidak menyediakan sakelar global untuk streaming. Anda harus secara eksplisit menentukan bahwa Anda menginginkan keluaran streaming dalam badan permintaan setiap panggilan API. Misalnya, saat Anda memanggil layanan LLM yang kompatibel dengan format OpenAI, tambahkan "stream": true ke badan permintaan JSON.

T: Apa perbedaan antara pemanggilan titik akhir VPC dan koneksi langsung VPC?

• Pemanggilan titik akhir VPC: Metode ini menggunakan SLB internal-facing dan gateway (titik akhir publik menggunakan SLB internet-facing dan gateway). Ini adalah model permintaan standar. Dalam model ini, permintaan diteruskan melalui Lapisan 4 SLB dan Lapisan 7 gateway untuk mencapai instans layanan. Dalam skenario trafik tinggi dan konkurensi tinggi, penerusan ini menyebabkan overhead performa tertentu. Gateway juga memiliki batas bandwidth, yaitu 1 Gbps secara default.

• Koneksi langsung VPC: EAS menyediakan mode akses koneksi langsung berkecepatan tinggi yang mengatasi masalah performa dan skalabilitas tanpa biaya tambahan. Setelah Anda mengaktifkan koneksi langsung VPC, jalur jaringan dibuat antara VPC Anda dan VPC layanan EAS. Permintaan Anda menggunakan fitur penemuan layanan yang disediakan oleh EAS untuk menemukan layanan, lalu memulai permintaan yang diseimbangkan beban dari klien. Proses ini mengharuskan Anda menggunakan SDK yang disediakan oleh EAS dan mengatur endpoint_type ke DIRECT.

  Misalnya, dalam skenario yang dijelaskan di Petunjuk penggunaan SDK Python, Anda dapat menambahkan baris kode berikut untuk beralih dari pemanggilan gateway ke koneksi langsung:

  • client = PredictClient('http://pai-eas-vpc.cn-hangzhou.aliyuncs.com', 'mnist_saved_model_example')
    client.set_token('M2FhNjJlZDBmMzBmMzE4NjFiNzZhMmUxY2IxZjkyMDczNzAzYjFi****')
    client.set_endpoint_type(ENDPOINT_TYPE_DIRECT) # Direct link
    client.init()

T: Mengapa pengguna RAM tidak dapat secara otomatis membuat atau menghapus peran terkait layanan EAS?

Hanya pengguna dengan izin tertentu yang dapat secara otomatis membuat atau menghapus AliyunServiceRoleForPaiEas. Oleh karena itu, jika pengguna RAM tidak dapat secara otomatis membuat atau menghapus AliyunServiceRoleForPaiEas, Anda harus memberikan kebijakan akses yang diperlukan kepada pengguna RAM tersebut. Prosedurnya sebagai berikut:

1. Buat kebijakan kustom menggunakan skrip kebijakan berikut. Untuk informasi lebih lanjut, lihat Membuat kebijakan izin kustom.

   Kebijakan akses untuk membuat atau menghapus peran terkait layanan

   {
     "Statement": [
       {
         "Action": "ram:CreateServiceLinkedRole",
         "Resource": "*",
         "Effect": "Allow",
         "Condition": {
           "StringEquals": {
             "ram:ServiceName": "eas.pai.aliyuncs.com"
           }
         }
       }
     ],
     "Version": "1"
   }

2. Berikan kebijakan kustom yang Anda buat pada langkah sebelumnya kepada pengguna RAM target. Untuk informasi lebih lanjut, lihat Mengelola izin pengguna RAM.

T: Bagaimana layanan EAS mengakses Internet dari dalam layanan?

Secara default, layanan EAS tidak dapat mengakses Internet publik. Untuk mengakses Internet publik, Anda harus mengonfigurasi VPC dengan kemampuan akses Internet untuk layanan EAS. Untuk informasi lebih lanjut, lihat Mengakses sumber daya publik atau privat dari EAS.

T: Apakah instans EAS mendukung login SSH?

Tidak. Sebagai layanan terkelola, EAS tidak menyediakan izin SSH untuk mengakses kontainer. Untuk mengeksekusi perintah tertentu saat kontainer dimulai, Anda dapat menentukannya di field Run Command dalam konfigurasi layanan.

T: Apa saja status layanan EAS?

Layanan EAS dapat memiliki status berikut. Anda juga dapat membuka halaman Elastic Algorithm Service (EAS) dan melihat kolom Service Status.

• Creating: Layanan sedang dibuat.

• Waiting: Layanan sedang menunggu instans dimulai.

• Stopped: Layanan dihentikan.

• Failed: Layanan gagal.

• Updating: Layanan sedang diperbarui. Instans akan diperbarui.

• Stopping: Layanan sedang dihentikan.

• HotUpdate: Layanan sedang diperbarui. Ini adalah pembaruan panas, dan instans tidak diperbarui.

• Starting: Layanan sedang dimulai.

• DeleteFailed: Layanan gagal dihapus.

• Running: Layanan sedang berjalan.

• Scaling: Layanan sedang diperbarui, dan instans sedang diskalakan.

• Pending: Layanan sedang menunggu tindakan tertentu.

• Deleting: Layanan sedang dihapus.

• Completed: Tugas selesai.

• Preparing

T: Bagaimana cara memeriksa pengguna RAM mana yang membuat layanan?

Anda dapat mengkueri event di Konsol ActionTrail. Atur nama event ke CreateService. Untuk informasi lebih lanjut, lihat Mengkueri event di Konsol ActionTrail.

T: Dapatkah saya mengunduh gambar EAS resmi dari Internet?

Tidak. Gambar resmi PAI adalah gambar platform internal. Anda hanya dapat menggunakannya di platform PAI. Anda tidak dapat mengunduhnya dari luar kontainer platform.

T: Mengapa saya tidak dapat memilih Bucket OSS saat menerapkan layanan EAS?

Saat menerapkan layanan EAS, Anda dapat mengonfigurasi model dan kode menggunakan mounts. Pastikan Bucket OSS dan sistem file NAS yang Anda gunakan berada di wilayah yang sama dengan layanan EAS. Jika tidak, Anda tidak dapat memilihnya.

T: Masalah TensorFlow

Untuk informasi lebih lanjut, lihat FAQ TensorFlow.