Platform For AI:FAQ Model Gallery

P: Bagaimana cara memeriksa apakah deep thinking diaktifkan untuk evaluasi model?

Periksa konfigurasi penerapan default pada halaman deskripsi model. Semua model dievaluasi menggunakan pengaturan penerapan default tersebut.

P: Bagaimana cara menerapkan model setelah pelatihan?

1. Buka PAI-Model Gallery > Task Management.

2. Temukan tugas pelatihan yang telah selesai dan klik untuk membuka halaman detail.

3. Klik Deploy di pojok kanan atas.

P: Bagaimana cara mengatasi tugas pelatihan yang gagal?

Saat tugas pelatihan gagal, periksa diagnostik atau log tugas tersebut. Penyebab umum adalah format dataset yang salah.

Dua cara untuk menemukan detail error:

• Diagnostik tugas: Di PAI-Model Gallery, buka Task Management > Training Tasks. Klik tugas yang gagal untuk membuka halaman Task Details-nya. Arahkan kursor ke status Failed untuk melihat ringkasan error.

  

• Log tugas: Di Task Management > Training Tasks, pilih tab Task log untuk melihat pesan error lengkap.

  

  Pesan error umum dan solusinya:

  Jenis error	Pesan error	Solusi
  Error input/output	ValueError: output channel ${your OSS uri} must be directory	Verifikasi bahwa path output berupa direktori, bukan file.
  	ValueError: train must be a file	Verifikasi bahwa path input mengarah ke file, bukan direktori.
  	FileNotFoundError	Pastikan file yang valid tersedia di path input yang ditentukan.
  	JSONDecodeError	Verifikasi bahwa file JSON diformat dengan benar.
  	ValueError: Input data must be a json file or a jsonl file!	Pastikan file dalam format JSON atau JSONL.
  	KeyError: ${some key name}	Tinjau dokumentasi model dan verifikasi bahwa semua pasangan kunci-nilai dalam dataset Anda sesuai dengan format yang diperlukan. Error ini sering terjadi pada dataset JSON.
  	ValueError: Unrecognized model in /ml/input/data/model/.	PyTorch tidak mengenali format file model tersebut.
  	UnicodeDecoderError	Verifikasi bahwa file menggunakan pengkodean karakter yang benar.
  	Input/output error	Pastikan Anda memiliki izin baca untuk path input dan izin tulis untuk path output.
  	NotADirectoryError: [Errno 20] Not a directory:	Verifikasi bahwa path yang ditentukan merupakan direktori.
  Pengaturan hiperparameter	ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0 (pid: 51) of binary: /usr/bin/python (and there are no related subprocess logs)	RAM tidak mencukupi menyebabkan error kehabisan memori (OOM) saat memuat model. Pilih tipe instans dengan memori lebih besar.
  	torch.cuda.OutOfMemoryError: CUDA out of memory	Memori GPU tidak mencukupi. Pilih instans GPU dengan VRAM lebih besar, atau kurangi hiperparameter yang intensif memori seperti lora_dim atau batch_size.
  	ValueError: No closing quotation	Parameter system prompt atau parameter string lain berisi tanda kutip pembuka (") yang tidak ditutup, sehingga mengganggu pembuatan perintah pelatihan. Pastikan semua tanda kutip dipasangkan dengan benar.
  Konfigurasi resource tipe instans	Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run	Masalah presisi. Model menggunakan format BF16, yang memerlukan GPU dengan arsitektur Ampere atau lebih baru (misalnya, A10, A100). Pelatihan pada GPU lama mengonversi parameter ke FP16, yang dapat menyebabkan error underflow ini.
  	RuntimeError: CUDA error: uncorrectable ECC error encountered	Kesalahan perangkat keras pada instans GPU. Coba ulang tugas pelatihan. Jika gagal lagi, coba tipe instans atau wilayah berbeda.
  	MemoryError: WARNING Insufficient free disk space	Disk penuh. Pilih tipe instans dengan disk space lebih besar.
  Error batas pengguna	failed to compose dlc job specs, resource limiting triggered, you are trying to use more GPU resources than the threshold	Kuota GPU terlampaui. Tugas pelatihan dibatasi hingga 2 GPU konkuren secara default. Tunggu hingga tugas yang sedang berjalan selesai, atau ajukan tiket untuk meminta peningkatan kuota.

P: Bagaimana cara melakukan debugging online untuk model yang telah diterapkan?

Setelah menerapkan model sebagai layanan di PAI-EAS, gunakan tool debugging online bawaan.

1. Temukan layanan yang diterapkan: Buka PAI-Model Gallery > Task Management > Deployment Tasks. Anda akan diarahkan ke konsol PAI-EAS tempat Anda dapat melihat layanan yang diterapkan.

   

2. Buka tool debugging: Di halaman PAI-EAS, temukan layanan Anda. Di kolom Operation, klik Online Debugging.

   

3. Konfigurasi dan kirim permintaan:

   1. Temukan format permintaan yang diperlukan di halaman deskripsi model di PAI-Model Gallery. Misalnya, model yang diterapkan menggunakan BladeLLM mungkin mengharapkan permintaan POST ke /v1/chat/completions dengan body JSON tertentu.

      

      

   2. Di UI Online Debugging, tambahkan path (misalnya, /v1/chat/completions) ke Request URL.

      

   3. Isi Request Body menggunakan contoh dari halaman deskripsi model dan klik Send Request.

P: Mengapa saya mendapatkan error "503 no healthy upstream" saat memanggil model yang telah diterapkan?

Error 503 Service Unavailable dengan pesan no healthy upstream menunjukkan bahwa instans layanan kehabisan resource dan tidak dapat memproses permintaan baru.

• Penyebab: Resource instans (CPU, memori, atau memori GPU) sepenuhnya digunakan, sehingga tidak tersisa kapasitas untuk permintaan baru.

• Solusi: Tindakan yang tepat bergantung pada jenis resource Anda:

  • Resource Publik: Pool resource bersama sementara kelebihan beban. Coba lagi selama jam sepi, atau terapkan ulang ke wilayah atau spesifikasi instans berbeda.

  • Resource Spesifikasi Khusus (EAS Resource Group): Kelompok sumber daya Anda tidak cukup diskalakan. Pastikan kelompok tersebut memiliki CPU, memori, dan memori GPU yang mencukupi. Pertahankan buffer resource minimal 20%.

P: Mengapa saya mendapatkan error "SupportsDistributedTraining false, please set InstanceCount=1" selama pelatihan?

• Penyebab: Model yang dipilih tidak mendukung pelatihan terdistribusi, tetapi tugas dikonfigurasi untuk berjalan pada beberapa node (InstanceCount > 1).

• Solusi: Atur Number of Nodes menjadi 1 dalam konfigurasi tugas pelatihan Anda dan restart tugas tersebut.

  

P: API model mengembalikan 404 - {'detail': 'Not Found'}

Kemungkinan penyebab:

1. Layanan model tidak mendukung pemanggilan API. Beberapa model yang diterapkan dari Model Gallery hanya mendukung interaksi berbasis web melalui tombol Web App di halaman detail layanan. Model-model ini tidak menyediakan titik akhir API yang kompatibel dengan OpenAI dan tidak dapat dipanggil menggunakan OpenAI SDK. Contohnya, PAI-DistilQwen2.5-7B-Instruct.

2. Path permintaan tidak lengkap atau salah. Misalnya, titik akhir API chat biasanya dalam format {domain}/api/predict/{service_name}/v1/chat/completions.

FAQ Pemilihan Model