All Products
Search

This Product

    Platform For AI:FAQ DLC

    Document Center

    Platform For AI:FAQ DLC

    Last Updated:Sep 09, 2026

    Temukan solusi untuk masalah umum yang mungkin Anda temui saat menggunakan DLC.

    Tanyakan ke Xiao PAI terlebih dahulu

    Asisten AI PAI (Xiao PAI) menyediakan panduan lengkap dan instruksi langkah demi langkah untuk semua produk PAI. Asisten ini dapat mendiagnosis instans DSW, pekerjaan DLC, dan layanan EAS—secara otomatis mengidentifikasi penyebab kegagalan dan merekomendasikan langkah selanjutnya.

    image

    T: Pekerjaan DLC telah lama dalam antrean, tetapi pemantauan sumber daya menunjukkan kapasitas keseluruhan mencukupi. Bagaimana cara memecahkan masalah ini?

    Halaman pemantauan sumber daya menampilkan kuota total untuk kolam sumber daya, tetapi penjadwal mengalokasikan sumber daya berdasarkan ketersediaan pada node individual. Meskipun kluster memiliki sumber daya total yang cukup, pekerjaan tetap dalam antrean jika tidak ada satu pun node yang dapat memenuhi kombinasi sumber daya lengkap yang diminta pekerjaan tersebut (misalnya CPU + GPU secara bersamaan).

    Periksa penyebab umum berikut:

    1. Fragmentasi sumber daya (paling umum)

    • Gejala: Sumber daya GPU terkonsentrasi pada beberapa node, tetapi node-node tersebut telah mengonsumsi CPU atau memori mereka untuk pekerjaan lain. Sumber daya yang tersisa pada node tersebut tidak dapat memenuhi kombinasi CPU + GPU yang dibutuhkan oleh pekerjaan dalam antrean.

    • Solusi: Hentikan beberapa pekerjaan prioritas rendah untuk membebaskan sumber daya node, lalu kirim ulang pekerjaan target. Atau, kurangi spesifikasi CPU yang diminta pekerjaan agar sesuai dengan ketersediaan sumber daya yang terfragmentasi.

    2. Spesifikasi sumber daya per node yang diminta terlalu besar

    • Gejala: Spesifikasi sumber daya yang diminta pekerjaan per node (seperti jumlah core CPU atau memori) melebihi kapasitas aktual setiap node dalam kelompok sumber daya.

    • Solusi: Periksa konfigurasi aktual setiap node dalam kelompok sumber daya. Coba kurangi spesifikasi sumber daya per node (misalnya, lebih sedikit core CPU) dan periksa apakah pekerjaan berhasil dijadwalkan.

    3. Konflik konkurensi pekerjaan dan masalah prioritas

    • Gejala: Beberapa pekerjaan bersaing untuk kolam sumber daya yang sama, dan pekerjaan prioritas rendah harus menunggu pekerjaan prioritas tinggi melepaskan sumber daya.

    • Solusi: Konfigurasikan prioritas pekerjaan secara tepat. Kirim pekerjaan yang tidak mendesak selama jam sepi.

    4. Referensi kode kesalahan

    • Jika pekerjaan melaporkan Resource queue timeout, lack of sufficient resources, periksa jumlah CPU/GPU yang benar-benar tersedia pada setiap node dalam kelompok sumber daya, bukan hanya mengandalkan total agregat.

    T: Pelatihan model gagal dengan pesan "SupportsDistributedTraining false, please set InstanceCount=1"

    • Penyebab: Pekerjaan pelatihan dikonfigurasi untuk menggunakan beberapa instans (jumlah node lebih dari 1), tetapi model tersebut tidak mendukung pelatihan terdistribusi.

    • Solusi: Atur jumlah node menjadi 1.

    T: Pelatihan model gagal dengan pesan "failed to compose dlc job specs, resource limiting triggered, you are trying to use more GPU resources than the threshold"

    Pekerjaan pelatihan dibatasi hingga maksimal dua unit GPU yang berjalan secara konkuren. Jika ambang batas ini dilampaui, pembatasan sumber daya akan dipicu. Tunggu hingga pekerjaan pelatihan yang sedang berjalan selesai sebelum memulai yang baru, atau kirim tiket untuk meminta peningkatan kuota.

    T: Pekerjaan berhenti dengan kode kesalahan 137. Apa yang harus saya lakukan?

    Kode kesalahan 137 di Linux berarti proses tersebut dipaksa dihentikan oleh sinyal SIGKILL. Penyebab paling umum adalah penggunaan memori berlebihan, juga dikenal sebagai kesalahan Out of Memory (OOM).

    Saat Anda mengalami kesalahan ini (misalnya, "xxx exited with code 137"), periksa penggunaan memori yang ditampilkan di detail worker pekerjaan. Berdasarkan temuan tersebut, coba salah satu atau beberapa tindakan berikut:

    • Beralih ke tipe instans dengan memori lebih besar.

    • Tingkatkan jumlah pekerja.

    • Kurangi alokasi memori dalam kode Anda.

    T: Apa yang harus saya lakukan ketika status pekerjaan DLC menunjukkan "Failed" atau "Dequeued"?

    Eksekusi pekerjaan DLC mengikuti urutan status berikut:

    Jenis pekerjaan

    Urutan status

    Pekerjaan sumber daya pay-as-you-go

    Menggunakan sumber daya spot Lingjun

    Creating->Bidding->Preparing environment->Running->Succeeded/Failed/Stopped

    Menggunakan sumber daya publik Lingjun atau general-purpose

    Creating->Preparing environment->Running->Succeeded/Failed/Stopped

    Pekerjaan sumber daya berlangganan

    Creating->Queued->Preparing environment->Running->Succeeded/Failed/Stopped

    • Apa yang harus dilakukan saat status pekerjaan "Preparing environment"

      Jika pekerjaan tetap dalam status Preparing environment dalam waktu lama, kemungkinan besar disebabkan oleh pekerjaan pelatihan terdistribusi yang menggunakan dataset CPFS tetapi tidak dikonfigurasi VPC. Buat ulang pekerjaan dengan dataset CPFS yang dikonfigurasi, tambahkan VPC, dan pastikan VPC yang Anda pilih sesuai dengan VPC yang digunakan oleh CPFS. Untuk detailnya, lihat Buat pekerjaan pelatihan.

    • Apa yang harus dilakukan saat status pekerjaan "Failed"

      Di halaman detail pekerjaan, arahkan kursor ke ikon image.png di sebelah status pekerjaan, atau periksa log operasi instans untuk mengidentifikasi penyebab awal kegagalan. Untuk detailnya, lihat Lihat detail pekerjaan pelatihan.

      Jika pekerjaan gagal segera setelah fase persiapan lingkungan selesai, log pengguna di halaman detail pekerjaan mungkin kosong. Hal ini terjadi karena log belum disinkronkan dari mesin ke Konsol DLC.

      Untuk memecahkan masalah:

      • Di tab Logs, perluas rentang waktu pengumpulan log dan cari event log menggunakan ID pekerjaan sebagai kata kunci.

      • Jika Anda telah mengonfigurasi pengiriman log Simple Log Service (SLS), cari kesalahan aktual di SLS menggunakan ID pekerjaan DLC sebagai kata kunci.

      Menambahkan sleep 10 sebelum perintah launch hanya membantu jika perintah pekerjaan itu sendiri menghasilkan output stdout/stderr—hal ini memberi waktu bagi log untuk disinkronkan. Untuk perintah tanpa output, seperti exit 1, menambahkan sleep tidak menghasilkan log apa pun untuk disinkronkan.

    T: Bisakah saya mengganti pekerjaan DLC dari sumber daya publik ke sumber daya khusus?

    Untuk mengganti jenis sumber daya, Anda perlu membuat pekerjaan baru. Di kolom Actions pekerjaan asli, klik Clone untuk membuat pekerjaan baru yang menggunakan kembali konfigurasi asli, sehingga Anda tidak perlu memasukkan ulang semua parameter. Untuk detail penagihan, lihat Penagihan untuk DLC.

    T: Bagaimana cara mengonfigurasi pelatihan multi-node, multi-GPU di DLC?

    Untuk mengaktifkan pelatihan multi-node, multi-GPU, tambahkan perintah launch berikut saat membuat pekerjaan DLC. Untuk detail konfigurasi lengkap, lihat Buat pekerjaan pelatihan.

    python -m torch.distributed.launch \ --nproc_per_node=2 \ --master_addr=${MASTER_ADDR} \ --master_port=${MASTER_PORT} \ --nnodes=${WORLD_SIZE} \ --node_rank=${RANK} \ train.py --epochs=100

    T: Bagaimana cara mengunduh model yang telah dilatih dari PAI-DLC ke mesin lokal saya?

    Saat mengirimkan pekerjaan DLC, sambungkan dataset dan konfigurasikan perintah launch untuk menulis output pelatihan ke direktori dataset yang dimount. Di pengaturan Environment pekerjaan, tambahkan dataset kustom dan atur Mount path ke /mnt/data/. Lalu, di Launch command, jalankan cp -r ./output /mnt/data untuk menyalin file model ke direktori dataset yang dimount.

    Setelah pelatihan selesai, file model disimpan di direktori dataset yang dimount. Akses sistem file yang terkait dengan dataset tersebut untuk mengunduh file ke mesin lokal Anda.

    T: Bagaimana cara menggunakan gambar Docker di DLC?

    • Gunakan gambar Docker untuk membuat pekerjaan DLC: Dorong gambar Docker ke Alibaba Cloud Container Registry (ACR), lalu tambahkan ke ruang kerja PAI Anda sebagai custom image. Anda kemudian dapat memilih gambar tersebut saat membuat pekerjaan DLC.

    • Menginstal dan menggunakan Docker di dalam kontainer DLC: Pekerjaan DLC berjalan di dalam kontainer, sehingga menginstal atau menjalankan Docker di dalam kontainer DLC tidak didukung.

    T: Beberapa node dalam pekerjaan DLC selesai lebih awal. Bagaimana cara melepaskan sumber dayanya untuk pekerjaan lain?

    Latar belakang:

    Dalam pekerjaan DLC terdistribusi multi-worker, worker mungkin selesai pada waktu berbeda—misalnya, karena kesenjangan data. Secara default, worker yang telah selesai tetap memegang node yang dialokasikan hingga seluruh pekerjaan selesai.

    Solusi: Konfigurasikan parameter advanced ReleaseResourcePolicy. Secara default, sumber daya dipertahankan hingga seluruh pekerjaan selesai. Atur parameter ini ke pod-exit untuk melepaskan sumber daya setiap worker segera setelah worker tersebut selesai.

    T: Pekerjaan DLC gagal dengan pesan "OSError: [Errno 116] Stale file handle"

    Latar belakang:

    Beberapa worker mengalami kesalahan ini saat menjalankan torch.compile (kompilasi AOT) PyTorch. Kesalahan terjadi ketika suatu proses memegang handle file yang menjadi tidak valid karena file tersebut dihapus atau dipindahkan di sisi server.

    Akar penyebab:

    Kompilasi AOT PyTorch menyimpan cache graf komputasi yang dioptimalkan di sistem file (default: /tmp, biasanya tmpfs lokal). Di lingkungan kluster, cache ini mungkin disimpan di CPFS (sistem file terdistribusi yang dimount melalui NFS). NFS sensitif terhadap penghapusan file, dan kondisi berikut memicu stale file handle:

    • PyTorch secara otomatis membersihkan entri cache lama, atau proses lain menghapus direktori cache.

    • Server NFS memindahkan, menghapus, atau mengubah izin file, tetapi klien masih memegang handle lama.

    • Klien NFS secara default menyimpan cache atribut file, sehingga klien mungkin tidak mendeteksi perubahan di sisi server.

    Kondisi ini lebih mungkin terjadi dalam pekerjaan multi-worker: CPFS berbasis NFS rentan terhadap stale handle di bawah akses konkurensi tinggi, terutama untuk file cache berumur pendek. Worker konkuren yang membaca, menulis, atau membersihkan cache secara bersamaan dapat menyebabkan race condition.

    Solusi utama:

    • Paksa cache menggunakan tmpfs lokal dengan mengatur variabel lingkungan TORCHINDUCTOR_CACHE_DIR=/dev/shm/torch_cache.

    Solusi alternatif:

    1. Gunakan Redis sebagai backend cache bersama mengikuti dokumentasi resmi PyTorch (memerlukan layanan Redis).

    2. Sesuaikan opsi mount NFS untuk CPFS (opsi noac dapat mengurangi kemunculan stale handle tetapi dapat memengaruhi kinerja).

    3. Nonaktifkan cache dengan mengatur TORCHINDUCTOR_CACHE_DIR="". Ini menghilangkan kesalahan tetapi juga menghilangkan manfaat kinerja kompilasi.

    T: Mengakses /mnt/data gagal dengan pesan "Transport endpoint is not connected"

    Latar belakang:

    Setelah pekerjaan DLC dimulai, mengakses path dataset yang dimount (seperti /mnt/data) dalam perintah launch gagal dengan: Transport endpoint is not connected. Kesalahan ini menunjukkan titik mount NFS telah terputus.

    Penyebab umum:

    • Ketidaksesuaian VPC CPFS: Saat menggunakan dataset CPFS, VPC pekerjaan pelatihan harus sesuai dengan VPC sistem file CPFS. Ketidaksesuaian menyebabkan mount gagal.

    • Dataset belum siap: Dataset yang dibuat melalui manajemen aset AI mungkin masih dalam proses inisialisasi.

    • Path mount salah: Path mount yang dikonfigurasi dalam pekerjaan tidak sesuai dengan titik mount aktual dataset.

    Solusi:

    1. Di AI asset management, pastikan status dataset adalah "Available."

    2. Jika Anda menggunakan dataset CPFS: saat membuat pekerjaan pelatihan, pastikan VPC yang Anda konfigurasi sesuai dengan VPC sistem file CPFS. Untuk detail konfigurasi VPC, lihat Buat pekerjaan pelatihan.

    3. Periksa path mount: jalankan ls -la /mnt/data di log pekerjaan untuk memverifikasi mount dapat diakses.

    4. Jika Anda menggunakan dataset OSS: gunakan storage mounting alih-alih dataset mounting untuk kompatibilitas yang lebih baik.

    T: Pekerjaan DLC macet di "Preparing environment" dengan kesalahan "Unable to attach or mount volumes"

    Latar belakang:

    Saat startup, pekerjaan DLC macet di fase inisialisasi jaringan atau persiapan lingkungan. Log menunjukkan kesalahan berikut:

    Unable to attach or mount volumes: unmounted volumes=[hostpath-volume], unattached volumes=[...]: timed out waiting for the condition

    Penyebab umum:

    • Disk space node tidak mencukupi: Disk lokal pada node komputasi penuh, sehingga hostpath-volume tidak dapat dimount.

    • Masalah backend penyimpanan: Penyimpanan NAS, CPFS, atau OSS mengalami kegagalan sementara atau timeout koneksi.

    • Konflik sumber daya node: Beberapa pekerjaan dijadwalkan ke node yang sama secara bersamaan, menyebabkan operasi mount volume timeout saat menunggu dalam antrean.

    Solusi:

    1. Kirim ulang pekerjaan: Dalam kebanyakan kasus ini merupakan masalah sementara dan mengirim ulang pekerjaan akan menyelesaikannya.

    2. Periksa konektivitas penyimpanan: Pastikan layanan NAS, CPFS, atau OSS yang terkait dengan dataset dalam kondisi sehat dan konfigurasi VPC serta security group sudah benar.

    3. Jika masalah berlanjut, hubungi dukungan teknis Alibaba Cloud dan sertakan ID pekerjaan serta log kesalahan lengkap.