Platform For AI:FAQ DSW

Hentikan, hapus, dan lepas instans

Pertanyaan: Bagaimana cara mount dan menggunakan sistem file saya sendiri di instans DSW?

Mount OSS, NAS, CPFS, atau Lingjun CPFS saat membuat instans, lalu gunakan DSW Terminal untuk menavigasi ke direktori mount dan mengakses file Anda.

Pertanyaan: Mounting dataset NAS ke PAI-DSW gagal dengan "The specified MountTarget 3b79d4a2ac-xmk97.cn-shanghai.nas.aliyuncs.com is not in VPC vpc(VPC instance)"

• Penyebab: target mount dikonfigurasi saat dataset NAS dibuat.

• Solusi: biarkan target mount kosong saat membuat dataset.

Pertanyaan: Mounting NAS ke server FTP berbasis ECS gagal dengan "mount: wrong fs type, bad option, bad superblock"

• Gejala

  [root@iZufxxx file]# sudo mount -t nfs -o vers=4.0  3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/ /usr/sftp/file
  mount: wrong fs type, bad option, bad superblock on 3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/,
         missing codepage or helper program, or other error
         (for several filesystems (e.g. nfs, cifs) you might
         need a /sbin/mount.<type> helper program)
  
         In some cases useful info is found in syslog - try
         dmesg | tail or so.
  [root@iZufxxx file]#

• Solusi

  Instal paket nfs-utils sebelum menjalankan perintah mount.

  yum install nfs-utils

Pertanyaan: Setelah mounting dataset OSS, mengakses direktori mount mengembalikan error "Input/output error"

root@dsw-xxx:/mnt/workspace# cd /mnt
root@dsw-xxx:/mnt# ls -ll
total 9
drw-rw-r--  0   99   99  512 Jan  1  1970 data
drwxr-xr-x  5 root root 4096 Dec 13 02:42 systemDisk
drwxr-xr-x  5 root root 4096 Dec 13 02:42 workspace
root@dsw-xxx:/mnt# cd data
root@dsw-xxx:/mnt/data# ls -ll
ls: reading directory '.': Input/output error
total 0
root@dsw-xxx:/mnt/data#

Error disebabkan oleh peran yang tidak memiliki izin akses OSS (AliyunPAIDLCAccessingOSSRole). Untuk langkah otorisasi, lihat Otorisasi akun layanan PAI.

Pertanyaan: Bagaimana cara mengurangi risiko kehabisan memori (OOM) saat mounting dataset OSS dengan Jindo?

Setelah mounting dataset OSS, konfigurasikan parameter lanjutan untuk mengurangi risiko OOM:

• Opsi 1: Gunakan Jindo 6.8.1, yang mencakup optimasi memori.

  {
      "fs.jindo.fuse.pod.image.tag":"6.8.1"
  }

• Opsi 2: Gunakan ossfs.

  Tentukan berikut ini saat mengirimkan tugas:

  {
      "mountType": "ossfs"
  }

  Untuk lebih mengurangi risiko OOM, nonaktifkan optimasi readdirplus untuk mengurangi konsumsi cache metadata saat mendaftar isi direktori:

  {
      "mountType": "ossfs",
      "fs.ossfs.args": "-oreaddirplus=false"
  }

Pertanyaan: Saya berhasil mount OSS, tetapi mengapa tidak muncul di browser file JupyterLab?

Browser file DSW menampilkan direktori kerja instans, yaitu /mnt/workspace secara default. Path mount yang Anda tentukan untuk OSS (misalnya, /mnt/data) berada di luar direktori kerja default, sehingga tidak muncul di daftar file.

Untuk mengakses file yang dimount:

• Akses melalui kode: file berhasil dimount. Dalam kode Anda, gunakan path mount lengkap, misalnya open('/mnt/data/my_file.csv').

• Ubah titik mount: atur path mount ke subdirektori di bawah direktori kerja, misalnya /mnt/workspace/my_oss_data. Setelah mounting, folder my_oss_data muncul di browser file.

• Akses melalui Terminal: jalankan cd /mnt/data di Terminal DSW untuk menavigasi ke direktori mount, lalu gunakan perintah ls dan lainnya untuk melihat dan mengelola file.

Pertanyaan: Saat menggunakan path OSS yang dimount, program saya mengembalikan "Transport endpoint is not connected" atau "Input/output error"

Error ini menunjukkan bahwa koneksi antara instans DSW dan mount OSS terputus. Penyebab umum dan langkah troubleshooting:

1. Izin peran RAM: periksa apakah peran RAM yang dikonfigurasi untuk instans DSW memiliki izin akses OSS (misalnya, AliyunPAIDLCAccessingOSSRole). Izin yang tidak mencukupi adalah penyebab umum kegagalan pembacaan OSS.

2. Resource layanan mount tidak mencukupi: di bawah beban kerja baca/tulis acak berat atau jumlah besar file kecil, proses ossfs atau JindoFuse mungkin crash karena kondisi kehabisan memori (OOM). Di Pengaturan lanjutan konfigurasi mount, nonaktifkan cache metadata atau tingkatkan alokasi memori. Untuk detailnya, lihat JindoFuse.

3. Pulihkan koneksi:

   • Untuk mount yang dikonfigurasi saat startup, restart instans DSW. Sistem akan melakukan mount ulang secara otomatis.

   • Gunakan PAI SDK untuk menjalankan perintah mount dinamis dan mount ulang path tanpa me-restart instans.

Pertanyaan: Jenis penyimpanan apa yang didukung DSW untuk mounting? Dapatkah saya mount Alibaba Cloud Drive atau tabel MaxCompute?

DSW mendukung OSS, NAS, dan CPFS melalui pembuatan dataset atau mounting path langsung.

• Alibaba Cloud Drive tidak didukung: DSW tidak mendukung mounting Alibaba Cloud Drive pribadi. Simpan data di OSS sebagai gantinya.

• Tabel MaxCompute tidak didukung untuk mounting langsung: data tabel MaxCompute (sebelumnya ODPS) tidak dapat dimount sebagai direktori sistem file. Akses dari kode DSW menggunakan PAI SDK atau API. Untuk detailnya, lihat Baca dan tulis tabel MaxCompute dengan PyODPS.

Pertanyaan: Apakah kode dan data saya akan hilang jika saya menghentikan atau menghapus instans DSW? Bagaimana cara mempertahankan dan memigrasikan data?

Disk sistem instans DSW adalah penyimpanan sementara. Untuk kelompok resource publik, data dihapus jika instans dihentikan lebih dari 15 hari. Untuk kelompok resource dedicated, data dihapus saat instans dihentikan atau dihapus.

Untuk mempertahankan data dan kode serta memigrasikannya antar instans, gunakan penyimpanan eksternal yang dimount.

• Pertahanan: simpan semua data, kode, dan model penting ke path OSS atau NAS yang dimount. Bahkan jika instans DSW dihapus, aset Anda tetap aman di OSS atau NAS Anda sendiri.

• Migrasi: untuk memindahkan data dari satu instans DSW ke instans lain, mount path OSS atau NAS yang sama di instans baru. Ini adalah pendekatan migrasi paling langsung.

Pertanyaan: Saya berhasil mount OSS, tetapi file di direktori kerja saya tidak muncul di OSS

Path mount OSS default adalah /mnt/data, sedangkan direktori kerja default DSW adalah /mnt/workspace. File di direktori kerja tidak terlihat di OSS karena berada di path berbeda. Salin file dari direktori kerja ke /mnt/data untuk membuatnya terlihat di OSS:

cp -r /mnt/workspace/. /mnt/data/

Pertanyaan: Bagaimana cara menyalin semua data dari /mnt/workspace ke direktori dataset yang dimount?

Jalankan perintah berikut di Terminal instans DSW:

cp -r /mnt/workspace/ /mnt/data/

/mnt/data adalah path mount dataset default. Perintah ini mempertahankan struktur dan isi file asli. Setelah menyalin, verifikasi status mount dan periksa data OSS dengan:

mount | grep oss

Pertanyaan: Bagaimana cara menggunakan DSW untuk membaca data OSS?

Baca data OSS menggunakan Python SDK atau API. Untuk detailnya, lihat Baca dan tulis data di OSS.

Pertanyaan: Bagaimana cara mengunggah atau mengunduh folder?

DSW tidak mendukung pengunggahan atau pengunduhan folder secara langsung. Kompres folder menjadi file arsip terlebih dahulu. Terminal DSW menyediakan lingkungan Linux dengan alat standar seperti tar, gzip, dan unzip. Contoh berikut menggunakan tar.

1. Jalankan tar --version untuk memeriksa apakah tar terinstal. Jika tidak, instal:

   # Untuk sistem berbasis Debian (misalnya, Ubuntu)
   sudo apt install tar
   
   # Untuk sistem berbasis Red Hat (misalnya, CentOS, Fedora)
   sudo yum install tar

2. Kompres atau ekstrak folder:

   # Kompres folder (/path/to/directory adalah folder yang akan dikompres)
   tar -cvf archive_name.tar /path/to/directory
   
   # Ekstrak folder
   tar -xvf archive_name.tar

Pertanyaan: Bagaimana cara mentransfer atau berbagi data antara dua instans DSW?

Dua pendekatan tersedia:

• Mount dataset, OSS, NAS, atau CPFS: mount dataset atau path OSS yang sama di kedua instans dan simpan data bersama di sana.

• Unggah dan unduh file: unduh data dari instans sumber, lalu unggah ke instans target.

Pertanyaan: Mengklik "Download" tidak berpengaruh atau pengunduhan gagal

Ini biasanya disebabkan oleh kemacetan jaringan atau masalah browser. Coba langkah berikut:

1. Tunggu sebentar. File besar memerlukan waktu lebih lama untuk merespons.

2. Beralih ke browser berbeda atau gunakan mode privat (penyamaran) browser Anda.

3. Untuk file lebih besar dari 200 MB atau di jaringan tidak stabil, unduh melalui path OSS yang dimount sebagai gantinya.

Pertanyaan: Area staging transfer file kehabisan ruang

Area staging transfer file memiliki kapasitas total 10 GB. Buka halaman manajemen area staging dan bersihkan file area staging untuk mengosongkan ruang. Jika halaman tidak refresh, coba refresh browser.

Pertanyaan: Mengapa pengunggahan selalu dialihkan ke area staging transfer file?

Ini adalah perilaku yang diharapkan. Untuk memastikan stabilitas dan kecepatan pengunggahan, semua file lebih besar dari 10 MB secara otomatis diarahkan melalui area staging transfer file sebelum disimpan ke instans Anda.

Pertanyaan: Bilah kemajuan macet atau tidak responsif saat mengunggah file besar melalui area staging transfer file — apa yang harus saya lakukan?

• Penyebab: Ini biasanya disebabkan oleh lingkungan jaringan lokal yang tidak stabil, yang dapat membuat pengunggahan macet dan bilah kemajuan tidak bergerak, serta kadang-kadang menyebabkan kegagalan transfer.

• Solusi: Unggah file ke Object Storage Service (OSS) terlebih dahulu, lalu mount atau baca data OSS dari instans DSW. Untuk panduan, lihat Mount dan kelola sumber data.

Pertanyaan: Bagaimana cara mengunggah file besar (seperti model lebih dari 5 GB) atau volume data besar ke DSW?

Disk sistem instans DSW terbatas dan sementara. Alih-alih mengunggah file besar secara langsung, unggah data Anda ke Alibaba Cloud Object Storage Service (OSS) terlebih dahulu, lalu mount OSS ke instans DSW. Untuk detailnya, lihat Mount dataset, OSS, NAS, atau CPFS.

Pertanyaan: Mengapa pembuatan instans DSW gagal dengan error FAIL_TO_INIT_DATASET?

Saat path mount OSS mengarah ke file daripada direktori, DSW mendeteksi pada tahap pembuatan instans bahwa path tersebut tidak dapat dikenali sebagai direktori. Akibatnya, DSW menolak menginisialisasi dataset dan mengembalikan error FAIL_TO_INIT_DATASET.

Untuk mengatasi ini, periksa apakah ada file dengan nama yang sama di level yang sama dengan path mount di OSS. Jika iya, hapus file tersebut atau modifikasi path direktori mount untuk memastikan mengarah ke direktori yang valid, lalu buat ulang instans.

Pertanyaan: Koneksi ProxyClient ke instans DSW terputus dengan "client_loop: send disconnect: Broken pipe"

Saat menghubungkan ke instans DSW melalui SSH, koneksi idle mungkin terputus dan prompt berikut muncul:

Welcome to PAI DSW!

(base) [root@dsw-367946-867cc4957c-phxnp ~]$FATA[0245] proxy-read:websocket: close 1006 (abnormal closure): unexpected EOF
                        client_loop: send disconnect: Broken pipe

Untuk koneksi yang lebih andal, gunakan Koneksi jarak jauh: Koneksi SSH langsung sebagai gantinya.

Pertanyaan: Koneksi jarak jauh melalui VS Code gagal membuka folder lokal

Ini biasanya disebabkan oleh klien VS Code. Unggah file lokal ke DSW di cloud sebagai gantinya. Untuk instruksi, lihat Unggah dan unduh file.

Pertanyaan: Konfigurasi koneksi SSH langsung gagal dengan "Failed to update private zone items: Failed to add zone"

Error ini menunjukkan bahwa layanan resolusi DNS internal tidak diaktifkan. Aktifkan dengan mengikuti langkah di Aktifkan DNS Pribadi.

Pertanyaan: Koneksi VS Code ke DSW gagal dengan "the input device is not a TTY"

Error ini biasanya disebabkan oleh konfigurasi TTY yang hilang di server SSH. Untuk memperbaikinya:

1. Di Terminal instans DSW, edit /etc/ssh/sshd_config dan tambahkan atau konfirmasi keberadaan PermitTTY yes.

2. Simpan file dan jalankan sudo service ssh restart untuk me-restart layanan SSH.

3. Sambungkan ulang menggunakan VS Code.

Pertanyaan: Dapatkah saya langsung memanggil resource GPU PAI dari IDE eksternal untuk menjalankan kode?

Tidak. Baik DSW maupun DLC mengharuskan kode dijalankan di lingkungan cloud. Memanggil resource GPU PAI langsung dari IDE eksternal lokal melalui API tidak didukung.

Gunakan koneksi SSH langsung untuk menghubungkan IDE lokal (seperti VS Code atau PyCharm) ke instans DSW untuk pengembangan, atau unggah kode ke DSW atau DLC untuk menjalankannya. Untuk instruksi koneksi SSH, lihat bagian "Koneksi instans jarak jauh" dalam topik ini.

Pertanyaan: Bagaimana cara menggunakan library pihak ketiga di DSW?

DSW mendukung instalasi library pihak ketiga. Untuk detailnya, lihat Kelola library pihak ketiga.

Pertanyaan: Apakah paket yang diinstal dengan pip dan kode yang saya tulis akan hilang setelah menghentikan instans DSW?

Tidak, jika instans menggunakan disk cloud sebagai disk sistem. Data disk — termasuk lingkungan /mnt/workspace dan /root — dipertahankan saat instans dihentikan. Semua lingkungan dan file tersedia saat instans dimulai ulang. Data hanya dihapus sepenuhnya saat instans dihapus.

Pertanyaan: Mengapa paket pihak ketiga yang diinstal tidak berlaku?

Setelah menginstal paket dengan pip, jika import gagal menemukannya, restart layanan atau kernel terlebih dahulu. Jika error tetap muncul, periksa lingkungan Python aktif. DSW menginstal paket ke lingkungan Python 3 secara default. Untuk menginstal ke lingkungan berbeda, beralihlah ke lingkungan tersebut terlebih dahulu:

# Instal ke lingkungan Python 2
source activate python2
pip install --user xxx

# Instal ke lingkungan TensorFlow 2.0
source activate tf2
pip install --user xxx

Ganti xxx dengan nama paket yang akan diinstal.

Pertanyaan: Perintah pip install di DSW gagal dengan konflik dependensi atau error versi

Ini biasanya disebabkan oleh ketidakcocokan lingkungan. Troubleshoot dengan urutan berikut:

1. Beralih gambar (direkomendasikan): hentikan instans saat ini, buat instans DSW baru, dan pilih gambar resmi berbeda. Misalnya, jika PyTorch 2.1 tidak berfungsi, coba gambar PyTorch 2.3 atau seri modelscope, yang umumnya memiliki kompatibilitas lebih baik.

2. Instal versi tertentu: periksa dokumentasi paket untuk versi yang kompatibel dengan lingkungan DSW Anda (versi Python/CUDA), lalu jalankan pip install package_name==x.y.z.

3. Beralih sumber unduhan: coba mirror seperti mirror PyPI Universitas Tsinghua: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <yourLibraryName>.

• Perbedaan lingkungan gambar dedicated vs. tujuan umum: gambar dedicated (seperti seri isaaclab) disesuaikan untuk skenario tertentu dan mungkin menyebabkan ketidaksesuaian antara lingkungan Terminal dan Notebook, modul yang hilang, atau perilaku perintah berbeda. Jika Anda mengalami masalah seperti ini, beralihlah ke gambar resmi tujuan umum yang direkomendasikan dalam dokumentasi (seperti modelscope:1.26.0-pytorch2.6.0-gpu-py311-cu124-ubuntu22.04).

• Menginstal plugin novnc gagal dengan "exit status 100": error ini biasanya disebabkan oleh konflik versi turbovnc. Hentikan instans saat ini dan beralih ke gambar resmi dengan dependensi pra-instal yang kompatibel (seperti modelscope:1.34.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04) untuk menghindari ketidakstabilan sistem dari downgrade paket manual.

Pertanyaan: Saya menginstal library di Terminal DSW, tetapi Jupyter Notebook tidak dapat mengimpornya

Terminal dan Jupyter mungkin menggunakan lingkungan Python berbeda. Jalankan which python untuk mengonfirmasi lingkungan Python aktif, atau instal library langsung di Notebook, misalnya:

!which python
/usr/local/bin/python

!pip install bottle
Looking in indexes: https://mirrors.aliyun.com/pypi/simple/
Collecting bottle
  Downloading https://mirrors.aliyun.com/pypi/packages/83/f6/b55...
                                            103,8/103,8 kB 6,7 ...
Installing collected packages: bottle
Successfully installed bottle-0.13.4
WARNING: Running pip as the 'root' user can result in broken per...

[notice] A new release of pip is available: 23.3.2 -> 25.1.1
[notice] To update, run: pip install --upgrade pip

Pertanyaan: Kode saya mengatakan versi driver CUDA terlalu rendah. Haruskah saya memperbarui driver NVIDIA secara manual di DSW?

Jangan perbarui driver. Driver dan CUDA instans DSW telah diinstal sebelumnya dan dikunci. Modifikasi manual dapat merusak instans hingga tidak dapat dipulihkan. Pendekatan yang benar adalah beralih gambar DSW: hentikan instans saat ini, buat yang baru, dan pilih gambar resmi dengan versi CUDA dan driver lebih tinggi.

Misalnya, gambar resmi modelscope:1.9.4-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04 mencakup CUDA 11.8 (ditunjukkan oleh cu118).

Pertanyaan: Gambar mendukung GPU, tetapi kode saya tidak dapat menggunakannya (torch.cuda.is_available() mengembalikan False)

Ini adalah masalah pemanggilan runtime, bukan ketidakcocokan versi driver CUDA. Troubleshoot dengan langkah berikut:

1. Periksa logika kode untuk mengonfirmasi bahwa model atau tensor secara eksplisit menargetkan perangkat GPU menggunakan .to('cuda') atau torch.device('cuda').

2. Jalankan nvidia-smi di Terminal untuk memverifikasi bahwa sistem mendeteksi perangkat GPU.

3. Restart instans DSW untuk mengatur ulang alokasi resource GPU.

4. (Untuk Alibaba Cloud Linux 3) Jika langkah di atas tidak menyelesaikan masalah dan sistem adalah Alibaba Cloud Linux 3, masalah versi systemd mungkin mencegah cgroups mengalokasikan perangkat GPU dengan benar. Jalankan sudo yum upgrade systemd di Terminal untuk memperbarui systemd, lalu restart instans.

Pertanyaan: Dapatkah saya menggunakan Docker untuk menerapkan aplikasi di dalam instans DSW?

Untuk resource Lingjun, kirim tiket untuk ditambahkan ke daftar izin penggunaan Docker. Untuk instans DSW non-Lingjun, menjalankan Docker di dalam kontainer instans tidak didukung.

Pertanyaan: Instans DSW tidak memiliki unzip atau 7z. Bagaimana cara mengekstrak file?

Instal menggunakan apt-get:

• Instal unzip: jalankan apt-get update && apt-get install -y unzip di Terminal, lalu ekstrak dengan unzip your_file.zip.

• Instal p7zip (untuk 7z): jalankan apt-get update && apt-get install -y p7zip-full di Terminal, lalu ekstrak dengan 7z x your_file.7z.

Pertanyaan: Instalasi paket macet atau timeout

Instalasi macet, timeout, atau kecepatan sangat lambat biasanya disebabkan oleh masalah jaringan. Troubleshoot dengan langkah berikut:

Langkah 1: Periksa konektivitas jaringan

Jalankan ping www.aliyun.com di Terminal untuk menguji akses internet. Jika jaringan tidak dapat dijangkau, lanjutkan ke langkah 2.

Langkah 2: Periksa konfigurasi gateway

Di halaman konfigurasi instans, periksa tipe Internet Access Gateway:

• Gateway publik: DSW menggunakan Public Gateway secara default. Periksa tipe gateway di halaman konfigurasi instans. Gateway publik memiliki batas bandwidth yang mungkin tidak mencukupi untuk file besar — pertimbangkan beralih ke gateway pribadi.

• Gateway pribadi: gateway pribadi menyediakan kecepatan jaringan lebih tinggi, tetapi memerlukan gateway NAT publik dengan EIP dan entri SNAT yang dikonfigurasi di VPC. Tanpa ini, instans tidak dapat mengakses internet. Untuk detailnya, lihat Tingkatkan akses internet dengan gateway pribadi.

Langkah 3: Beralih sumber unduhan pip

DSW menggunakan mirror Alibaba Cloud secara default, yang mungkin lambat selama jam sibuk atau fluktuasi jaringan. Coba beralih ke mirror domestik lain:

# Mirror Universitas Tsinghua (direkomendasikan)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn <yourLibraryName>

# Mirror USTC
pip install -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host pypi.mirrors.ustc.edu.cn <yourLibraryName>

# Mirror Douban
pip install -i https://pypi.doubanio.com/simple --trusted-host pypi.doubanio.com <yourLibraryName>

Untuk mengubah sumber pip default secara permanen, lihat Lihat atau ubah sumber pip.

Langkah 4: Gunakan instalasi offline

Jika jaringan tidak tersedia atau sangat tidak stabil, instal paket secara offline:

1. Di mesin lokal dengan koneksi jaringan baik, unduh paket .whl:

   # Jalankan di mesin lokal
   pip download <yourLibraryName> -d ./packages

2. Unggah file .whl ke instans DSW. Untuk instruksi pengunggahan, lihat Unggah dan unduh file.

3. Instal paket secara offline di DSW:

   pip install /path/to/your-package.whl

Pertanyaan: Bagaimana cara mendapatkan akses root di WebIDE DSW?

Sebagian besar gambar resmi DSW berjalan sebagai root secara default. Jika prompt Terminal menunjukkan root@..., Anda sudah berjalan sebagai root. Peringatan "tidak disarankan menjalankan sebagai root" dari pip dapat diabaikan dengan aman. Jika gambar Anda tidak menggunakan login root, itu adalah pengaturan khusus gambar — beralihlah ke gambar yang mendukung akses root.

Pertanyaan: Bagaimana cara memulai server X di DSW?

DSW tidak mendukung memulai server X.

Pertanyaan: Bagaimana cara menerapkan model yang dihasilkan oleh DSW?

• Terapkan dengan EAS

  Setelah menyelesaikan pelatihan model, terapkan sebagai layanan online menggunakan PAI-EAS. Untuk detailnya, lihat Terapkan model sebagai layanan online.

• Unduh model untuk penerapan lokal

  Klik kanan model yang dihasilkan oleh DSW untuk mengunduhnya ke mesin lokal Anda.

Pertanyaan: Mengapa saya diminta login lagi setelah meninggalkan halaman idle untuk sementara waktu?

Untuk keamanan, sesi login untuk DSW kedaluwarsa setelah 3 jam. Anda perlu login lagi setelah kedaluwarsa, tetapi ini tidak memengaruhi tugas yang sedang berjalan. Untuk tugas berjalan lama, jalankan di DSW Terminal menggunakan perintah nohup untuk menjaga tugas tetap berjalan di latar belakang.

Durasi timeout sesi saat ini tidak dapat dikonfigurasi dan default 3 jam, sehingga Anda tidak dapat memodifikasi timeout sesi atau mengatur durasi putus koneksi.

Pertanyaan: Jika saya menutup browser atau mematikan komputer, apakah tugas pelatihan di DSW tetap berjalan?

Ya. Instans DSW berjalan di cloud, sehingga mematikan perangkat lokal tidak memengaruhi statusnya. Namun, beberapa instans — terutama instans percobaan gratis — mungkin memiliki kebijakan auto-stop saat idle yang dikonfigurasi. Jika pemanfaatan CPU atau GPU tetap di bawah ambang batas tertentu untuk periode waktu, sistem mungkin menganggap instans idle dan menghentikannya secara otomatis, mengganggu tugas Anda.

Pertanyaan: Apakah DSW mendukung distilasi model?

DSW hanya menyediakan lingkungan pengembangan berbasis cloud dan tidak menawarkan fitur distilasi model sekali klik. Jika Anda ingin melakukan distilasi model sekali klik, Anda dapat menggunakan PAI Model Gallery. Untuk detailnya, lihat Distilasi Model.

Pertanyaan: Mengapa pelengkapan tab dan fitur bash lainnya tidak tersedia di Terminal?

Beberapa gambar memiliki batasan penggunaan. Ketik bash di Terminal dan tekan Enter untuk mengaktifkan fitur bash.

# bash
root@dsw-xxx-rxdxg:/mnt/workspace# ls
demos  lingxitest.tar
root@dsw-xxx-rxdxg:/mnt/workspace#

Pertanyaan: Apa yang harus saya lakukan jika tipe instans DSW tidak memenuhi kebutuhan saya?

Perbarui tipe instans dengan mengikuti langkah berikut:

1. Di daftar instans DSW, klik nama instans untuk membuka halaman detail instans.

2. Di tab Instance Settings, klik Change Settings.

3. Di panel Change Instance Settings, perbarui tipe instans.

   Catatan

   Jika instans sedang berjalan saat Anda memperbarui tipe, instans akan segera restart. Pastikan Anda telah menyimpan semua pekerjaan di instans sebelum melanjutkan.

Pertanyaan: Pemanfaatan memori tinggi — bagaimana cara mengosongkan memori?

Jika penggunaan memori memengaruhi operasi normal, gunakan salah satu pendekatan berikut:

• Jika memori sangat tinggi sehingga Anda tidak dapat lagi berinteraksi melalui command line, klik Stop Instance di pojok kanan atas, atau kembali ke konsol DSW dan klik Stop di sebelah instans. Tunggu hingga instans berhenti, lalu buka kembali.

• Jika Anda masih dapat berinteraksi melalui command line, jalankan perintah top di Terminal instans untuk melihat penggunaan memori berdasarkan proses. %MEM menunjukkan persentase memori, dan PID menunjukkan ID proses.

  top – 10:40:20 up 22 min,  0 users,  load average: 0,95, 0,40, 0,15
  Tasks:  21 total,   2 running,  19 sleeping,   0 stopped,   0 zombie
  %Cpu(s): 12,9 us,  0,6 sy,  0,0 ni, 86,4 id,  0,0 wa,  0,0 hi,  0,0 si,  0,0 st
  MiB Mem :  16000,0 total,   5889,6 free,   8838,5 used,   1271,9 buff/cache
  MiB Swap:      0,0 total,      0,0 free,      0,0 used.   5889,6 avail Mem
  
    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    360 root      20   0 8992776   8,0g  17096 R 100,0  51,1   2:12,54 python
    207 root      20   0   11,2g 304160  50372 S   4,0   1,9   0:44,11 node
    106 root      20   0  288712 104764  18316 S   1,0   0,6   0:03,11 jupyter-lab
    122 root      20   0  638252 104652  32672 S   1,0   0,6   0:17,24 app
    244 root      20   0  648536  54848  37924 S   0,3   0,3   0:01,22 node
      1 root      20   0   10416   3828   3464 S   0,0   0,0   0:00,04 bash
     90 root      20   0   15420   3856   2240 S   0,0   0,0   0:00,00 sshd
     99 root      20   0   34500  25712  10688 S   0,0   0,2   0:00,48 supervisord
    100 root      20   0   16280   8612   5140 S   0,0   0,1   0:00,01 supervisor_stdo
    101 root      20   0   10420   3632   3300 S   0,0   0,0   0:00,00 launch_dswagent
    102 root      20   0   10420   3724   3384 S   0,0   0,0   0:00,00 launch_jupyterl
    103 root      20   0   10420   3628   3280 S   0,0   0,0   0:00,00 launch_code_ser
    105 root      20   0   29632  28416   1668 S   0,0   0,2   0:01,51 app
    154 root      20   0  721936  63232  37132 S   0,0   0,4   0:00,59 node
    172 root      20   0  995584 131364  41032 S   0,0   0,8   0:05,36 node
    218 root      20   0  848572  50384  37464 S   0,0   0,3   0:00,24 node
    256 root      20   0   10684   4468   3768 S   0,0   0,0   0:00,00 bash
    311 root      20   0  134328  50316  10432 S   0,0   0,3   0:00,93 python
    312 root      20   0  138020  54140  11004 S   0,0   0,3   0:01,06 python
   3670 root      20   0   10656   4368   3704 S   0,0   0,0   0:00,09 bash
   3694 root      20   0   13224   3980   3400 R   0,0   0,0   0:00,08 top

  Untuk menghentikan proses dengan penggunaan memori tinggi, jalankan:

  kill PID

  Ganti PID dengan ID proses yang ingin Anda hentikan. Pemanfaatan memori seharusnya turun setelah perintah dijalankan.

  C 0,9%  M 4,3%

Pertanyaan: RuntimeError: CUDA error: too many resources requested for launch

Penyebab: Error ini berarti kernel CUDA meminta lebih banyak resource daripada yang tersedia. Ini biasanya terkait dengan batas perangkat keras GPU.

Solusi: Restart instans dan jalankan ulang program. Jika error tetap muncul, beralihlah ke instans GPU dengan spesifikasi lebih tinggi.

Pertanyaan: Dapatkah saya membuat ruang swap untuk menggunakan memori virtual saat DSW kehabisan memori?

DSW berjalan sebagai kontainer dan tidak mendukung pembuatan atau pengelolaan ruang swap karena alasan berikut:

• Batasan izin: Kontainer memiliki izin kernel terbatas dan tidak dapat memount file swap. Bahkan dengan akses root di dalam kontainer, kebijakan resource tingkat host tidak dapat dilewati.

• Kebijakan platform: Platform mengelola dan membatasi resource secara terpusat untuk memastikan stabilitas dan keamanan di lingkungan multi-tenant.

Jika Anda kekurangan memori, optimalkan kode Anda atau tingkatkan tipe instans.

Pertanyaan: Bagaimana cara troubleshooting dan mengatasi error kehabisan memori (OOM) saat instans DSW berjalan?

Saat instans DSW melaporkan error kehabisan memori (OOM) atau OOM killer kernel menghentikan proses, troubleshoot dengan urutan berikut:

1. Di Terminal, jalankan top, tekan M untuk mengurutkan proses berdasarkan penggunaan memori, dan gunakan kolom %MEM untuk mengidentifikasi proses berpenggunaan memori tinggi dan nilai PID-nya.

2. Konfirmasi bahwa proses berpenggunaan memori tinggi tidak diperlukan, lalu jalankan kill -9 <PID> untuk menghentikannya. Ganti <PID> dengan ID proses yang diidentifikasi pada langkah sebelumnya.

3. Jika instans membeku atau tidak dapat menerima perintah karena memori habis, gunakan konsol PAI untuk Stop, lalu mulai ulang. Menghentikan instans tidak menghapus data.

4. Jika memori tetap tidak mencukupi, tingkatkan tipe instans. Panggil ListEcsSpecs untuk mengkueri tipe instans yang tersedia, lalu panggil UpdateInstance untuk mengubah tipe instans. Atau, di halaman detail instans DSW, buka tab Instance Settings, klik Change Settings, dan perbarui tipe instans di panel Change Instance Settings. Sebelum mengubah konfigurasi untuk instans yang berjalan, simpan pekerjaan Anda karena mengubah tipe instans akan segera me-restart-nya.

5. Kurangi penggunaan memori puncak dalam kode Anda dengan menurunkan ukuran batch, menggunakan akumulasi gradien untuk mempertahankan ukuran batch efektif, menghapus variabel yang tidak diperlukan dengan del, dan memanggil gc.collect() untuk memulihkan memori.

FAQ terkait

Gunakan FAQ berikut dalam topik ini untuk panduan pelengkap:

• Pertanyaan: Pemanfaatan memori tinggi — bagaimana cara mengosongkan memori? menjelaskan cara memeriksa penggunaan memori berdasarkan proses dan memulihkan instans yang tidak responsif.

• Pertanyaan: Dapatkah saya membuat ruang swap untuk menggunakan memori virtual saat DSW kehabisan memori? menjelaskan mengapa ruang swap tidak tersedia di instans DSW.

• Pertanyaan: Bagaimana cara mengurangi risiko kehabisan memori (OOM) saat mounting dataset OSS dengan Jindo? menjelaskan opsi konfigurasi mount yang menghemat memori.

Pertanyaan: Dapatkah VRAM beberapa kartu GPU digabungkan? Berapa batas VRAM pada satu GPU?

Tidak, VRAM beberapa kartu GPU (misalnya, 2 x A10) tidak dapat dijumlahkan begitu saja. VRAM GPU terisolasi secara fisik — program Anda melihat beberapa ruang VRAM independen, bukan satu kumpulan besar yang digabungkan.

Dalam mode pelatihan standar, setiap GPU harus secara independen memuat set lengkap parameter model, gradien, dan status pengoptimal. Apakah tugas dapat dijalankan ditentukan oleh batas VRAM satu GPU. Jika VRAM yang dibutuhkan model melebihi kapasitas satu GPU (misalnya, 24 GB pada satu A10), tugas kehabisan memori (CUDA out of memory) bahkan jika beberapa kartu GPU terpasang.

Pertanyaan: Apakah DSW mendukung passthrough GPU, memuat modul nvidia-drm, atau mengaktifkan komunikasi P2P?

DSW memiliki batasan berikut di area ini:

• Instans kontainer DSW tidak mendukung pemuatan modul kernel nvidia-drm atau passthrough GPU. Resource GPU hanya dimount melalui --gpus=all.

• Komunikasi P2P antar kartu GPU ditentukan oleh perangkat keras dasar. Platform tidak menyediakan sakelar tingkat pengguna untuk mengaktifkannya. Jika nvidia-smi menunjukkan NS, perangkat keras saat ini tidak mendukung komunikasi P2P, dan tidak dapat diaktifkan melalui perangkat lunak.

• PAI adalah layanan terkelola. Layanan ini tidak mendukung instalasi driver atau patch kustom untuk mengaktifkan komunikasi P2P — driver GPU dan kemampuan komunikasi dasar dikelola secara seragam oleh platform.

Pertanyaan: VS Code menampilkan garis bergelombang merah pada kode Python di DSW — apa yang harus saya lakukan?

Garis bergelombang merah mungkin muncul di WebIDE DSW (VS Code) meskipun sintaksnya benar. Ini biasanya masalah parsing khusus lingkungan IDE cloud. Ikuti langkah berikut untuk mendiagnosis masalah:

1. Potong dan tempel kode ke editor VS Code lokal untuk memeriksa apakah error muncul di sana. Ini mengonfirmasi apakah masalah khusus lingkungan IDE cloud.

2. Jika pemeriksaan lokal bersih, unggah atau tempel ulang kode ke DSW.

3. Jika masalah tetap ada dan memengaruhi pengembangan Anda, kirim tiket untuk investigasi lebih lanjut oleh dukungan teknis PAI.

Pertanyaan: Dapatkah saya mengubah wilayah instans DSW? Apakah data bermigrasi secara otomatis?

Instans DSW tidak mendukung perubahan wilayah atau zona ketersediaan, dan data tidak bermigrasi secara otomatis.

• Untuk menggunakan DSW di wilayah berbeda, buat gambar kustom dari instans saat ini di wilayah asal untuk mencadangkan data Anda, lalu buat instans baru dari gambar tersebut di wilayah target.

• Jika pembuatan instans gagal karena resource tidak mencukupi, coba tipe instans berbeda atau tunggu hingga resource tersedia. Ini tidak melibatkan perubahan wilayah dan data Anda tidak akan hilang.

Pertanyaan: Bagaimana cara mempertahankan data saat beralih instans DSW ke wilayah berbeda?

Pendekatannya tergantung pada pengaturan penyimpanan Anda:

1. Tanpa penyimpanan eksternal (hanya disk sistem): Membuat instans baru di wilayah berbeda tanpa cadangan akan mengakibatkan kehilangan data. Buat gambar kustom dari instans yang berjalan di wilayah asal terlebih dahulu, lalu buat instans baru dari gambar tersebut di wilayah target untuk memulihkan lingkungan dan data Anda.

2. Penyimpanan NAS/OSS yang dimount: Data Anda ada secara independen dari instans dan tidak memerlukan cadangan gambar. Migrasikan data di NAS/OSS langsung ke wilayah target.

Pertanyaan: Apakah PAI-DSW mendukung migrasi ruang kerja lintas wilayah sekali klik?

DSW tidak mendukung impor lintas wilayah sekali klik. Sebagai alternatif, unggah file dari ruang kerja sumber ke area staging transfer file atau OSS, lalu unduh atau mount di instans DSW di wilayah target.