Gunakan CLI untuk mengirim pekerjaan - Elastic High Performance Computing

Elastic High Performance Computing (E-HPC) mendukung penjadwal seperti PBS, SLURM, dan SGE. Topik ini menjelaskan cara menggunakan CLI untuk mengirim pekerjaan berdasarkan penjadwal tersebut.

Prasyarat

Seorang pengguna telah dibuat. Untuk informasi lebih lanjut, lihat Kelola pengguna.
Pengguna digunakan untuk masuk ke kluster, mengompilasi perangkat lunak, dan mengirim pekerjaan. Pengaturan berikut digunakan dalam contoh ini:
- Nama pengguna: testuser
- Grup pengguna: grup izin sudo
Penting
Kami menyarankan Anda untuk tidak menggunakan pengguna root untuk mengirim pekerjaan. Ini mencegah data kluster rusak akibat operasi yang tidak tepat dalam skrip pekerjaan.
Siapkan file data dan file program eksekusi di direktori yang relevan.
Path berikut digunakan dalam contoh ini:
```
$HOME/test.py           # File program eksekusi.
$HOME/test.data         # File data pekerjaan.
```
Contoh perintah eksekusi pekerjaan:
```
test.py -i test.data
```

Hubungkan ke kluster

Hubungkan ke kluster menggunakan klien E-HPC atau konsol E-HPC. Dalam contoh ini, nama pengguna adalah testuser. Setelah terhubung ke kluster, Anda akan otomatis masuk ke /home/testuser.

Gunakan klien E-HPC untuk masuk ke kluster
Penjadwal kluster harus PBS. Pastikan Anda telah mengunduh dan menginstal klien E-HPC serta menyiapkan lingkungan yang diperlukan untuk klien. Untuk informasi lebih lanjut, lihat Siapkan lingkungan untuk klien E-HPC.
1. Mulai dan masuk ke klien E-HPC Anda.
2. Di panel navigasi di sebelah kiri, klik Session Management.
3. Di pojok kanan atas halaman Session Management, klik terminal untuk membuka jendela Terminal.
Gunakan konsol E-HPC untuk masuk ke kluster
1. Masuk ke konsol E-HPC.
2. Di pojok kiri atas bilah navigasi atas, pilih wilayah.
3. Di panel navigasi di sebelah kiri, klik Cluster.
4. Di halaman Cluster, temukan kluster dan klik Connect.
5. Di panel Connect, masukkan nama pengguna dan kata sandi, lalu klik Connect via SSH.

Kirim pekerjaan

Buat file skrip pekerjaan berdasarkan jenis penjadwal dan salin skrip pekerjaan berikut ke file tersebut, lalu kirim pekerjaan. Contoh:

Catatan

Dalam skenario penskalaan otomatis, E-HPC tidak mendukung penskalaan berbasis memori. Kami menyarankan Anda untuk menentukan jumlah vCPU yang diperlukan saat mengirim pekerjaan.

PBS

Buat file skrip pekerjaan bernama jobscript.pbs.

vim jobscript.pbs

Berikut adalah contoh isi file jobscript.pbs. Untuk informasi tentang CLI PBS, kunjungi situs resmi PBS.

#!/bin/sh
# PBS -l ncpus=4,mem=1gb   # Sumber daya komputasi yang diperlukan untuk menjalankan pekerjaan.
# PBS -l walltime=00:10:00   # Durasi perkiraan pekerjaan.
# PBS -o test_pbs.log              # File keluaran stdout.
# PBS -j oe                              # Mengarahkan stderr dan stdout ke file keluaran sebelumnya.
cd $HOME
test.py -i test.data

Kirim pekerjaan.
```
qsub jobscript.pbs
```

SLURM

Buat file skrip pekerjaan bernama jobscript.slurm.

vim jobscript.slurm

Berikut adalah contoh isi file jobscript.slurm. Untuk informasi tentang CLI SLURM, kunjungi situs resmi SLURM.

#!/bin/sh
# SBATCH --job-name=slurm-quickstart # Nama pekerjaan.
# SBATCH --output=test_slurm.log           # File keluaran stdout.
# SBATCH --nodes=1                                 # Jumlah node.
# SBATCH --ntasks=1                                 # Jumlah tugas.
# SBATCH --cpus-per-task=1                     # Jumlah vCPU yang diperlukan untuk setiap tugas.
# SBATCH --time=00:10:00 # Durasi perkiraan pekerjaan.
# SBATCH --mem-per-cpu=1024              # Memori yang dialokasikan untuk setiap vCPU.
cd $HOME
test.py test.data

Kirim pekerjaan.
```
sbatch jobscript.slurm
```

SGE

Buat file skrip pekerjaan bernama jobscript.sh.
```
vim jobscript.sh
```
Berikut adalah contoh isi jobscript.sh. Untuk informasi lebih lanjut tentang CLI SGE, kunjungi situs resmi SGE.
```
#!/bin/bash
#$ -cwd # Tentukan jalur eksekusi sebagai jalur saat ini.
#$ -N test1 # Nama pekerjaan.
#$ -q all.q # Antrian pekerjaan.
#$ -pe smp 2 # Jumlah vCPU yang diperlukan untuk menjalankan pekerjaan.
#$ -l vf=1g # Ukuran memori yang diperlukan untuk menjalankan pekerjaan.
#$ -o /home/testuser # Jalur log stdout.
#$ -e /home/testuser # Jalur log kesalahan.
cd $HOME
test.py test.data
```
Penting
Kluster E-HPC memilih jenis Instance ECS berdasarkan jumlah vCPU yang diperlukan oleh pekerjaan selama penskalaan otomatis. Saat menulis skrip pekerjaan SGE, Anda harus menggunakan -pe smp untuk menentukan jumlah vCPU yang diperlukan oleh pekerjaan.
Kirim pekerjaan.
```
qsub -V jobscript.sh
```