Kirim pekerjaan - Elastic High Performance Computing - Alibaba Cloud Documentation Center

Kirim pekerjaan ke kluster E-HPC Anda menggunakan Konsol, command-line interface (CLI), atau Portal E-HPC.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Kluster dan node kluster dalam status Running
Pengguna kluster (lihat Manage users)
(Hanya untuk Konsol) File pekerjaan yang telah disiapkan di kluster
(Hanya untuk CLI) Penjadwal kluster berupa Slurm, OpenPBS

Kirim pekerjaan menggunakan konsol

Buka halaman Cluster Details.
1. Login ke E-HPC console.
2. Di bagian kiri bilah navigasi atas, pilih wilayah.
3. Di panel navigasi sebelah kiri, klik Cluster.
4. Di halaman Cluster List, temukan kluster yang ingin Anda kelola lalu klik cluster ID-nya.
Di panel navigasi sebelah kiri, klik Job Management.

Klik Create Job dan konfigurasikan parameter berikut.

Pengaturan dasar

Parameter	Wajib	Deskripsi
Job Name	Ya	Nama untuk pekerjaan ini.
Scheduler Queue	Ya	Antrian penjadwal tempat pekerjaan akan dijalankan.
Start Job Array	Tidak	Mengaktifkan fitur job array. Atur Minimum Value (indeks awal), Maximum Value (indeks akhir), dan Step Size (kenaikan antar indeks; default: 1).
Job Priority	Tidak	Bilangan bulat lebih besar dari 0. Nilai yang lebih tinggi berarti prioritas lebih tinggi. Pekerjaan dengan prioritas lebih tinggi akan dijalankan terlebih dahulu jika kebijakan penjadwalan kluster diatur untuk memprioritaskan berdasarkan prioritas pekerjaan.
Run Command	Ya	Perintah atau skrip yang akan dijalankan. Gunakan path relatif untuk file skrip (misalnya, `./job.pbs`), atau tambahkan awalan `--` pada perintah teks (misalnya, `--/opt/mpi/bin/mpirun /home/test/job.pbs`).
Nodes	Tidak	Jumlah node komputasi yang dialokasikan untuk pekerjaan ini.
Requested CPUs	Tidak	vCPU per node. Alokasikan sumber daya yang cukup untuk pekerjaan — sumber daya yang tidak mencukupi dapat menyebabkan pekerjaan gagal.
Requested Memory	Tidak	Dipasangkan dengan Requested CPUs.

Pengaturan lanjutan

Parameter	Wajib	Deskripsi
Stdout Path	Tidak	Path file untuk output stdout. Pengguna kluster harus memiliki izin menulis pada path ini. Jika dibiarkan kosong, penjadwal akan menghasilkan file output secara otomatis.
Stderr Path	Tidak	Path file untuk output stderr. Memiliki persyaratan izin yang sama seperti Stdout Path.
Environment Variables	Tidak	Variabel runtime yang diteruskan ke pekerjaan, dapat diakses melalui variabel lingkungan dalam executable.

Klik Confirm Create.

Kirim pekerjaan menggunakan CLI

Sambungkan ke node logon kluster Anda (lihat Connect to a cluster).
Buat skrip pekerjaan lalu kirimkan. Perintahnya berbeda tergantung pada penjadwal yang digunakan.

Dalam skenario auto scaling, E-HPC tidak mendukung scaling berbasis memori. Tentukan jumlah vCPU yang dibutuhkan saat mengirim pekerjaan.

Kirim pekerjaan dengan OpenPBS

Skrip pekerjaan PBS terdiri dari tiga bagian: baris interpreter shell, direktif #PBS yang menetapkan kebutuhan dan opsi sumber daya, serta perintah yang akan dijalankan.

Buat file skrip pekerjaan.

vim jobscript.pbs

Berikut adalah contoh jobscript.pbs. Untuk daftar lengkap direktif PBS, lihat dokumentasi OpenPBS.

#!/bin/sh
# PBS -l ncpus=4,mem=1gb    # Sumber daya komputasi: CPU dan memori
# PBS -l walltime=00:10:00  # Waktu eksekusi maksimum (JJ:MM:DD)
# PBS -o test_pbs.log       # File output stdout
# PBS -j oe                 # Gabungkan stderr ke dalam file stdout
cd $HOME
test.py -i test.data

Kirim pekerjaan tersebut.
```
qsub jobscript.pbs
```

Kirim pekerjaan dengan Slurm

Skrip pekerjaan Slurm terdiri dari tiga bagian: baris interpreter shell, direktif #SBATCH yang menetapkan kebutuhan dan opsi sumber daya, serta perintah yang akan dijalankan.

Buat file skrip pekerjaan.

vim jobscript.slurm

Berikut adalah contoh jobscript.slurm. Untuk daftar lengkap direktif Slurm, lihat dokumentasi Slurm.

#!/bin/sh
# SBATCH --job-name=slurm-quickstart  # Nama pekerjaan
# SBATCH --output=test_slurm.log      # File output stdout
# SBATCH --nodes=1                    # Jumlah node
# SBATCH --ntasks=1                   # Jumlah task
# SBATCH --cpus-per-task=1            # vCPU per task
# SBATCH --time=00:10:00              # Waktu eksekusi maksimum (JJ:MM:DD)
# SBATCH --mem-per-cpu=1024           # Memori per vCPU (MB)
cd $HOME
test.py test.data

Kirim pekerjaan tersebut.
```
sbatch jobscript.slurm
```

Kirim pekerjaan menggunakan Portal E-HPC

Untuk langkah-langkah mengirim pekerjaan melalui Portal E-HPC, lihat Submit jobs by using submitter.

Langkah selanjutnya

Panggil operasi API CreateJob untuk mengirim pekerjaan secara terprogram.