Elastic High Performance Computing:Gunakan konsol E-HPC untuk mengirim pekerjaan

Prasyarat

• Kluster dan nodenya berada dalam status Running.

• Pengguna telah dibuat. Untuk informasi selengkapnya, lihat Mengelola pengguna.

• File pekerjaan siap diimpor. E-HPC memungkinkan Anda mengimpor file pekerjaan dengan salah satu metode berikut:

  • Sebelum mengirim pekerjaan, login ke kluster dan impor file pekerjaan menggunakan solusi transmisi remote, seperti rsync dan secure copy protocol (SCP).

  • Saat mengirim pekerjaan, impor file pekerjaan yang disimpan di bucket Object Storage Service (OSS).

  • Saat mengirim pekerjaan, impor file pekerjaan yang disimpan di direktori lokal Anda atau pilih file pekerjaan yang baru dibuat.

Prosedur

1. Login ke konsol E-HPC.

2. Di pojok kiri atas bilah navigasi atas, pilih wilayah.

3. Di panel navigasi sebelah kiri, pilih Job and Performance Management > Job.

4. Di halaman Job, pilih kluster tempat Anda ingin mengirim pekerjaan.

5. Klik tab Submit Job.

6. Di bagian Submit Job, konfigurasikan parameter pekerjaan.

   Parameter	Deskripsi
   Job Template	Templat yang telah dikonfigurasi sebagai dasar pengiriman pekerjaan. Untuk informasi selengkapnya, lihat Mengelola templat pekerjaan.
   Job Name	Nama pekerjaan. Jika Anda perlu mengunduh dan mengekstrak file pekerjaan secara otomatis, beri nama file pekerjaan sesuai dengan nama pekerjaan tersebut.
   Job Execution Command	Perintah eksekusi pekerjaan yang ingin Anda kirimkan ke penjadwal. Anda dapat memasukkan perintah atau path relatif file skrip, misalnya /home/test/job.pbs. Parameter ini diatur berbeda dalam skenario berikut: Jika file skrip dapat dieksekusi, masukkan path relatifnya, misalnya ./job.pbs. Jika file skrip tidak memiliki izin eksekusi, Anda harus menentukan perintah eksekusi, misalnya /opt/mpi/bin/mpirun /home/test/job.pbs. Untuk penjadwal PBS, Anda harus memberi awalan perintah dengan --, misalnya -- /opt/mpi/bin/mpirun /home/test/job.pbs.
   Scheduler Queue	Jika Anda menambahkan node komputasi ke antrian saat membuat kluster, kirimkan pekerjaan ke antrian tersebut. Jika tidak, pekerjaan gagal dijalankan. Jika Anda tidak menambahkan node komputasi ke antrian, pekerjaan akan dikirim ke antrian default penjadwal. Anda harus memilih antrian tempat node komputasi berada. Jika tidak, pekerjaan gagal.
   Task Quantity	Jumlah node komputasi yang digunakan untuk menjalankan pekerjaan.
   Number of Tasks	Jumlah task yang digunakan oleh setiap node komputasi untuk menjalankan pekerjaan, yaitu jumlah proses.
   Maximum Memory	Memori maksimum yang dapat digunakan saat node komputasi menjalankan pekerjaan. Jika Anda tidak menentukan parameter ini, memori tidak dibatasi.
   Maximum Run Time	Waktu eksekusi maksimum pekerjaan. Jika waktu eksekusi aktual melebihi batas maksimum, pekerjaan gagal. Jika Anda tidak menentukan parameter ini, waktu eksekusi tidak dibatasi.
   Thread Quantity	Jumlah thread yang digunakan oleh sebuah task. Jika Anda tidak menentukan parameter ini, jumlah thread adalah 1.
   GPU Quantity	Jumlah GPU yang digunakan saat node komputasi menjalankan pekerjaan. Jika Anda menentukan parameter ini, pastikan node komputasi merupakan instans GPU-accelerated.
   Job Priority	Prioritas pekerjaan. Nilai yang valid: 0 hingga 9. Nilai yang lebih besar menunjukkan prioritas yang lebih tinggi. Jika Anda menentukan bahwa pekerjaan dijadwalkan berdasarkan prioritas pekerjaan saat mengatur kebijakan penjadwalan kluster, pekerjaan dengan prioritas lebih tinggi akan dijadwalkan dan dijalankan terlebih dahulu. Anda dapat mengatur prioritas tinggi untuk pekerjaan yang ingin dijalankan terlebih dahulu.
   Enable Job Array	Menentukan apakah fitur job array penjadwal diaktifkan. Job array adalah kumpulan pekerjaan independen yang serupa. Anda dapat mengatur job array untuk menyesuaikan aturan eksekusi pekerjaan. Format: X-Y:Z. X adalah nilai indeks minimum. Y adalah nilai indeks maksimum. Z adalah ukuran langkah. Misalnya, 2-7:2 berarti tiga pekerjaan perlu dijalankan dengan nilai indeks 2, 4, dan 6. Nilai default Z: 1.
   Post-Processing Command	Perintah yang digunakan untuk melakukan operasi lanjutan pada hasil eksekusi pekerjaan, misalnya pengemasan atau pengunggahan data pekerjaan yang dihasilkan ke bucket OSS.
   Stdout Path	Path file output stderr dan stdout yang dialihkan menggunakan shell Linux. Path ini mencakup nama file output. stdout: standard output stderr: standard error Pengguna kluster harus memiliki izin tulis pada path tersebut. Secara default, file output dihasilkan berdasarkan pengaturan penjadwal.
   Stderr Path
   Variables	Variabel waktu proses yang diteruskan ke pekerjaan. Variabel ini dapat diakses menggunakan variabel lingkungan dalam file yang dapat dieksekusi.

7. Unggah file pekerjaan ke kluster.

   • Gunakan file pekerjaan yang disimpan di bucket OSS

     E-HPC memungkinkan Anda mengimpor file pekerjaan dari bucket OSS sebelum mengirim pekerjaan. Anda juga dapat menentukan file pekerjaan yang disimpan di bucket OSS saat mengirim pekerjaan di konsol E-HPC. Untuk informasi selengkapnya, lihat Impor file pekerjaan OSS ke kluster. Untuk menentukan file pekerjaan yang disimpan di bucket OSS saat mengirim pekerjaan di konsol E-HPC, lakukan langkah-langkah berikut:

     1. Di bagian Use OSS Job file, klik Select File. Di kotak dialog Select File, pilih file pekerjaan Anda dan klik OK.

     2. Jika file pekerjaan berupa arsip terkompresi, seperti file .zip, .tar, atau .gzip, aktifkan Decompression dan pilih perintah dekompresi.

        Catatan

        Setelah Anda memilih file pekerjaan dari bucket OSS, folder dengan nama yang sama seperti file pekerjaan (misalnya, JobName) akan dibuat secara otomatis di direktori /home/user. Kemudian, file pekerjaan diunduh dan diekstrak (jika diperlukan) ke direktori /home/user/JobName.

   • Edit file pekerjaan

     1. Klik tab Edit Job File.

     2. Di bagian Edit Job File, klik Cluster File Browser. Masukkan username dan password kluster untuk login ke kluster menggunakan Workbench. Anda dapat membuat, mengedit, atau menghapus file pekerjaan sesuai kebutuhan.

8. Kembali ke bagian Submit Job dan klik Submit Job di pojok kanan atas. Di kotak dialog yang muncul, masukkan username dan password kluster untuk mengirim pekerjaan.

Hasil

Setelah Anda mengirim pekerjaan, pekerjaan tersebut akan muncul di halaman Job.

Temukan pekerjaan dalam daftar dan klik Details di kolom Actions. Panel detail pekerjaan akan muncul, menampilkan informasi seperti nama pekerjaan, ID pekerjaan, waktu mulai, waktu pembaruan terakhir, dan informasi waktu proses.