Batch Compute (Deprecated):Kirim pekerjaan

Artikel ini menjelaskan perintah yang digunakan untuk mengirim berbagai jenis pekerjaan.

1. Kirim Pekerjaan Paling Sederhana

Jika Anda telah mengonfigurasi gambar default, tipe instans, dan tipe jaringan sesuai dengan Persiapan, gunakan perintah sederhana berikut untuk mengirim pekerjaan.

bcs sub "echo 123" # Kirim dan jalankan pekerjaan satu tugas "echo 123".

Jika pengaturan default tidak tersedia untuk alat BatchCompute-cli, Anda harus menentukan lebih banyak parameter saat mengirim pekerjaan.

bcs sub "echo 123" -t ecs.sn1ne.large -i img-ubuntu-vpc --vpc_cidr_block 192.168.0.0/16

Untuk contoh-contoh lainnya dalam artikel ini, diasumsikan bahwa Anda telah mengonfigurasi pengaturan default.

2. Kirim Pekerjaan Skrip Python

bcs sub "python test.py" -p ./test.py # "-p" menunjukkan bahwa test.py dikemas ke dalam worker.tar.gz dan kemudian diunggah ke OSS sebelum pekerjaan dikirim.

3. Kirim Pekerjaan Direktori (Multi-file)

Secara umum, direktori src berisi beberapa file, misalnya:

src
  |-- test.py
  |-- dep.py

Test.py bergantung pada dep.py. Oleh karena itu, seluruh direktori dapat dikemas.

bcs sub "python test.py" -p ./src/ # Kemas semua file di bawah direktori src menjadi worker.tar.gz, unggah ke OSS, lalu kirim pekerjaan.

Tentukan beberapa file sekaligus dan pisahkan file-file tersebut dengan koma (,):

cd src  # Pindah ke direktori src.
bcs sub "python test.py" -p test.py,dep.py # Kemas dua file menjadi worker.tar.gz.

Jika Anda tidak beralih ke direktori src, kirim pekerjaan sebagai berikut:

bcs sub "python test.py" -p src/test.py,src/dep.py # Kemas dua file menjadi worker.tar.gz.

Kemudian, gunakan perintah berikut untuk melihat isi worker.tar.gz:

tar -tvf worker.tar.gz

Isi dari worker.tar.gz adalah sebagai berikut:

test.py
dep.py

4. Kirim Pekerjaan dengan Memasang Program Tugas

Anggaplah Anda telah mengunggah test.py ke oss://mybucket/test/test.py. Anda dapat memasang direktori OSS “oss://mybucket/test/“ ke direktori lokal VM, misalnya, “/home/admin/test/“. Lalu gunakan perintah “python /home/admin/test/test.py” untuk menjalankan program.

Kirim pekerjaan sebagai berikut:

bcs sub "python /home/admin/test/test.py" -r oss://mybucket/test/:/home/admin/test/

Parameter -r oss://mybucket/test/:/home/admin/test/ menunjukkan pemasangan hanya-baca dan “oss://mybucket/test/“ dipasang ke “/home/admin/test/“.

Dengan cara ini, Anda tidak perlu mengemas test.py dan dep.py ke dalam worker.tar.gz.

Untuk informasi lebih lanjut tentang cara mengirim pekerjaan, jalankan “bcs sub -h” untuk melihat informasi bantuan.

Tugas lainnya

1. Pasang Data Masukan

Anggaplah data Anda telah diunggah ke direktori “oss://my-bucket/inputs/“.

bcs sub "python test.py" -p ./src/  -r oss://my-bucket/inputs/:/home/admin/inputs/

• “-r” menunjukkan pemasangan hanya-baca dan “oss://my-bucket/inputs/“ dipasang ke “/home/admin/inputs/“. Dengan cara ini, program Anda dapat membaca file di bawah direktori “/home/admin/inputs/“ sama seperti membaca file lokal.

• Semua direktori yang dipasang tidak boleh merupakan direktori sistem, seperti “/bin” dan “/usr”. Direktori “/home/“ direkomendasikan.

• Untuk memasang beberapa direktori, pisahkan mereka menggunakan koma (,). Misalnya, -r oss://my-bucket/inputs/:/home/admin/inputs/,oss://my-bucket/inputs2/:/home/admin/inputs2/.

2. Gunakan Metode Pemasangan untuk Mengunggah Hasil Program secara Otomatis

Program Anda akan menulis hasil eksekusi ke direktori “/home/admin/outputs/“. Untuk mengunggah semua data di bawah direktori ini ke OSS, jalankan perintah berikut:

bcs sub "python test.py" -p ./src/ -r oss://my-bucket/inputs/:/home/admin/inputs/ -w oss://my-bucket/outputs/:/home/admin/outputs/

• “-w” menunjukkan pemasangan yang dapat ditulis dan semua data yang ditulis ke direktori ini akan secara otomatis diunggah ke direktori OSS yang sesuai setelah program selesai dijalankan.

• Semua direktori yang dipasang tidak boleh merupakan direktori sistem, seperti “/bin” dan “/usr”. Direktori “/home/“ direkomendasikan.

• Untuk memasang beberapa direktori, pisahkan mereka menggunakan koma (,). Misalnya, -w oss://my-bucket/outputs/:/home/admin/outputs/,oss://my-bucket/outputs2/:/home/admin/outputs2/.

3. Gunakan Gambar Kustom dan Tipe Instans

bcs sub "python test.py" -p ./src/ -c img=img-ubuntu-vpc:type=ecs.sn1ne.large

• “-c” menunjukkan bahwa kluster digunakan. Di sebelah “-c”, Anda dapat menentukan ID kluster atau konfigurasi AutoCluster. Format konfigurasi AutoCluster adalah sebagai berikut: img=${ImageId}:type=${InstanceType}.

• “img=img-ubuntu-vpc” menunjukkan bahwa sebuah gambar digunakan. Anda dapat menentukan gambar kustom.

• “type=ecs.sn1ne.large” menunjukkan bahwa sebuah tipe instans digunakan. Anda dapat menjalankan bcs it untuk melihat daftar tipe instans yang didukung.

• Tentukan hanya -c img=${ImageId} atau hanya -c type=${InstanceType}. Jika tidak ada yang ditentukan, Gambar Default dan Tipe Instans Default digunakan.

4. Gunakan Kluster

bcs sub "python test.py" -p ./src/ -c cls-xxxxxxx

• “-c cls-xxxxxxx” menunjukkan bahwa kluster dengan ID diatur ke cls-xxxxxxx digunakan.

Untuk informasi lebih lanjut tentang kluster, lihat Gunakan Kluster.

5. Gunakan Docker

bcs sub "python test.py" -p ./src/ --docker myubuntu@oss://my-bucket/dockers/

• “myubuntu” adalah singkatan dari “localhost:5000/myubuntu”. “oss://my-bucket/dockers/“ menunjukkan jalur registri Docker OSS.

• Untuk informasi lebih lanjut, lihat Gunakan Docker.

6. Disk Kustom

bcs sub "python test.py" --disk system:cloud_efficiency:50,data:cloud_efficiency:200

• Perintah ini hanya valid ketika AutoCluster digunakan. Disk sistem dan satu disk data (opsional) dapat dikonfigurasi. Formatnya mirip dengan -disk system:cloud_efficiency:40,data:cloud_efficiency:50:/home/disk1. Konfigurasi disk sistem dipisahkan dari konfigurasi disk data oleh koma (,). Anda dapat menentukan hanya disk sistem atau hanya disk data, misalnya:-disk system:cloud_efficiency:40.

• Secara default, hanya satu disk sistem yang dipasang, dan ukurannya adalah 40 GB.

• Format konfigurasi disk sistem adalah sebagai berikut: system:< cloud_efficiency|cloud_ssd>:<40-500>. Sebagai contoh, “system:cloud_efficiency:40” menunjukkan bahwa disk sistem dipasang ke disk ultra cloud 40 GB.

• Format konfigurasi disk data adalah sebagai berikut: data:< cloud_efficiency|cloud_ssd>:<5-2000>:Sebagai contoh, “data:cloud_ssd:50:/home/disk1” menunjukkan bahwa disk SSD cloud 50 GB dipasang sebagai disk data. Dalam sistem operasi Windows, disk data hanya dapat dipasang ke drive. Sebagai contoh, “data:cloud_ssd:50:E” menunjukkan bahwa disk data dipasang ke drive E.

Lihat informasi pekerjaan

Untuk informasi lebih lanjut, lihat Cara Melihat Informasi Pekerjaan.