Platform For AI:Penjadwalan periodik

Pertimbangan

• Setiap eksekusi node PAI DLC yang selesai akan menghasilkan tugas DLC baru di platform PAI Distributed Training (DLC). Untuk menghindari akumulasi banyak tugas dengan nama yang sama, atur frekuensi penjadwalan yang wajar dan tambahkan variabel tanggal serta waktu ke nama tugas. Tetapkan parameter penjadwalan berbasis waktu ke variabel tersebut sehingga setiap nama tugas mencakup stempel waktu unik. Untuk informasi selengkapnya, lihat Langkah 2: Kembangkan tugas PAI DLC.

• DataWorks tidak mendukung menjalankan tugas PAI DLC pada kelompok sumber daya penjadwalan publik.

Langkah 1: Buat kelompok sumber daya penjadwalan eksklusif

Di Konsol DataWorks, buat grup sumber daya eksklusif untuk penjadwalan. Untuk informasi selengkapnya, lihat Gunakan grup sumber daya eksklusif untuk penjadwalan.

Langkah 2: Kaitkan ruang kerja

Bind grup sumber daya eksklusif untuk penjadwalan ke ruang kerja sebelum Anda dapat memilihnya. Untuk informasi selengkapnya, lihat Langkah 2: Bind ruang kerja.

Langkah 3: Instal toolkit DLC

Untuk menginstal toolkit DLC, diperlukan izin administrator.

1. Buat perintah.

   1. Masuk ke Konsol DataWorks. Di panel navigasi kiri, klik Resource Group. Halaman Exclusive Resource Group akan muncul secara default.

   2. Temukan grup sumber daya eksklusif yang Purpose-nya adalah Data Scheduling. Di kolom Actions, klik ikon dan pilih O&M Assistant.

   3. Di halaman O&M Assistant, klik Create Command, konfigurasi parameter utama seperti yang dijelaskan dalam tabel berikut, lalu klik OK.

      Parameter	Deskripsi
      Command Type	Pilih Manually Enter.
      Command Content	Masukkan perintah berikut. wget -P /home/admin/usertools/tools/ https://dlc-release.oss-cn-zhangjiakou.aliyuncs.com/console/public/latest/dlc --no-check-certificate chmod +x /home/admin/usertools/tools/dlc
      Installation Directory	Instal toolkit ke direktori /home/admin/usertools/tools/.
      Timeout	Periode timeout untuk perintah, dalam detik. Jika perintah melebihi batas waktu, sistem akan menghentikannya. Disarankan nilai 60 detik.

2. Jalankan perintah.

   1. Di halaman O&M Assistant, temukan perintah yang telah Anda buat dan klik Actions di kolom Run Command.

   2. Di panel Run Command, klik Run.

3. Lihat status eksekusi perintah.

   1. Di daftar bagian bawah halaman O&M Assistant, klik View result untuk perintah yang sesuai. Jika status eksekusinya Succeeded, perintah instalasi toolkit DLC telah berhasil dijalankan.

   2. Di kotak dialog Command Execution Result, lihat detail eksekusi. Jika progresnya 100%, toolkit DLC berhasil diinstal.

Langkah 4: Buat alur kerja

1. Buka halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and Governance > Data Development. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Development.

Langkah 5: Kirim tugas uji coba

Pengiriman tugas periodik memerlukan node tugas yang sudah ada. Sebelum mengatur jadwal, jalankan smoke test untuk membuat node awal ini. Jika node sudah ada, lewati ke Langkah 6.

1. Edit skrip deployment.

   1. Di halaman alur kerja, klik ganda node Shell yang telah dibuat (node deployment).

   2. Di halaman node Shell, masukkan perintah berikut.

      # Hasilkan file deskripsi pekerjaan.
      cat << EOF > jobfile
      name=dataworks-job
      workers=1
      worker_spec=ecs.g6.large
      worker_image=registry-vpc.cn-hangzhou.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04
      command=echo $(date)
      EOF
      # Kirim pekerjaan.
      /home/admin/usertools/tools/dlc submit pytorchjob\
          --access_id=<your_access_key_id> \
          --access_key=<your_access_key_secret> \
          --endpoint=pai-dlc.cn-hangzhou.aliyuncs.com \
          --region=cn-hangzhou \
          --job_file=./jobfile \
          --interactive

      File jobfile menjelaskan informasi pekerjaan. Untuk informasi selengkapnya mengenai detail konfigurasi, lihat Perintah pengiriman. Tabel berikut mencantumkan pemetaan antara parameter endpoint dan wilayah.

      Wilayah	Endpoint
      China (Shanghai)	pai-dlc.cn-shanghai.aliyuncs.com
      China (Beijing)	pai-dlc.cn-beijing.aliyuncs.com
      China (Hangzhou)	pai-dlc.cn-hangzhou.aliyuncs.com
      China (Shenzhen)	pai-dlc.cn-shenzhen.aliyuncs.com
      China (Hong Kong)	pai-dlc.cn-hongkong.aliyuncs.com
      Singapore	pai-dlc.ap-southeast-1.aliyuncs.com
      Malaysia (Kuala Lumpur)	pai-dlc.ap-southeast-3.aliyuncs.com
      Jerman (Frankfurt)	pai-dlc.eu-central-1.aliyun.cs.com

2. Jalankan skrip.

   1. Di halaman node Shell, klik ikon di bagian atas halaman. Di kotak dialog Warning, klik Continue to Run.

   2. Di halaman Run Parameters, atur Resource Group for Scheduling ke kelompok sumber daya eksklusif yang telah Anda buat. Lalu, klik OK.

   Setelah eksekusi selesai, sebuah tugas akan dibuat. Anda dapat melihat tugas tersebut di halaman pelatihan terdistribusi (DLC) di ruang kerja PAI default.

Langkah 6: Atur penjadwalan periodik

1. Jalankan tugas terjadwal.

   1. Di halaman node Shell, klik Scheduling Settings di sisi kanan.

   2. Di halaman Scheduling Settings, buka bagian Time Properties dan konfigurasi properti Scheduling Cycle dan Rerun.

   3. Di bagian Scheduling Dependencies, klik Use Workspace Root Node di samping Parent Nodes.

   4. Konfigurasi dependensi. Untuk informasi selengkapnya, lihat Konfigurasi dependensi penjadwalan siklus yang sama.

   5. Klik ikon di bagian atas halaman node Shell untuk menyimpan konfigurasi.

   6. Klik ikon di bagian atas halaman node Shell untuk meng-commit tugas terjadwal.

2. Lihat instans tugas terjadwal.

   1. Di halaman node Shell, klik O&M di pojok kanan atas. Di halaman Operation Center, pilih Cycle Task O&M > Cycle Instance.

   2. Di halaman detail instans, lihat Scheduled Time dari tugas yang dikirimkan secara otomatis. Di kolom Actions, pilih More > View Running Log untuk melihat log eksekusi setiap pengiriman.