Platform For AI:Penjadwalan berkala

Pertimbangan

• Setiap eksekusi node PAI DLC yang berhasil akan menghasilkan tugas DLC baru di platform PAI Distributed Training (DLC). Untuk menghindari akumulasi banyak tugas dengan nama yang sama sehingga sulit dibedakan, tetapkan frekuensi penjadwalan yang wajar saat Anda mengembangkan tugas DLC di DataWorks. Kami juga menyarankan menambahkan variabel tanggal dan waktu ke nama tugas serta menetapkan parameter penjadwalan berbasis waktu ke variabel tersebut. Praktik ini memastikan setiap nama tugas mencakup tanggal dan waktu yang unik. Untuk informasi selengkapnya, lihat Langkah 2: Kembangkan tugas PAI DLC.

• DataWorks tidak mendukung menjalankan tugas PAI DLC pada kelompok sumber daya penjadwalan publik.

Langkah 1: Buat kelompok sumber daya penjadwalan eksklusif

Di Konsol DataWorks, buat grup sumber daya eksklusif untuk penjadwalan. Untuk informasi selengkapnya, lihat Gunakan grup sumber daya eksklusif untuk penjadwalan.

Langkah 2: Bind ruang kerja

Bind grup sumber daya eksklusif untuk penjadwalan ke ruang kerja sebelum Anda dapat memilihnya. Untuk informasi selengkapnya, lihat Langkah 2: Bind ruang kerja.

Langkah 3: Instal toolkit DLC

Untuk menginstal toolkit DLC, diperlukan izin administrator.

1. Buat perintah.

   1. Masuk ke Konsol DataWorks. Di panel navigasi sebelah kiri, klik Resource Group. Halaman Exclusive Resource Group akan ditampilkan secara default.

   2. Temukan grup sumber daya eksklusif yang Purpose-nya adalah Data Scheduling. Di kolom Actions, klik ikon lalu pilih O&M Assistant.

   3. Di halaman O&M Assistant, klik Create Command, konfigurasikan parameter utama seperti yang dijelaskan dalam tabel berikut, lalu klik OK.

      Parameter	Deskripsi
      Command Type	Pilih Manually Enter.
      Command Content	Masukkan perintah berikut. wget -P /home/admin/usertools/tools/ https://dlc-release.oss-cn-zhangjiakou.aliyuncs.com/console/public/latest/dlc --no-check-certificate chmod +x /home/admin/usertools/tools/dlc
      Installation Directory	Instal toolkit ke direktori /home/admin/usertools/tools/.
      Timeout	Periode timeout untuk perintah, dalam detik. Jika perintah melebihi batas waktu, sistem akan menghentikannya. Disarankan nilai 60 detik.

2. Jalankan perintah.

   1. Di halaman O&M Assistant, temukan perintah yang telah Anda buat lalu klik Actions di kolom Run Command.

   2. Di panel Run Command, klik Run.

3. Lihat status eksekusi perintah.

   1. Di daftar bagian bawah halaman O&M Assistant, klik View result untuk perintah yang sesuai. Jika status eksekusi adalah Succeeded, perintah instalasi toolkit DLC telah berhasil dieksekusi.

   2. Di kotak dialog Command Execution Result, lihat detail eksekusi. Jika progres mencapai 100%, toolkit DLC berhasil diinstal.

Langkah 4: Buat alur kerja

1. Buka halaman DataStudio.

   Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and Governance > Data Development. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Data Development.

Langkah 5: Kirim tugas uji

Pengiriman tugas berkala memerlukan node tugas yang sudah ada. Sebelum mengatur jadwal, jalankan smoke test untuk membuat node awal ini. Jika node sudah ada, lewati ke Langkah 6.

1. Edit skrip deployment.

   1. Di halaman alur kerja, klik ganda node Shell yang telah dibuat (node deployment).

   2. Di halaman node Shell, masukkan perintah berikut.

      # Hasilkan file deskripsi pekerjaan.
      cat << EOF > jobfile
      name=dataworks-job
      workers=1
      worker_spec=ecs.g6.large
      worker_image=registry-vpc.cn-shanghai.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04
      command=echo $(date)
      EOF
      # Kirim pekerjaan.
      /home/admin/usertools/tools/dlc submit pytorchjob\
          --access_id=<your_access_key_id> \
          --access_key=<your_access_key_secret> \
          --endpoint=pai-dlc.cn-shanghai.aliyuncs.com \
          --region=cn-shanghai \
          --job_file=./jobfile \
          --interactive

      File jobfile menjelaskan informasi pekerjaan. Untuk informasi selengkapnya tentang detail konfigurasi, lihat Perintah pengiriman. Tabel berikut mencantumkan pemetaan antara parameter endpoint dan wilayah.

      Wilayah	Endpoint
      China (Shanghai)	pai-dlc.cn-shanghai.aliyuncs.com
      China (Beijing)	pai-dlc.cn-beijing.aliyuncs.com
      China (Hangzhou)	pai-dlc.cn-hangzhou.aliyuncs.com
      China (Shenzhen)	pai-dlc.cn-shenzhen.aliyuncs.com
      China (Hong Kong)	pai-dlc.cn-hongkong.aliyuncs.com
      Singapura	pai-dlc.ap-southeast-1.aliyuncs.com
      Malaysia (Kuala Lumpur)	pai-dlc.ap-southeast-3.aliyuncs.com
      Jerman (Frankfurt)	pai-dlc.eu-central-1.aliyuncs.com

2. Jalankan skrip.

   1. Di halaman node Shell, klik ikon di bagian atas halaman. Di kotak dialog Warning, klik Continue to Run.

   2. Di halaman Run Parameters, atur Resource Group for Scheduling ke kelompok sumber daya eksklusif yang telah Anda buat. Lalu, klik OK.

   Setelah eksekusi selesai, sebuah tugas akan dibuat. Anda dapat melihat tugas tersebut di halaman pelatihan terdistribusi (DLC) di ruang kerja PAI default.

Langkah 6: Atur penjadwalan berkala

1. Jalankan tugas terjadwal.

   1. Di halaman node Shell, klik Scheduling Settings di sisi kanan.

   2. Di halaman Scheduling Settings, buka bagian Time Properties lalu konfigurasikan properti Scheduling Cycle dan Rerun.

   3. Di bagian Scheduling Dependencies, klik Use Workspace Root Node di samping Parent Nodes.

   4. Konfigurasikan dependensi. Untuk informasi selengkapnya, lihat Konfigurasi dependensi penjadwalan siklus yang sama.

   5. Klik ikon di bagian atas halaman node Shell untuk menyimpan konfigurasi.

   6. Klik ikon di bagian atas halaman node Shell untuk meng-commit tugas terjadwal.

2. Lihat instans tugas terjadwal.

   1. Di halaman node Shell, klik O&M di pojok kanan atas. Di halaman Operation Center, pilih Cycle Task O&M > Cycle Instance.

   2. Di halaman detail instans, lihat Scheduled Time dari tugas yang dikirimkan secara otomatis. Di kolom Actions, pilih More > View Running Log untuk melihat log eksekusi setiap pengiriman.