Platform For AI:Penjadwalan Berkala

Peringatan

• Setiap kali sebuah node PAI DLC dijalankan, tugas DLC baru akan dihasilkan di platform DLC PAI. Untuk mencegah beberapa tugas dengan nama yang sama dihasilkan di PAI ketika Anda menggunakan DataWorks untuk menjadwalkan node PAI DLC secara berkala, kami sarankan Anda mengonfigurasi siklus penjadwalan yang sesuai berdasarkan kebutuhan bisnis Anda ketika mengembangkan tugas DLC di DataWorks. Kami juga menyarankan Anda menambahkan variabel datetime ke nama tugas dan menetapkan parameter penjadwalan berbasis waktu ke variabel sebagai nilai. Dengan cara ini, Anda dapat menambahkan tanggal dan waktu ke nama tugas. Untuk informasi lebih lanjut, lihat bagian Langkah 2: Kembangkan tugas PAI DLC dalam topik ini.

• Anda tidak dapat menggunakan grup sumber daya bersama untuk penjadwalan untuk menjalankan tugas PAI DLC.

Langkah 1: Buat grup sumber daya eksklusif untuk penjadwalan

Buat grup sumber daya eksklusif untuk penjadwalan di konsol DataWorks. Untuk informasi lebih lanjut, lihat Buat grup sumber daya eksklusif untuk Integrasi Data.

Langkah 2: Hubungkan grup sumber daya eksklusif dengan ruang kerja

Hubungkan grup sumber daya eksklusif dengan ruang kerja. Dengan cara ini, Anda dapat memilih grup sumber daya di ruang kerja ketika Anda mengirim pekerjaan. Untuk informasi lebih lanjut, lihat Langkah 2: Hubungkan grup sumber daya eksklusif untuk penjadwalan dengan ruang kerja.

Langkah 3: Instal paket DLC

Untuk menginstal paket, hubungi dukungan teknis untuk mendapatkan izin yang diperlukan.

1. Buat perintah

   1. Masuk ke Konsol DataWorks. Di panel navigasi sisi kiri, klik Resource Group. Tab Exclusive Resource Groups muncul di halaman Grup Sumber Daya.

   2. Temukan grup sumber daya eksklusif Data Scheduling. Klik ikon di kolom Tindakan dan kemudian klik O&M Assistant.

   3. Di halaman Asisten O&M, klik Create Command. Konfigurasikan parameter kunci berikut dan klik OK.

   4. Parameter	Deskripsi
      Command Type	Jenis perintah. Pilih Manual Installation.
      Command Content	Isi perintah. Masukkan konten berikut: wget -P /home/admin/usertools/tools/ https://dlc-release.oss-cn-zhangjiakou.aliyuncs.com/console/public/latest/dlc --no-check-certificate chmod +x /home/admin/usertools/tools/dlc
      Installation Directories	Direktori yang digunakan untuk instalasi. Simpan perintah ke direktori /home/admin/usertools/tools/.
      Timeout	Periode waktu habis perintah. Unit: detik. Jika perintah habis waktu, sistem secara paksa menghentikan perintah. Kami sarankan Anda menetapkan parameter ini ke 60.

2. Jalankan perintah.

   1. Di halaman Asisten O&M, temukan perintah dan klik Run command di kolom Actions.

   2. Di panel Run command, klik Run.

3. Lihat hasil eksekusi perintah.

   1. Di halaman Asisten O&M, temukan perintah dan klik View Result di kolom Tindakan.

   2. Di kotak dialog Command Execution Result, lihat hasil eksekusi perintah. Jika kemajuan eksekusi adalah 100%, paket DLC telah diinstal.

Langkah 4: Buat alur kerja

1. Pergi ke halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and Governance > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Geser pointer ke ikon dan pilih Create Node > General > Shell. Di kotak dialog Create Node, konfigurasikan parameter Nama dan Path.

3. Klik Confirm untuk membuat node.

Langkah 5: Kirim pekerjaan untuk pengujian

Untuk mengonfigurasi pengiriman pekerjaan otomatis pada titik waktu tertentu, diperlukan node pekerjaan. Sebelum Anda mengirim pekerjaan, buat node pekerjaan awal dan jalankan pengujian asap pada node. Jika node awal tersedia, lanjutkan ke Langkah 6.

1. Modifikasi skrip penyebaran.

   1. Di tab alur kerja, klik dua kali node Shell yang dibuat. Dalam contoh ini, klik dua kali node Penyebaran.

   2. Di tab node Shell, masukkan perintah berikut:

      # Hasilkan file deskripsi pekerjaan. 
      cat << EOF > jobfile
      name=dataworks-job
      workers=1
      worker_spec=ecs.g6.large
      worker_image=registry-vpc.cn-hangzhou.aliyuncs.com/pai-dlc/pytorch-training:1.7.1-gpu-py37-cu110-ubuntu18.04
      command=echo $(date)
      EOF
      
      # Kirim pekerjaan. 
      /home/admin/usertools/tools/dlc submit pytorchjob\
          --access_id=<access_id> \
          --access_key=<access_key> \
          --endpoint=pai-dlc.cn-hangzhou.aliyuncs.com \
          --region=cn-hangzhou \
          --job_file=./jobfile \
          --interactive

      jobfile menunjukkan file deskripsi pekerjaan. Untuk informasi lebih lanjut tentang konfigurasi pekerjaan, lihat Perintah yang digunakan untuk mengirim pekerjaan. Anda harus mengonfigurasi parameter endpoint berdasarkan wilayah tempat Anda ingin menerapkan pekerjaan.

      Wilayah	Endpoint
      China (Shanghai)	pai-dlc.cn-shanghai.aliyuncs.com
      China (Beijing)	pai-dlc.cn-beijing.aliyuncs.com
      China (Hangzhou)	pai-dlc.cn-hangzhou.aliyuncs.com
      China (Shenzhen)	pai-dlc.cn-shenzhen.aliyuncs.com
      China (Hong Kong)	pai-dlc.cn-hongkong.aliyuncs.com
      Singapura	pai-dlc.ap-southeast-1.aliyuncs.com
      Malaysia (Kuala Lumpur)	pai-dlc.ap-southeast-3.aliyuncs.com
      Jerman (Frankfurt)	pai-dlc.eu-central-1.aliyun.cs.com

2. Jalankan skrip.

   1. Di bagian atas tab node Shell, klik ikon .

   2. Di pesan Warning, klik Continue to Run.

   3. Di kotak dialog Runtime Parameters, atur parameter Resource Group ke grup sumber daya eksklusif yang telah dibuat.

   4. Kemudian, klik OK.

      Setelah skrip dijalankan, sebuah pekerjaan akan dihasilkan. Anda dapat pergi ke halaman DLC dari ruang kerja default untuk melihat pekerjaan yang dihasilkan.

Langkah 6: Lakukan penjadwalan pekerjaan

1. Jalankan pekerjaan penjadwalan.

   1. Di panel sisi kanan tab node Shell, klik tab Properties.

   2. Di bagian Schedule pada halaman Properties, konfigurasikan parameter Scheduling Cycle dan Rerun.

   3. Di bagian Dependencies, klik Use Root Node di sebelah bidang Parent Nodes.

   4. Konfigurasikan dependensi. Untuk informasi lebih lanjut, lihat Konfigurasikan dependensi penjadwalan siklus yang sama.

   5. Di tab node Shell, klik ikon untuk menyimpan konfigurasi.

   6. Di tab node Shell, klik ikon untuk mengirim node yang dijadwalkan.

2. Lihat instance dari node penjadwalan.

   1. Di sudut kanan atas tab node Shell, klik Operation Center.

   2. Di halaman Operation Center, pilih Cycle Task Maintenance > Cycle Instance.

   3. Di halaman daftar instance, lihat waktu yang dijadwalkan untuk pengiriman pekerjaan otomatis di kolom Schedule.

   4. Di kolom Tindakan, pilih More > View Running Log untuk melihat log operasi setiap pengiriman pekerjaan terjadwal.