DataWorks:Node PAI DLC

Prasyarat

• Anda telah memberikan otorisasi kepada DataWorks untuk mengakses Platform for AI (PAI).

  Anda dapat membuka halaman otorisasi untuk memberikan izin yang diperlukan dalam satu klik. Untuk detail kebijakan tersebut, lihat AliyunServiceRoleForDataWorksEngine. Hanya Akun Alibaba Cloud atau pengguna RAM dengan kebijakan Aliyundataworksfullaccess yang dapat melakukan otorisasi satu klik ini.

• Anda telah membuat direktori proyek. Untuk informasi selengkapnya, lihat Direktori proyek.

• Anda telah membuat node PAI DLC. Untuk informasi selengkapnya, lihat Membuat node dalam alur kerja.

Prosedur

1. Pada halaman pengeditan node PAI DLC, kembangkan kode tugas.

   Kembangkan kode tugas

   Anda dapat menulis kode tugas DLC dengan salah satu cara berikut berdasarkan kebutuhan bisnis Anda:

   Dari tugas yang sudah ada

   Cari tugas DLC yang sudah ada di Platform for AI (PAI) berdasarkan nama dan muat tugas tersebut. Setelah tugas dimuat, editor node PAI DLC akan menghasilkan kode node berdasarkan konfigurasi PAI dari tugas tersebut. Anda kemudian dapat mengedit kode ini.

   Catatan

   • Jika Anda tidak memiliki izin untuk memuat atau membuat tugas, ikuti petunjuk di layar untuk memberikan izin yang diperlukan.

   • Jika tidak ada tugas yang tersedia, buka konsol PAI untuk membuatnya. Tugas PAI DLC dapat dibuat dengan beberapa cara. Untuk informasi selengkapnya, lihat Membuat pekerjaan pelatihan, Mengirim pekerjaan menggunakan SDK untuk Python, dan Mengirim pekerjaan menggunakan CLI.

   Dari awal

   Tulis kode tugas langsung di editor node PAI DLC di DataWorks.

   Anda dapat mendefinisikan variabel dengan format ${variable_name}. Kemudian, pada panel Scheduling Settings di sebelah kanan, tetapkan nilai untuk variabel tersebut di bagian Scheduling Parameters. Hal ini memungkinkan Anda meneruskan parameter dinamis ke kode untuk eksekusi terjadwal. Untuk informasi lebih lanjut tentang penggunaan parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan. Berikut contoh kodenya.

   dlc submit pytorchjob \    #Submit a PyTorch job by using DLC.
       --name=test \    #Nama tugas DLC. Kami menyarankan Anda menggunakan nama variabel atau nama node DataWorks.
       --command='echo '\''hi'\''' \    #Perintah yang akan dieksekusi. Pada contoh ini, perintahnya adalah echo 'hi'.
       --workspace_id=309801 \   #Ruang kerja tempat tugas dijalankan.
       --priority=1 \   #Prioritas tugas. Nilai yang valid: 1 hingga 9. 1 menunjukkan prioritas terendah, dan 9 menunjukkan prioritas tertinggi.
       --workers=1 \    #Jumlah node tugas. Jika nilai ini lebih besar dari 1, tugas tersebut merupakan tugas terdistribusi yang dapat dijalankan secara konkuren di beberapa node.
       --worker_image=<image> \   #Path image untuk worker.
       --image_repo_username=<username> \   #Username untuk otorisasi image privat.
       --image_repo_password=<password> \   #Password untuk otorisasi image privat.
       --data_source_uris=oss://oss-cn-shenzhen.aliyuncs.com/::/mnt/data/:{mountType:jindo} \   #Memasang sumber data OSS ke path yang ditentukan dalam kontainer. Pada contoh ini, tipe mount-nya adalah jindo.
       --worker_spec=ecs.g6.xlarge   #Spesifikasi node, yang menentukan tipe node komputasi. 

2. Setelah selesai menulis tugas PAI DLC, jalankan tugas node tersebut.

   1. Pada Run Configuration, pilih dan konfigurasikan Resource Group.

      Pilih kelompok sumber daya untuk penjadwalan yang telah lulus uji konektivitas dengan sumber data Anda. Untuk informasi selengkapnya, lihat Membuat dan mengelola kelompok sumber daya.

   2. Pada bilah alat, klik Run untuk menjalankan tugas node.

3. Untuk menjalankan tugas node secara berkala, konfigurasikan pengaturan jadwal sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi pengaturan jadwal.

4. Setelah tugas node dikonfigurasi, Anda harus men-deploy node tersebut. Untuk informasi selengkapnya, lihat Men-deploy node.

5. Setelah tugas di-deploy, Anda dapat membuka Operation Center untuk melihat status eksekusi tugas terjadwal. Untuk informasi selengkapnya, lihat Melihat tugas terjadwal.