DataWorks:Buat dan gunakan node PAI DLC

Prasyarat

• DataWorks harus diberi otorisasi untuk mengakses PAI.

  Otorisasi dapat diselesaikan dengan satu klik di halaman otorisasi. Untuk informasi lebih lanjut tentang peran layanan yang dibuat berdasarkan otorisasi, lihat Peran 1: AliyunServiceRoleForDataworksEngine. Hanya akun Alibaba Cloud atau pengguna RAM dengan kebijakan AliyunDataWorksFullAccess yang dapat melakukan otorisasi satu klik.

• Sebuah alur kerja harus sudah dibuat.

  Di DataStudio, operasi pengembangan dilakukan pada mesin pengembangan yang berbeda berdasarkan alur kerja. Anda harus membuat alur kerja sebelum dapat membuat node. Untuk informasi lebih lanjut, lihat Buat Alur Kerja.

Perhatian

• Setiap kali node PAI DLC dijalankan, tugas DLC baru akan dihasilkan di platform DLC PAI. Untuk mencegah beberapa tugas dengan nama yang sama dihasilkan di PAI saat menggunakan DataWorks untuk menjadwalkan node PAI DLC secara berkala, disarankan untuk mengonfigurasi siklus penjadwalan yang sesuai berdasarkan kebutuhan bisnis Anda saat mengembangkan tugas DLC di DataWorks. Kami juga menyarankan Anda menambahkan variabel datetime ke nama tugas dan menetapkan parameter penjadwalan berbasis waktu ke variabel tersebut sebagai nilainya. Dengan cara ini, Anda dapat menambahkan tanggal dan waktu ke nama tugas. Untuk informasi lebih lanjut, lihat bagian Langkah 2: Kembangkan Tugas PAI DLC dalam topik ini.

• Anda tidak dapat menggunakan grup sumber daya bersama untuk menjalankan tugas PAI DLC.

Langkah 1: Buat node PAI DLC

1. Buka halaman DataStudio.

   Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih Create Node > Algorithm > PAI DLC.

3. Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm. Kemudian, Anda dapat menggunakan node untuk mengembangkan tugas dan mengonfigurasi properti penjadwalan tugas.

Langkah 2: Kembangkan tugas PAI DLC

Kembangkan kode tugas: Contoh sederhana

Di tab konfigurasi node PAI DLC, Anda dapat menggunakan salah satu metode berikut untuk menulis kode tugas DLC:

• Tulis kode tugas berdasarkan tugas DLC yang ada.

  Anda dapat memuat tugas DLC yang dibuat di PAI berdasarkan nama tugas. Setelah Anda memuat tugas, editor node DLC menghasilkan kode node berdasarkan konfigurasi tugas di PAI. Kemudian, Anda dapat memodifikasi konfigurasi tugas berdasarkan kode tersebut.

  Catatan

  • Jika Anda tidak memiliki izin yang diperlukan untuk memuat atau membuat tugas, ikuti petunjuk di layar untuk mendapatkan izin yang diperlukan.

  • Jika tidak ada tugas yang tersedia, buat tugas di konsol PAI. Berbagai metode disediakan untuk Anda membuat tugas DLC di PAI. Anda dapat memilih metode berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kirim Pekerjaan Pelatihan, Kirim Pekerjaan Menggunakan SDK untuk Python, dan Kirim Pekerjaan Menggunakan CLI.

• Tulis langsung kode tugas DLC.

  Di editor kode node PAI DLC di DataWorks, tulis kode tugas berdasarkan kebutuhan bisnis Anda.

Setelah Anda menulis dan menjalankan kode tugas, tugas DLC baru dihasilkan di PAI berdasarkan kode tugas. Contoh kode tugas:

dlc submit xgboostjob \   #Kirim tugas DLC.
    --name=wsytest_pai04_XGBoost \   #Nama tugas DLC. Kami sarankan Anda menggunakan nama variabel atau nama node di DataWorks.
    --command='echo '\''${Variable}'\'';' \   #Perintah yang dijalankan dalam tugas DLC.
    --workspace_id=80593 \   #Ruang kerja tempat Anda ingin menjalankan tugas DLC.
    --priority=1 \   #Prioritas tugas. Nilai valid: 1 hingga 9. Nilai 1 menentukan prioritas terendah. Nilai 9 menentukan prioritas tertinggi.
    --workers=1 \    #Jumlah node tempat Anda ingin menjalankan tugas. Jika jumlah node lebih besar dari 1, tugas tersebut adalah tugas terdistribusi dan dapat dijalankan secara bersamaan di beberapa node.
    --worker_image=registry.cn-hangzhou.aliyuncs.com/pai-dlc/tensorflow-training:2.3-cpu-py36-ubuntu18.04 \   #Gambar node yang digunakan untuk menyediakan lingkungan runtime untuk tugas DLC.
    --worker_spec=ecs.g6.xlarge   #Tipe instans node komputasi.

Kembangkan kode SQL: Gunakan parameter penjadwalan

DataWorks menyediakan scheduling parameters yang nilainya diganti secara dinamis dalam kode node berdasarkan konfigurasi parameter penjadwalan dalam skenario penjadwalan berkala. Anda dapat mendefinisikan variabel dalam kode node dalam format ${Variable} dan menetapkan nilai ke variabel di bagian Scheduling Parameter tab Properties. Untuk informasi tentang format yang didukung dari parameter penjadwalan, lihat Format yang Didukung dari Parameter Penjadwalan.

Contoh kode parameter penjadwalan:

--command='echo '\''${Variable}'\'';' \ --Anda dapat menetapkan parameter penjadwalan tertentu ke variabel.

Langkah 3: Konfigurasikan properti penjadwalan tugas

Untuk menjalankan tugas secara berkala pada node yang dibuat, klik Properties di panel navigasi sisi kanan tab konfigurasi node untuk mengonfigurasi informasi penjadwalan node berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Ikhtisar.

Langkah 5: Kirim dan terapkan tugas

Setelah tugas pada node dikonfigurasi, Anda harus mengirimkan dan menerapkan tugas. Setelah Anda mengirimkan dan menerapkan tugas, sistem menjalankan tugas secara teratur berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan tugas.

2. Klik ikon di bilah alat atas untuk mengirimkan tugas.

   Di kotak dialog Submit, konfigurasikan parameter Change description. Lalu, tentukan apakah akan meninjau kode tugas setelah Anda mengirimkan tugas berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirimkan tugas.

   • Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi tugas yang disebabkan oleh kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode tugas yang dikirimkan hanya dapat diterapkan setelah kode tugas lulus tinjauan kode. Untuk informasi lebih lanjut, lihat Tinjauan Kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan tugas di lingkungan produksi setelah Anda mengirimkan tugas. Untuk menerapkan tugas pada node, klik Deploy di sudut kanan atas tab konfigurasi node. Untuk informasi lebih lanjut, lihat Terapkan Node.

Apa yang harus dilakukan selanjutnya

Setelah Anda mengirimkan dan menerapkan tugas, tugas tersebut dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi dan melihat status penjadwalan tugas. Untuk informasi lebih lanjut, lihat Lihat dan Kelola Node yang Dipicu Otomatis.