Quick Audience:Tugas Penjadwalan

Dataphin

Di Dataphin, lakukan langkah-langkah berikut untuk memicu tugas penjadwalan impor menggunakan tugas Shell periodik:

1. Tambahkan daftar putih sandbox dan masukkan semua URL yang dihasilkan saat Anda Membuat Tugas Penjadwalan Terpicu sebagai alamat IP yang ingin Anda akses. Untuk informasi lebih lanjut, lihat Dataphin Menambahkan Daftar Izin Sandbox.

2. Buat tugas shell. Untuk informasi lebih lanjut, lihat Buat Tugas Shell. Pilih Tugas Periodik sebagai jenis penjadwalan.

   Jika tugas penjadwalan yang sama berisi beberapa tabel, beberapa URL pemicu akan dihasilkan, dan beberapa tugas Shell periodik harus dibuat sesuai.

   Contoh skrip Shell adalah sebagai berikut:

   #!/bin/bash
   # {URL Pemicu} Ganti dengan URL pemicu.
   QA_TRIGGER_URL="{URL Pemicu}"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Memulai Penjadwalan Pemicu."
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience URL Penjadwalan Pemicu:" $QA_TRIGGER_URL
   result=$(curl -k -s ${QA_TRIGGER_URL})
   if [ !  -n "$result" ]; then  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Pemicu Gagal"  $result
   else  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Respon Penjadwalan Pemicu:" $result
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Mengakhiri Penjadwalan Pemicu."
   fi

3. Opsional. Anda dapat mengklik Jalankan Tugas Shell untuk menguji apakah tugas penjadwalan impor dapat dipicu dan memeriksa apakah log keluaran berisi informasi sukses berikut:

   Respon Penjadwalan Pemicu QuickAudience: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. Konfigurasikan penjadwalan untuk tugas Shell. Untuk informasi lebih lanjut, lihat Konfigurasi Penjadwalan.

   Klik Buat Ketergantungan Hulu untuk mengaitkan ketergantungan hulu yang digunakan untuk menghasilkan data di tabel saat ini. Ketika ketergantungan hulu telah menghasilkan data dan waktu penjadwalan yang dikonfigurasi tercapai, penjadwalan tugas Shell dipicu.

   Jika semua tugas Shell yang sesuai dengan URL tugas penjadwalan impor dipicu, tugas penjadwalan impor dipicu.

DataWorks

DataWorks memungkinkan Anda memicu tugas penjadwalan impor pada node Shell atau pada node PyODPS 3.

Membuat Node Shell

Untuk memicu tugas penjadwalan impor menggunakan node Shell di DataWorks, lakukan langkah-langkah berikut:

1. Node Shell perlu menggunakan sumber daya eksklusif untuk grup penjadwalan agar dapat dijadwalkan. Untuk informasi lebih lanjut, lihat Sumber Daya Eksklusif untuk Grup Penjadwalan.

   Jika tidak, node Shell gagal dijadwalkan dan pesan kesalahan berikut akan ditampilkan:

   curl: (1) Protokol https tidak didukung atau dinonaktifkan di libcurl

2. Buat node Shell. Untuk informasi lebih lanjut, lihat Buat Node Shell.

   Jika tugas penjadwalan yang sama berisi beberapa tabel, beberapa URL pemicu akan dihasilkan dan beberapa node Shell harus dibuat sesuai.

   Contoh skrip Shell adalah sebagai berikut:

   #!/bin/bash
   # {URL Pemicu} Ganti dengan URL pemicu.
   QA_TRIGGER_URL="{URL Pemicu}"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Memulai Penjadwalan Pemicu."
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience URL Penjadwalan Pemicu:" $QA_TRIGGER_URL
   result=$(curl -k -s ${QA_TRIGGER_URL})
   if [ !  -n "$result" ]; then  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Pemicu Gagal"  $result
   else  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Respon Penjadwalan Pemicu:" $result
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience Mengakhiri Penjadwalan Pemicu."
   fi   

3. Opsional. Anda dapat mengklik Jalankan Shell untuk menguji apakah tugas penjadwalan impor dipicu dan memeriksa apakah log keluaran berisi informasi sukses berikut:

   Respon Penjadwalan Pemicu QuickAudience: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. Konfigurasikan penjadwalan untuk node Shell. Untuk informasi lebih lanjut, lihat Konfigurasikan Dependensi Penjadwalan.

   Sebagaimana ditunjukkan pada gambar berikut, buat dependensi hulu dan kaitkan dengan node hulu yang menghasilkan data di tabel data saat ini. Ketika node hulu telah menghasilkan data dan waktu penjadwalan yang dikonfigurasi tercapai, node Shell dijadwalkan.

   Jika semua node Shell yang sesuai dengan URL tugas penjadwalan impor dipicu, tugas penjadwalan impor dipicu.

Node PyODPS 3

Di DataWorks, gunakan node PyODPS 3 untuk memicu tugas penjadwalan impor. Prosedurnya adalah sebagai berikut:

1. Node PyODPS 3 dapat dijadwalkan menggunakan grup sumber daya publik atau sumber daya eksklusif untuk grup penjadwalan.

   • Grup sumber daya publik diaktifkan secara otomatis. Untuk informasi lebih lanjut, lihat Grup Sumber Daya Publik.

   • Untuk informasi lebih lanjut tentang sumber daya eksklusif untuk grup penjadwalan, lihat Sumber Daya Eksklusif untuk Grup Penjadwalan.

2. Buat node PyODPS 3. Untuk informasi lebih lanjut, lihat Node PyODPS 3.

   Jika tugas penjadwalan yang sama berisi beberapa tabel, beberapa URL pemicu akan dihasilkan dan beberapa node PyODPS 3 harus dibuat sesuai.

   Contoh skrip Python 3 adalah sebagai berikut:

   import requests
   from datetime import datetime
   
   # {Alamat yang memicu penjadwalan} Ganti dengan alamat yang memicu penjadwalan.
   QA_TRIGGER_URL = "{Alamat yang memicu penjadwalan}"
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience Memulai Penjadwalan Pemicu.")
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience URL Penjadwalan Pemicu:" + QA_TRIGGER_URL)
   response = requests.get(QA_TRIGGER_URL)
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience Respon Penjadwalan Pemicu:" + response.text)
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience Mengakhiri Penjadwalan Pemicu.")

3. Opsional. Anda dapat mengklik Jalankan PyODPS 3 untuk menguji apakah tugas penjadwalan impor dipicu dan memeriksa apakah log keluaran berisi informasi sukses berikut:

   Respon Penjadwalan Pemicu QuickAudience: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. Konfigurasikan penjadwalan untuk node PyODPS 3. Untuk informasi lebih lanjut, lihat Konfigurasikan Dependensi Penjadwalan.

   Sebagaimana ditunjukkan pada gambar berikut, buat dependensi hulu dan kaitkan dengan node hulu yang menghasilkan data di tabel data saat ini. Ketika node hulu telah menghasilkan data dan mencapai waktu penjadwalan yang dikonfigurasi, penjadwalan node PyODPS 3 dipicu.

   Jika semua node PyODPS 3 yang sesuai dengan URL tugas penjadwalan impor dipicu, tugas penjadwalan impor dipicu.