MaxCompute:Prioritas Pekerjaan

Periksa prioritas pekerjaan

1. Statistik Distribusi Prioritas Pekerjaan

   Contoh perintah:

   SELECT  get_json_object(
               REPLACE(settings, '.', '_')
               ,'$.odps_instance_priority'
           ) AS priority
           ,task_type
           ,COUNT(1) AS cnt
   FROM    information_schema.tasks_history
   WHERE   ds = '${bizdate}' -- bizdate adalah partisi tanggal.
   GROUP BY get_json_object(
                REPLACE(settings, '.', '_')
                ,'$.odps_instance_priority'
            )
            ,task_type
   ORDER BY cnt DESC
   LIMIT   100
   ;

   Tanggapan sebagai berikut:

   +----------+-----------+------------+
   | priority | task_type | cnt        |
   +----------+-----------+------------+
   | 9        | SQL       | 4          |
   | NULL     | SQL       | 1          |
   | 2        | SQL       | 1          |
   +----------+-----------+------------+

   Contoh ini menunjukkan prioritas NULL, 2, dan 9. Identifikasi pekerjaan dengan prioritas 2 atau NULL. NULL biasanya berarti tugas DDL, yang dapat Anda abaikan.

2. Temukan pekerjaan dengan nilai prioritas selain 9.

   Contoh perintah:

   SELECT  inst_id
           ,owner_name
           ,task_name
           ,task_type
           ,settings
   FROM    information_schema.tasks_history
   WHERE   ds = '${bizdate}'
   AND     get_json_object(REPLACE(settings, '.', '_'), '$.odps_instance_priority') = '${priority}'
   LIMIT   100
   ;

   • bizdate: Partisi tanggal, misalnya 20200517.

   • priority: Nilai prioritas selain 9, misalnya 2.

   Hasil berikut dikembalikan:

   +---------+------------+-----------+-----------+----------+
   | inst_id | owner_name | task_name | task_type | settings |
   +---------+------------+-----------+-----------+----------+
   | 20200517160200907g4jm**** | ALIYUN$odps_dev_****@prod.trusteeship.aliyunid.com | console_query_task_158973132**** | SQL       | {"SKYNET_ID": "21000041****", "odps.instance.priority": "2", "SKYNET_ONDUTY": "113058643178****", "user_agent": "JavaSDK Revision:33acd11 Version:0.30.9 JavaVersion:1.8.0_112 CLT(0.30.2 : 9da012b); Linux(/)", "biz_id": "210000416174_20200517_211843317416_210033365461_1_habai_test_1130586431784115_39419845061****", "SKYNET_NODENAME": "test_priority"} |
   +---------+------------+-----------+-----------+----------+

   • SKYNET_ID: ID node penjadwalan DataWorks. Jika bidang ini tidak ada, pekerjaan tersebut tidak diajukan melalui DataWorks. Gunakan bidang owner_name dan user_agent untuk mengidentifikasi sumbernya.

   • SKYNET_ONDUTY: Menunjukkan pekerjaan periodik.

3. Tinjau prioritas pekerjaan.

   • Pekerjaan yang diajukan melalui DataWorks: Jika pekerjaan memiliki garis dasar, periksa apakah garis dasar tersebut masuk akal. Jika tidak, hapus garis dasar tersebut. Untuk informasi selengkapnya, lihat Manajemen garis dasar.

   • Pekerjaan yang tidak diajukan melalui DataWorks: Gunakan hasil kueri untuk menemukan pemilik dan kode. Hapus pengaturan prioritas dari kode untuk mengembalikan prioritas default menjadi 9.

Anda dapat menetapkan prioritas pekerjaan dengan cara berikut:

• Metode 1: Jalankan client MaxCompute, masuk ke proyek Anda, lalu tetapkan prioritas pekerjaan.

  Gunakan metode ini untuk kueri ad hoc. Contoh perintah:

  SET odps.instance.priority=values;
  -- values adalah bilangan bulat dari 0 hingga 9.

• Metode 2: Jalankan client MaxCompute, masuk ke proyek Anda, lalu teruskan pernyataan SQL sebagai parameter untuk menetapkan prioritas pekerjaan.

  Gunakan metode ini untuk kueri ad hoc. Contoh perintah:

  bin/odpscmd --config=xxx --project=xxx --instance-priority=x -e "<sql>"

• Metode 3: Tetapkan prioritas pekerjaan menggunakan Java SDK.

  Gunakan metode ini untuk membangun logika prioritas kustom. Untuk informasi selengkapnya, lihat Ikhtisar Java SDK. Contoh kode:

  import com.aliyun.odps.Instance;
  import com.aliyun.odps.LogView;
  import com.aliyun.odps.Odps;
  import com.aliyun.odps.OdpsException;
  import com.aliyun.odps.account.Account;
  import com.aliyun.odps.account.AliyunAccount;
  import com.aliyun.odps.task.SQLTask;
  public class OdpsPriorityDemo {
      public static void main(String args[]) throws OdpsException {
       	  // AccessKey Alibaba Cloud memberikan akses API penuh dan menimbulkan risiko keamanan tinggi. Kami sangat menyarankan agar Anda membuat dan menggunakan Pengguna RAM sebagai gantinya. Untuk membuat Pengguna RAM, login ke Konsol RAM.
  				// Dalam contoh ini, ID AccessKey dan Rahasia AccessKey disimpan dalam variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan.
  				// Jangan pernah menyimpan ID AccessKey dan Rahasia AccessKey dalam kode Anda. Hal tersebut dapat mengekspos kredensial Anda.
          Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
          Odps odps = new Odps(account);
          // Titik akhir cloud publik.
          String odpsUrl = "http://service.odps.aliyun.com/api"; 
          odps.setEndpoint(odpsUrl);
          odps.setDefaultProject("xxxxxxxxxx");
          SQLTask task = new SQLTask();
          task.setName("adhoc_sql_task_1");
          task.setQuery("select count(*) from aa;");
       		// 5 adalah prioritas pekerjaan.
          Instance instance = odps.instances().create(task, 5); 
          LogView logView = new LogView(odps);
          // Cetak URL LogView untuk memeriksa status instans. Opsional.
          System.out.println(logView.generateLogView(instance, 24)); 
          // Tunggu hingga instans selesai. Opsional.
          instance.waitForSuccess(); 
      }
  }

• Metode 4: Tetapkan prioritas pekerjaan menggunakan manajemen garis dasar DataWorks.

  Gunakan metode ini untuk memastikan output tepat waktu bagi pekerjaan periodik dan pekerjaan hulu-nya. Manajemen garis dasar memungkinkan Anda menetapkan prioritas untuk semua pekerjaan dalam satu pipa data sekaligus—tanpa perlu mengonfigurasi setiap pekerjaan secara terpisah. Untuk informasi selengkapnya tentang manajemen garis dasar DataWorks, lihat Manajemen garis dasar.

  Di DataWorks, prioritas garis dasar adalah 1, 3, 5, 7, atau 8. Angka yang lebih besar menunjukkan prioritas yang lebih tinggi. Saat Anda menetapkan prioritas pekerjaan MaxCompute melalui manajemen garis dasar DataWorks, prioritas pekerjaan MaxCompute sama dengan 9 dikurangi prioritas garis dasar DataWorks.

  Catatan

  Secara default, kueri ad hoc di DataWorks tidak memiliki garis dasar. Oleh karena itu, prioritas terendah untuk pekerjaan MaxCompute yang mereka mulai adalah 9.

  Alur kerja DataWorks memiliki prioritas garis dasar default 1. Oleh karena itu, prioritas terendah untuk pekerjaan MaxCompute yang mereka mulai adalah 8.

• Metode 5: Tetapkan prioritas pekerjaan langsung di node DataWorks.

  Gunakan metode ini untuk kueri ad hoc. Contoh perintah:

  set odps.instance.priority=x;
  -- x adalah nilai prioritas.

Di Logview 2.0, buka tab Json Summary lalu cari parameter odps.instance.priority untuk melihat prioritas pekerjaan. Untuk operasi Logview 2.0 lainnya, lihat Lihat detail eksekusi pekerjaan menggunakan Logview 2.0.