MaxCompute:Prioritas Pekerjaan

Periksa prioritas pekerjaan yang ada

Jalankan kueri berikut di Information Schema untuk melihat distribusi prioritas di seluruh pekerjaan dalam partisi tanggal tertentu:

SELECT  get_json_object(
            REPLACE(settings, '.', '_'),
            '$.odps_instance_priority'
        ) AS priority,
        task_type,
        COUNT(1) AS cnt
FROM    information_schema.tasks_history
WHERE   ds = '${bizdate}'  -- Ganti dengan partisi tanggal, misalnya 20200517.
GROUP BY get_json_object(
             REPLACE(settings, '.', '_'),
             '$.odps_instance_priority'
         ),
         task_type
ORDER BY cnt DESC
LIMIT   100;

Contoh output:

+----------+-----------+-----+
| priority | task_type | cnt |
+----------+-----------+-----+
| 9        | SQL       | 4   |
| NULL     | SQL       | 1   |
| 2        | SQL       | 1   |
+----------+-----------+-----+

Pekerjaan dengan prioritas NULL adalah tugas DDL — abaikan saja. Untuk pekerjaan apa pun dengan nilai prioritas selain 9 (seperti 2 pada contoh ini), identifikasi pemiliknya dan atur ulang prioritasnya sebelum mengaktifkan fitur tersebut.

Untuk menemukan detail pekerjaan dengan nilai prioritas tertentu:

SELECT  inst_id,
        owner_name,
        task_name,
        task_type,
        settings
FROM    information_schema.tasks_history
WHERE   ds = '${bizdate}'  -- Ganti dengan partisi tanggal, misalnya 20200517.
AND     get_json_object(
            REPLACE(settings, '.', '_'),
            '$.odps_instance_priority'
        ) = '${priority}'  -- Ganti dengan nilai prioritas yang ingin difilter, misalnya 2.
LIMIT   100;

Bidang utama dalam output:

Setelah mengidentifikasi pekerjaan dengan prioritas bukan 9:

• Pekerjaan DataWorks: Periksa apakah garis dasar terkait masuk akal. Jika tidak, hapus garis dasar tersebut. Lihat Manajemen garis dasar.

• Pekerjaan non-DataWorks: Hubungi pemilik menggunakan owner_name dan user_agent. Hapus pengaturan prioritas dari kode pekerjaan untuk mengembalikan prioritas default menjadi 9.

Aktifkan prioritas di tingkat proyek

Hanya pemilik proyek atau pengguna dengan peran Super_Administrator yang dapat mengaktifkan prioritas. Jalankan perintah berikut di klien MaxCompute:

setproject odps.instance.priority.enable=true;

Prioritas langsung berlaku untuk semua pekerjaan dalam proyek tersebut.

Aktifkan prioritas di tingkat kuota

Mengaktifkan prioritas di tingkat kuota menerapkan penjadwalan berbasis prioritas untuk semua pekerjaan yang berjalan di bawah kuota tersebut.

1. Masuk ke Konsol MaxCompute dan pilih wilayah.Konsol MaxCompute

2. Di panel navigasi, pilih Manage Configurations > Quotas.

3. Temukan kuota target dan klik Quota Configuration di kolom Actions.

4. Di tab Basic Configurations, klik Edit Basic Configurations.

5. Pilih opsi Enable Priority untuk kuota level-2 target.

   Jika Type kuota level-2 adalah Interactive, opsi Enable Priority tidak tersedia secara default.

6. Klik OK.

Metode 1: Klien MaxCompute — perintah SET

Jalankan perintah ini sebelum pernyataan SQL Anda di klien MaxCompute:

SET odps.instance.priority = <value>;
-- <value> adalah bilangan bulat dari 0 (prioritas tertinggi) hingga 9 (prioritas terendah).

Metode 2: Klien MaxCompute — flag CLI

Teruskan prioritas sebagai flag saat mengirimkan pernyataan SQL:

bin/odpscmd --config=<config-file> --project=<project-name> --instance-priority=<value> -e "<sql>"

Metode 3: Java SDK

Gunakan metode odps.instances().create(task, priority) untuk menetapkan prioritas saat mengirimkan pekerjaan:

import com.aliyun.odps.Instance;
import com.aliyun.odps.LogView;
import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.task.SQLTask;

public class OdpsPriorityDemo {
    public static void main(String[] args) throws OdpsException {
        // Muat kredensial dari variabel lingkungan.
        // Jangan pernah menyematkan kredensial AccessKey secara langsung di kode Anda.
        Account account = new AliyunAccount(
            System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
            System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
        );

        Odps odps = new Odps(account);
        odps.setEndpoint("http://service.odps.aliyun.com/api");
        odps.setDefaultProject("<your-project-name>");

        SQLTask task = new SQLTask();
        task.setName("adhoc_sql_task_1");
        task.setQuery("select count(*) from aa;");

        // Kirim pekerjaan dengan prioritas 5.
        // Nilai prioritas: 0 (tertinggi) hingga 9 (terendah).
        Instance instance = odps.instances().create(task, 5);

        // Cetak URL LogView untuk memantau status pekerjaan (opsional).
        LogView logView = new LogView(odps);
        System.out.println(logView.generateLogView(instance, 24));

        // Tunggu hingga pekerjaan selesai (opsional).
        instance.waitForSuccess();
    }
}

Untuk detail lebih lanjut, lihat Ikhtisar Java SDK.

Metode 4: Manajemen garis dasar DataWorks

Gunakan metode ini ketika Anda memerlukan alur kerja periodik dan semua pekerjaan hulu-nya selesai dalam jendela SLA. Manajemen garis dasar menetapkan prioritas untuk semua pekerjaan dalam satu alur kerja sekaligus — tidak perlu mengonfigurasi setiap pekerjaan satu per satu.

Prioritas garis dasar DataWorks dan padanannya di MaxCompute:

Rumus konversi: Prioritas MaxCompute = 9 − prioritas garis dasar DataWorks

Untuk detail lebih lanjut, lihat Manajemen garis dasar.

Kueri ad hoc DataWorks tidak memiliki garis dasar secara default, sehingga pekerjaan MaxCompute yang diajukannya menggunakan prioritas terendah (9). Alur kerja DataWorks memiliki prioritas garis dasar default 1, sehingga pekerjaannya menggunakan prioritas 8.

Metode 5: Pengaturan node DataWorks

Tetapkan prioritas langsung di node DataWorks untuk kueri ad hoc:

set odps.instance.priority = <value>;
-- <value> adalah nilai prioritas dari 0 (tertinggi) hingga 9 (terendah).