Antrian prioritas kelompok sumber daya pekerjaan - AnalyticDB

Saat banyak pekerjaan berjalan secara bersamaan dalam satu kelompok sumber daya pekerjaan, mereka dapat saling bersaing untuk mendapatkan lebih banyak sumber daya daripada yang tersedia. Misalnya, pekerjaan agregasi kritis yang menjadi dasar ketergantungan dasbor hulu mungkin perlu dijalankan sebelum pekerjaan sinkronisasi data berprioritas lebih rendah—meskipun keduanya menunggu pada waktu yang sama. AnalyticDB for MySQL Data Lakehouse Edition (V3.0) menempatkan pekerjaan yang tidak dapat segera dijalankan ke dalam antrian dan mempertahankannya dalam status submitted hingga sumber daya tersedia. Antrian prioritas memungkinkan Anda mengontrol pekerjaan mana yang maju ke posisi terdepan dalam antrian tersebut.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Kluster AnalyticDB for MySQL Data Lakehouse Edition (V3.0) yang menjalankan versi V3.1.6.3 atau lebih baru
Kelompok sumber daya pekerjaan dengan setidaknya satu pekerjaan yang telah dikirimkan

Tingkat prioritas

Tersedia empat tingkat prioritas, diurutkan dari tertinggi ke terendah:

Level	Deskripsi
HIGH	Pekerjaan masuk ke antrian prioritas tinggi dan dijalankan sebelum semua pekerjaan berprioritas lebih rendah.
NORMAL	Tingkat default. Kueri Extract, Transform, and Load (ETL) dan kueri SELECT menggunakan tingkat ini kecuali dikonfigurasi lain.
LOW	Pekerjaan masuk ke antrian prioritas rendah dan memberi jalan kepada pekerjaan berprioritas NORMAL dan HIGH.
LOWEST	Pekerjaan dijalankan paling akhir ketika sumber daya tersedia.

Mengatur prioritas pekerjaan

Lihat di Konsol

Anda dapat melihat prioritas pekerjaan dalam kelompok sumber daya pekerjaan dengan salah satu dari dua cara berikut.

Penting

Tentukan prioritas pekerjaan sebelum mengirimkannya. Setelah pekerjaan berada dalam status submitted—baik sedang berjalan maupun tidak—Anda tidak dapat mengubah prioritasnya.

Metode konfigurasi bergantung pada jenis pekerjaan:

Jenis pekerjaan	Metode konfigurasi	Kunci
XIHE bulk synchronous parallel (BSP)	SQL hint	`query_priority`
Spark SQL	Pernyataan SET	`spark.adb.priority`
Spark batch	`conf` dalam muatan pengiriman pekerjaan	`spark.adb.priority`

Pekerjaan XIHE BSP

Tambahkan petunjuk sebelum kueri:

/*+ query_priority=<priority_level>*/ <your_query>

Contoh berikut mengatur prioritas ke HIGH:

/*+ query_priority=HIGH*/ SELECT * FROM test_table;

Pekerjaan Spark SQL

Jalankan pernyataan SET sebelum kueri Anda dalam sesi yang sama:

SET spark.adb.priority = <priority_level>;
<your_query>

Contoh berikut mengatur prioritas ke LOW:

SET spark.adb.priority = LOW;
SELECT * FROM test_table;

Pekerjaan Spark batch

Sertakan spark.adb.priority dalam objek conf pada muatan pengiriman pekerjaan Anda:

{
    "comments": [
        "-- Berikut hanya contoh SparkPi. Ubah kontennya dan jalankan program spark Anda."
    ],
    "args": [
        "1000"
    ],
    "file": "local:///tmp/spark-examples.jar",
    "name": "SparkPi",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.driver.resourceSpec": "medium",
        "spark.executor.instances": 2,
        "spark.executor.resourceSpec": "medium",
        "spark.adb.priority": "HIGH"
    }
}

Lihat prioritas pekerjaan

Pekerjaan XIHE BSP dan Spark SQL

Masuk ke Konsol AnalyticDB for MySQL.
Pada panel navigasi kiri kluster, pilih Job Development > SQL Development.
Pada tab Execution Records, lihat prioritas setiap pekerjaan.

Pekerjaan Spark batch

Masuk ke Konsol AnalyticDB for MySQL.
Pada panel navigasi kiri kluster, pilih Job Development > Spark JAR Development.
Pada tab Applications, lihat prioritas setiap pekerjaan.

Lihat menggunakan SQL

Jalankan pernyataan SHOW job status WHERE job = '<JobId>';.