Atur prioritas untuk pekerjaan dalam kelompok sumber daya pekerjaan - AnalyticDB

Topik ini menjelaskan cara mengatur dan melihat prioritas pekerjaan dalam kelompok sumber daya pekerjaan untuk AnalyticDB for MySQL.

Prasyarat

Kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse telah dibuat.
Versi kernel kluster Anda harus 3.1.6.3 atau lebih baru.

Catatan
Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di AnalyticDB for MySQL console.
Anda harus membuat dan memilih kelompok sumber daya pekerjaan saat mengirimkan pekerjaan.

Batasan

Anda tidak dapat mengubah prioritas pekerjaan yang telah dikirimkan, baik untuk pekerjaan yang sedang tertunda maupun yang sedang Berjalan.

Ikhtisar

Prioritas pekerjaan menentukan urutan alokasi sumber daya untuk pekerjaan yang masuk antrian. Ketika beberapa pekerjaan dijalankan secara bersamaan dalam satu kelompok sumber daya pekerjaan, kebutuhan sumber daya mungkin melebihi kapasitas yang tersedia dalam kelompok tersebut. AnalyticDB for MySQL mendukung antrian pekerjaan sehingga pekerjaan baru dimasukkan ke dalam antrian alih-alih gagal.

Dalam beberapa skenario bisnis, urutan eksekusi pekerjaan dan pembuatan hasil sangat penting. Misalnya, jika pembuatan metrik kunci bergantung pada waktu output dari hasil antara hulu, Anda perlu memberikan prioritas tinggi pada pekerjaan pemrosesan hulu agar mendapatkan sumber daya yang cukup. AnalyticDB for MySQL menyediakan antrian prioritas dalam kelompok sumber daya pekerjaan. Anda dapat mengatur prioritas pekerjaan untuk menempatkannya ke dalam salah satu antrian berikut: LOWEST, LOW, NORMAL, atau HIGH. Pekerjaan dengan prioritas lebih tinggi akan dijalankan terlebih dahulu.

Atur prioritas pekerjaan

Nilai prioritas pekerjaan yang valid adalah HIGH, NORMAL, LOW, dan LOWEST. Jika tidak ditentukan, prioritas pekerjaan akan menggunakan nilai default NORMAL.

Secara default, kueri extract, transform, and load (ETL) dan kueri SELECT standar memiliki prioritas NORMAL.

Metode pengaturan prioritas pekerjaan bervariasi tergantung jenis pekerjaannya.

XIHE BSP

Gunakan hint: /*+ query_priority= <priority_value>*/

Contoh: Atur prioritas pekerjaan XIHE BSP ke HIGH agar pekerjaan masuk ke antrian HIGH.

/*+ query_priority=HIGH*/ SELECT * FROM test_table;

Spark SQL

Gunakan pernyataan SET: SET spark.adb.priority = <priority_value>

Contoh: Atur prioritas pekerjaan Spark SQL ke LOW agar pekerjaan masuk ke antrian LOW.

 SET spark.adb.priority = LOW;
 SELECT * FROM test_table;

Spark batch

Konfigurasikan parameter conf: "conf": { "spark.adb.priority": "<priority_value>"}

Contoh: Atur prioritas pekerjaan Spark batch ke HIGH agar pekerjaan masuk ke antrian HIGH.

{
    "comments": [
        "-- Ini hanya contoh SparkPi. Ubah kontennya dan jalankan program spark Anda."
    ],
    "args": [
        "1000"
    ],
    "file": "local:///tmp/spark-examples.jar",
    "name": "SparkPi",
    "className": "org.apache.spark.examples.SparkPi",
    "conf": {
        "spark.driver.resourceSpec": "medium",
        "spark.executor.instances": 2,
        "spark.executor.resourceSpec": "medium",
        "spark.adb.priority": "HIGH"
    }
}

Lihat prioritas pekerjaan

XIHE BSP dan Spark SQL

Masuk ke AnalyticDB for MySQL console dan buka tab Execution Records pada halaman Job Development > SQL Development untuk melihat prioritas pekerjaan.

Spark batch

Masuk ke AnalyticDB for MySQL console dan buka tab Applications pada halaman Job Development > Spark JAR Development untuk melihat prioritas pekerjaan.