Topik ini menjelaskan cara mengonfigurasi dan melihat prioritas pekerjaan dari grup sumber daya pekerjaan di AnalyticDB for MySQL Data Lakehouse Edition (V3.0).
Prasyarat
Sebuah kluster AnalyticDB for MySQL Data Lakehouse Edition (V3.0) versi V3.1.6.3 atau yang lebih baru telah dibuat.
Grup sumber daya pekerjaan telah dibuat, dan sebuah pekerjaan telah dikirimkan untuk dijalankan dalam grup tersebut.
Catatan penggunaan
Anda tidak dapat memodifikasi prioritas pekerjaan yang telah dikirimkan, baik sedang berjalan maupun tidak.
Ikhtisar
Prioritas pekerjaan menentukan tingkat prioritas alokasi sumber daya bagi pekerjaan dalam antrian. Jika banyak pekerjaan dijalankan secara bersamaan dalam grup sumber daya pekerjaan AnalyticDB for MySQL Data Lakehouse Edition (V3.0), permintaan sumber daya mungkin melebihi kapasitas grup. AnalyticDB for MySQL Data Lakehouse Edition (V3.0) mendukung fitur antrian pekerjaan. Jika sumber daya tidak mencukupi, pekerjaan baru akan dimasukkan ke dalam antrian dan tetap dalam status dikirimkan.
Sebagai contoh, jika metrik kunci bergantung pada hasil perantara dari pekerjaan hulu, Anda harus mengonfigurasi prioritas lebih tinggi untuk pekerjaan tersebut agar mendapatkan sumber daya yang cukup. AnalyticDB for MySQL Data Lakehouse Edition (V3.0) menyediakan fitur antrian prioritas untuk pekerjaan dalam grup sumber daya pekerjaan. Anda dapat mengonfigurasi prioritas pekerjaan menjadi LOWEST, LOW, NORMAL, atau HIGH. Pekerjaan dengan prioritas lebih tinggi akan dijalankan terlebih dahulu.
Konfigurasikan prioritas pekerjaan
Anda dapat mengonfigurasi prioritas pekerjaan sebagai HIGH, NORMAL, LOW, atau LOWEST. Jika tidak dikonfigurasi, prioritas default adalah NORMAL.
Kueri Extract-transform-load (ETL) dan SELECT memiliki prioritas NORMAL secara default.
Metode konfigurasi prioritas bervariasi berdasarkan jenis pekerjaan. Berikut adalah penjelasan untuk setiap jenis:
Konfigurasikan prioritas untuk pekerjaan XIHE BSP
Tambahkan petunjuk: /*+ query_priority= <tingkat prioritas>*/
Contoh: Atur prioritas pekerjaan bulk synchronous parallel (BSP) XIHE ke HIGH agar masuk ke antrian HIGH.
/*+ query_priority=HIGH*/ SELECT * FROM test_table;Konfigurasikan prioritas untuk pekerjaan Spark SQL
Jalankan pernyataan SET: SET spark.adb.priority = <tingkat prioritas>
Contoh: Atur prioritas pekerjaan Spark SQL ke LOW agar masuk ke antrian LOW.
SET spark.adb.priority = LOW;
SELECT * FROM test_table;Konfigurasikan prioritas untuk pekerjaan batch Spark
Konfigurasikan parameter conf: "conf": { "spark.adb.priority": "<tingkat prioritas>"}
Contoh: Atur prioritas pekerjaan batch Spark ke HIGH agar masuk ke antrian HIGH.
{
"comments": [
"-- Ini hanya contoh SparkPi. Ubah kontennya dan jalankan program Spark Anda."
],
"args": [
"1000"
],
"file": "local:///tmp/spark-examples.jar",
"name": "SparkPi",
"className": "org.apache.spark.examples.SparkPi",
"conf": {
"spark.driver.resourceSpec": "medium",
"spark.executor.instances": 2,
"spark.executor.resourceSpec": "medium",
"spark.adb.priority": "HIGH"
}
}Lihat prioritas pekerjaan
Lihat prioritas pekerjaan XIHE BSP dan Spark SQL
Masuk ke konsol AnalyticDB for MySQL. Di panel navigasi kiri kluster, pilih Job Development > SQL Development. Pada tab Execution Records, lihat prioritas pekerjaan XIHE BSP dan Spark SQL.
Lihat prioritas pekerjaan batch Spark
Masuk ke konsol AnalyticDB for MySQL. Di panel navigasi kiri kluster, pilih Job Development > Spark JAR Development. Pada tab Applications, lihat prioritas pekerjaan batch Spark.
