Cara mengaktifkan dan menggunakan fitur pengajuan ulang pekerjaan - AnalyticDB

Fitur job resubmission di AnalyticDB for MySQL memungkinkan Anda mengajukan ulang kueri yang memenuhi kondisi tertentu dari kelompok sumber daya interaktif ke kelompok sumber daya yang ditentukan, sehingga mencegah pekerjaan tersebut memengaruhi kueri lain di kelompok sumber daya asal. Topik ini menjelaskan cara mengaktifkan dan menggunakan fitur job resubmission.

Di AnalyticDB for MySQL, beberapa kueri yang intensif sumber daya dan berjalan lama dapat memengaruhi eksekusi kueri lain, menyebabkan resource contention dan potensi ketidakstabilan sistem. Fitur job resubmission mengatasi hal ini dengan mengajukan ulang kueri tersebut ke kelompok sumber daya khusus. Skenario umum meliputi:

Kueri yang mengonsumsi memori dalam jumlah besar dan rentan terhadap error out-of-memory (OOM).
Kueri ad-hoc sesekali yang melakukan pemindaian volume data besar.
Kueri ETL yang kurang sensitif terhadap waktu eksekusi dan dijalankan sesuai jadwal yang dapat diprediksi.

Pendahuluan

AnalyticDB for MySQL menyediakan dua jenis job resubmission: otomatis dan manual. Tabel berikut menjelaskan perbedaannya.

Item	Automatic resubmission	Manual resubmission
Edisi yang didukung	Enterprise Edition, Basic Edition, dan Data Lakehouse Edition	Enterprise Edition, Basic Edition, Data Lakehouse Edition, dan Data Warehouse Edition (elastic mode)
Versi kernel	3.2.2.7 atau lebih baru	3.1.8.4 atau lebih baru
Pengaktifan	Fitur ini dinonaktifkan secara default. Anda harus mengaktifkannya dengan perintah SET. Setelah diaktifkan, fitur ini berlaku untuk semua kelompok sumber daya interaktif di kluster.	Konfigurasikan aturan job resubmission secara manual untuk satu kelompok sumber daya interaktif.
Aturan job resubmission	Anda tidak perlu mengonfigurasi aturan secara manual. Kueri akan diajukan ulang secara otomatis jika gagal karena memori tidak mencukupi.	Aturan dikonfigurasi secara manual di console atau dengan perintah WLM. Misalnya, kueri diajukan ulang jika durasi eksekusinya melebihi Execution Duration Threshold 30 detik atau penggunaan memorinya melebihi ambang batas Peak Memory (MB) sebesar 24 MB.
Kelompok sumber daya asal yang berlaku	Kelompok sumber daya interaktif yang menggunakan engine XIHE, termasuk kelompok sumber daya default `use_default`.	Kelompok sumber daya interaktif yang menggunakan engine XIHE, kecuali kelompok sumber daya default `use_default`.
Kelompok sumber daya tujuan yang berlaku	Kueri hanya dapat diajukan ulang ke kelompok sumber daya job.	Kueri dapat diajukan ulang ke jenis kelompok sumber daya berikut: Kelompok sumber daya interaktif yang menggunakan engine XIHE, termasuk kelompok sumber daya default `use_default`. Kelompok sumber daya job.
Penagihan	Mengaktifkan automatic job resubmission tidak dikenai biaya. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang diajukan ulang secara otomatis. Kluster Anda memiliki kuota gratis bulanan. Jika Anda melebihi kuota gratis, Anda dikenai biaya atas sumber daya ACU elastis yang digunakan dengan skema pay-as-you-go. Untuk informasi selengkapnya, lihat Pricing. Kuota gratis ditentukan sebagai berikut: Jika sumber daya reservasi kurang dari atau sama dengan 100 ACU, kuota gratis adalah 1.000 Jam-ACU/bulan. Jika sumber daya reservasi lebih dari 100 ACU dan kurang dari 500 ACU, kuota gratis adalah 2.000 Jam-ACU/bulan. Jika sumber daya reservasi lebih dari atau sama dengan 500 ACU, kuota gratis adalah 3.000 Jam-ACU/bulan. Catatan Untuk kluster Data Lakehouse Edition: sumber daya reservasi = sumber daya komputasi reservasi + sumber daya penyimpanan reservasi.	Mengaktifkan manual job resubmission tidak dikenai biaya. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang diajukan ulang secara manual. Tidak tersedia kuota gratis. Anda dikenai biaya dengan skema pay-as-you-go atas sumber daya yang dikonsumsi oleh kueri. Untuk informasi selengkapnya, lihat Pricing.

Automatic job resubmission

Prasyarat

Kluster Anda harus menjalankan versi kernel 3.2.2.7 atau lebih baru.

Catatan

Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di AnalyticDB for MySQL console.

Aktifkan pengiriman ulang Pekerjaan secara otomatis

Automatic job resubmission dinonaktifkan secara default. Anda dapat mengaktifkannya dengan menjalankan pernyataan SET. Setelah diaktifkan, fitur ini berlaku di seluruh kluster AnalyticDB for MySQL. Semua kueri dari kelompok sumber daya interaktif mana pun yang memenuhi aturan pengajuan ulang akan diajukan ulang ke kelompok sumber daya tujuan.

Untuk mengaktifkan atau menonaktifkan automatic job resubmission:
```
SET ADB_CONFIG SERVERLESS_ROUTER_LEVEL=0|1|2;
```
Nilai yang valid:
- 0 (default): Menonaktifkan pengiriman ulang Pekerjaan secara otomatis.
- 1: Mengaktifkan automatic job resubmission hanya selama kuota gratis bulanan masih tersedia.
- 2: Mengaktifkan automatic job resubmission bahkan setelah kuota gratis bulanan habis.
Untuk memeriksa apakah automatic job resubmission diaktifkan:
```
SHOW ADB_CONFIG key=SERVERLESS_ROUTER_LEVEL;
```

Konfigurasi kelompok sumber daya tujuan

Setelah Anda mengaktifkan automatic job resubmission, AnalyticDB for MySQL mengajukan ulang semua kueri yang memenuhi aturan pengajuan ulang ke kelompok sumber daya job bernama Serverless secara default. Anda juga dapat menentukan kelompok sumber daya tujuan kustom.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = <resource_name>;

Contoh

Tentukan kelompok sumber daya tujuan sebagai testjob.

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = testjob;

Konfigurasi maksimum ACU per kueri

Secara default, satu kueri yang diajukan ulang secara otomatis dapat menggunakan maksimal 128 ACU. Anda dapat menyesuaikan batas ini.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = <n>;

Contoh

Tentukan bahwa satu kueri dapat menggunakan maksimal 24 ACU.

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = 24;

Periksa status pengajuan ulang

Untuk kluster yang menjalankan versi kernel 3.2.2.12 atau lebih baru:

SELECT process_id, reason, status FROM information_schema.ELASTIC_JOB_LIST WHERE process_id = <process_id>

Untuk kluster yang menjalankan versi kernel lebih lama dari 3.2.2.12:

SELECT process_id, reason, status FROM information_schema.kepler_meta_elastic_job_list WHERE process_id = <process_id>

Tabel berikut menjelaskan parameter yang dikembalikan.

Catatan

Jika semua bidang ini kosong, kueri tidak diajukan ulang secara otomatis.

Parameter	Deskripsi
process_id	ID pekerjaan.
reason	Alasan pengajuan ulang otomatis. Nilai yang valid: out of memory: Kueri diajukan ulang karena memori tidak mencukupi. long running: Kueri diajukan ulang karena berjalan lama.
status	Status eksekusi kueri di kelompok sumber daya tujuan.

Periksa penggunaan ACU pekerjaan

Login ke AnalyticDB for MySQL console. Di panel navigasi kiri, pilih Cluster Management > Resource Groups. Klik tab Job Usage Statistics untuk melihat ACU yang dikonsumsi oleh kueri yang diajukan ulang secara otomatis.

Manual job resubmission

Prasyarat

Kluster Anda harus menjalankan versi kernel 3.1.8.4 atau lebih baru.

Catatan
Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di AnalyticDB for MySQL console.
Kluster Data Warehouse Edition (elastic mode) juga harus memenuhi persyaratan berikut:
- Minimal dua kelompok sumber daya telah dibuat. Untuk informasi selengkapnya, lihat Create and manage resource groups.
- Sumber daya komputasi minimal 32 core dan memori 128 GB.

Catatan penggunaan

Kueri yang diajukan ulang harus dieksekusi ulang di kelompok sumber daya tujuan. Hal ini mengonsumsi sumber daya komputasi dan meningkatkan waktu respons kueri, yang dapat memengaruhi stabilitas kelompok sumber daya tujuan. Kami menyarankan agar tidak mengajukan ulang pekerjaan kueri ke kelompok sumber daya yang menjalankan beban kerja bisnis inti.

Prosedur

Anda dapat mengonfigurasi aturan job resubmission menggunakan salah satu metode berikut:

AnalyticDB for MySQL console: Console menyediakan cara sederhana dan cepat untuk mengonfigurasi aturan job resubmission.
Perintah Workload Manager: Perintah WLM menyediakan cara fleksibel untuk mengonfigurasi aturan job resubmission sesuai kebutuhan kustom dan lanjutan. Untuk informasi selengkapnya tentang sintaks, lihat WLM.

Bagian berikut menjelaskan cara mengonfigurasi aturan job resubmission di AnalyticDB for MySQL console.

Enterprise Edition, Basic Edition, dan Data Lakehouse Edition

Login ke AnalyticDB for MySQL console. Di pojok kiri atas console, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
Di panel navigasi kiri, pilih Cluster Management > Resource Management. Di halaman Resource Management, klik tab Resource Groups. Di pojok kanan atas tab Resource Groups, klik Create Resource Group.
Konfigurasikan aturan pengiriman ulang Pekerjaan.
- Klik Create Resource Group di pojok kanan atas daftar kelompok sumber daya untuk mengonfigurasi aturan saat membuat kelompok sumber daya.
- Klik Modify di kolom Actions kelompok sumber daya untuk mengonfigurasi aturan pada kelompok sumber daya yang sudah ada.
Tabel berikut menjelaskan parameter untuk mengonfigurasi aturan job resubmission.

Parameter

Deskripsi

Destination Resource Group

Nama kelompok sumber daya tujuan.

Catatan
Untuk informasi selengkapnya tentang parameter lain untuk membuat kelompok sumber daya, lihat Create and manage resource groups.
Klik OK.
(Opsional) Kelola aturan job resubmission. Anda dapat melakukan operasi berikut:
- Untuk mengubah aturan, ubah parameter di panel Modify Resource Group.
- Untuk menghapus aturan, buka panel Modify Resource Group dan klik ikon di samping nama kelompok sumber daya pada bidang Destination Resource Group untuk mengosongkan pilihan. Hal ini membuat aturan tidak berlaku.

Data Warehouse Edition

Login ke AnalyticDB for MySQL console. Di pojok kiri atas console, pilih wilayah. Di panel navigasi kiri, klik Clusters. Di tab Data Warehouse Edition, temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
Di panel navigasi kiri, klik Workload Management.
Klik tab Job Resubmission untuk melihat aturan job resubmission.
Di pojok kanan atas, pilih kelompok sumber daya dari daftar drop-down Resource Group.

Di pojok kanan atas, klik Configure Job Resubmission Rules. Di panel Configure Job Resubmission Rules, konfigurasi parameter berikut:

Parameter	Deskripsi	Contoh
Peak memory threshold	Memori puncak yang dikonsumsi oleh pekerjaan kueri, dalam MB. Nilai default adalah null.	24
Execution duration threshold	Waktu eksekusi pekerjaan kueri, dalam ms. Nilai default adalah null.	24
Hasil untuk OOM Error	Menentukan apakah pekerjaan kueri diajukan ulang jika gagal karena error OOM. Nilai default adalah No.	No
Destination Resource Group	Nama kelompok sumber daya tujuan.	test

Penting

Jika pekerjaan kueri memenuhi salah satu kondisi dalam aturan job resubmission, pekerjaan tersebut akan diajukan ulang ke kelompok sumber daya yang ditentukan.

Klik OK.
(Opsional) Kelola aturan job resubmission. Anda dapat melakukan operasi berikut:
- Untuk mengubah aturan, ubah parameter di panel Configure Job Resubmission Rules.
- Untuk menghapus aturan, hapus nilai untuk Peak memory threshold dan Execution duration threshold di panel Configure Job Resubmission Rules, dan atur Result untuk Error OOM menjadi No. Hal ini membuat aturan tidak berlaku.
Di bagian Resubmitted Jobs, Anda dapat melihat jumlah pekerjaan yang berhasil diajukan ulang ke kelompok sumber daya lain.