Cara mengaktifkan dan menggunakan fitur pengiriman ulang pekerjaan - AnalyticDB

Fitur pengiriman ulang pekerjaan di AnalyticDB for MySQL memungkinkan Anda mengirim ulang pekerjaan kueri yang memenuhi kondisi tertentu dari kelompok sumber daya interaktif ke kelompok sumber daya yang ditentukan, sehingga mencegah pekerjaan tersebut memengaruhi kueri lain di kelompok sumber daya asal. Topik ini menjelaskan cara mengaktifkan dan menggunakan fitur pengiriman ulang pekerjaan.

Di AnalyticDB for MySQL, beberapa kueri yang intensif sumber daya dan berjalan lama dapat memengaruhi eksekusi kueri lain, menyebabkan konflik sumber daya dan potensi ketidakstabilan sistem. Fitur pengiriman ulang pekerjaan mengatasi hal ini dengan mengirim ulang kueri tersebut ke kelompok sumber daya khusus. Skenario umum meliputi:

Kueri yang mengonsumsi memori dalam jumlah besar dan rentan terhadap error kehabisan memori (OOM).
Kueri ad-hoc sesekali yang melakukan pemindaian volume data besar.
Kueri ETL yang kurang sensitif terhadap waktu eksekusi dan dijalankan sesuai jadwal yang dapat diprediksi.

Pendahuluan

AnalyticDB for MySQL menyediakan dua jenis pengiriman ulang pekerjaan: otomatis dan manual. Tabel berikut menjelaskan perbedaannya.

Item	Pengiriman Ulang Otomatis	Pengajuan Ulang Manual
Edisi yang didukung	Enterprise Edition, Basic Edition, dan Data Lakehouse Edition	Enterprise Edition, Basic Edition, Data Lakehouse Edition, dan Data Warehouse Edition (elastic mode)
Versi kernel	3.2.2.7 atau lebih baru	3.1.8.4 atau lebih baru
Pengaktifan	Fitur ini dinonaktifkan secara default. Anda harus mengaktifkannya dengan perintah SET. Setelah diaktifkan, fitur ini berlaku untuk semua kelompok sumber daya interaktif di kluster.	Konfigurasikan aturan pengiriman ulang pekerjaan secara manual untuk satu kelompok sumber daya interaktif.
Aturan pengiriman ulang pekerjaan	Anda tidak perlu mengonfigurasi aturan secara manual. Kueri akan dikirim ulang secara otomatis jika gagal karena memori tidak mencukupi.	Aturan dikonfigurasi secara manual di Konsol atau dengan perintah WLM. Contohnya, kueri dikirim ulang jika durasi eksekusinya melebihi Execution Duration Threshold 30 detik atau penggunaan memorinya melebihi ambang batas Peak Memory (MB) sebesar 24 MB.
Kelompok sumber daya asal yang berlaku	Kelompok sumber daya interaktif yang menggunakan mesin XIHE, termasuk kelompok sumber daya default `use_default`.	Kelompok sumber daya interaktif yang menggunakan mesin XIHE, kecuali kelompok sumber daya default `use_default`.
Kelompok sumber daya tujuan yang berlaku	Kueri hanya dapat dikirim ulang ke kelompok sumber daya pekerjaan (job resource group).	Kueri dapat dikirim ulang ke jenis kelompok sumber daya berikut: Kelompok sumber daya interaktif yang menggunakan mesin XIHE, termasuk kelompok sumber daya default `use_default`. Kelompok sumber daya pekerjaan (job resource groups).
Penagihan	Mengaktifkan pengiriman ulang pekerjaan otomatis tidak dikenai biaya. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang dikirim ulang secara otomatis. Kluster Anda memiliki kuota gratis bulanan. Jika melebihi kuota gratis, Anda dikenai biaya atas sumber daya ACU elastis yang digunakan dengan skema bayar sesuai penggunaan. Untuk informasi selengkapnya, lihat Pricing. Kuota gratis ditentukan sebagai berikut: Jika sumber daya reservasi kurang dari atau sama dengan 100 ACU, kuota gratis adalah 1.000 Jam-ACU/bulan. Jika sumber daya reservasi lebih dari 100 ACU dan kurang dari 500 ACU, kuota gratis adalah 2.000 Jam-ACU/bulan. Jika sumber daya reservasi lebih dari atau sama dengan 500 ACU, kuota gratis adalah 3.000 Jam-ACU/bulan. Catatan Untuk kluster Edisi Data Lakehouse: sumber daya reservasi = sumber daya komputasi reservasi + sumber daya penyimpanan reservasi.	Mengaktifkan pengiriman ulang pekerjaan manual tidak dikenai biaya. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang dikirim ulang secara manual. Tidak tersedia kuota gratis. Anda dikenai biaya dengan skema bayar sesuai penggunaan atas sumber daya yang dikonsumsi oleh kueri. Untuk informasi selengkapnya, lihat Pricing.

Pengiriman ulang pekerjaan otomatis

Prasyarat

Kluster Anda harus menjalankan versi kernel 3.2.2.7 atau lebih baru.

Catatan

Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di Konsol AnalyticDB for MySQL.

Aktifkan pengiriman ulang pekerjaan otomatis

Pengiriman ulang pekerjaan otomatis dinonaktifkan secara default. Anda dapat mengaktifkannya dengan menjalankan pernyataan SET. Setelah diaktifkan, fitur ini berlaku di seluruh kluster AnalyticDB for MySQL. Semua kueri dari kelompok sumber daya interaktif mana pun yang memenuhi aturan pengiriman ulang akan dikirim ulang ke kelompok sumber daya tujuan.

Untuk mengaktifkan atau menonaktifkan pengiriman ulang pekerjaan otomatis:
```
SET ADB_CONFIG SERVERLESS_ROUTER_LEVEL=0|1|2;
```
Nilai yang valid:
- 0 (default): Menonaktifkan pengiriman ulang pekerjaan otomatis.
- 1: Mengaktifkan pengiriman ulang pekerjaan otomatis hanya selama kuota gratis bulanan masih tersedia.
- 2: Mengaktifkan pengiriman ulang pekerjaan otomatis bahkan setelah kuota gratis bulanan habis.
Untuk memeriksa apakah pengiriman ulang pekerjaan otomatis diaktifkan:
```
SHOW ADB_CONFIG key=SERVERLESS_ROUTER_LEVEL;
```

Konfigurasikan kelompok sumber daya tujuan

Setelah Anda mengaktifkan pengiriman ulang pekerjaan otomatis, AnalyticDB for MySQL mengirim ulang semua kueri yang memenuhi aturan pengiriman ulang ke kelompok sumber daya pekerjaan bernama Serverless secara default. Anda juga dapat menentukan kelompok sumber daya tujuan kustom.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = <resource_name>;

Contoh

Tentukan kelompok sumber daya tujuan sebagai testjob.

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = testjob;

Konfigurasikan maksimum ACU per kueri

Secara default, satu kueri yang dikirim ulang secara otomatis dapat menggunakan maksimal 128 ACU. Anda dapat menyesuaikan batas ini.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = <n>;

Contoh

Tentukan bahwa satu kueri dapat menggunakan maksimal 24 ACU.

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = 24;

Periksa status pengiriman ulang

Untuk kluster yang menjalankan versi kernel 3.2.2.12 atau lebih baru:

SELECT process_id, reason, status FROM information_schema.ELASTIC_JOB_LIST WHERE process_id = <process_id>

Untuk kluster yang menjalankan versi kernel lebih lama dari 3.2.2.12:

SELECT process_id, reason, status FROM information_schema.kepler_meta_elastic_job_list WHERE process_id = <process_id>

Tabel berikut menjelaskan parameter yang dikembalikan.

Catatan

Jika semua bidang ini kosong, kueri tidak dikirim ulang secara otomatis.

Parameter	Deskripsi
process_id	ID pekerjaan.
reason	Alasan pengiriman ulang otomatis. Nilai yang valid: out of memory: Kueri dikirim ulang karena memori tidak mencukupi. long running: Kueri dikirim ulang karena berjalan lama.
status	Status eksekusi kueri di kelompok sumber daya tujuan.

Periksa penggunaan ACU pekerjaan

Masuk ke Konsol AnalyticDB for MySQL. Di panel navigasi kiri, pilih Cluster Management > Resource Groups. Klik tab Job Usage Statistics untuk melihat ACU yang dikonsumsi oleh kueri yang dikirim ulang secara otomatis.

Pengiriman ulang pekerjaan manual

Prasyarat

Kluster Anda harus menjalankan versi kernel 3.1.8.4 atau lebih baru.

Catatan
Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di Konsol AnalyticDB for MySQL.
Kluster Data Warehouse Edition (elastic mode) juga harus memenuhi persyaratan berikut:
- Minimal dua kelompok sumber daya telah dibuat. Untuk informasi selengkapnya, lihat Create and manage resource groups.
- Sumber daya komputasi minimal 32 core dan memori 128 GB.

Catatan penggunaan

Kueri yang dikirim ulang harus dieksekusi ulang di kelompok sumber daya tujuan. Hal ini mengonsumsi sumber daya komputasi dan meningkatkan waktu respons kueri, yang dapat memengaruhi stabilitas kelompok sumber daya tujuan. Kami menyarankan agar Anda tidak mengirim ulang pekerjaan kueri ke kelompok sumber daya yang menjalankan beban kerja bisnis inti.

Prosedur

Anda dapat mengonfigurasi aturan pengiriman ulang pekerjaan menggunakan salah satu metode berikut:

Konsol AnalyticDB for MySQL: Konsol menyediakan cara sederhana dan cepat untuk mengonfigurasi aturan pengiriman ulang pekerjaan.
Perintah Workload Manager: Perintah WLM menyediakan cara fleksibel untuk mengonfigurasi aturan pengiriman ulang pekerjaan sesuai kebutuhan kustom dan lanjutan. Untuk informasi selengkapnya tentang sintaks, lihat WLM.

Bagian berikut menjelaskan cara mengonfigurasi aturan pengiriman ulang pekerjaan di Konsol AnalyticDB for MySQL.

Enterprise Edition, Basic Edition, dan Data Lakehouse Edition

Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
Di panel navigasi kiri, pilih Cluster Management > Resource Management. Pada halaman Resource Management, klik tab Resource Groups. Di pojok kanan atas tab Resource Groups, klik Create Resource Group.
Konfigurasikan aturan pengiriman ulang pekerjaan.
- Klik Create Resource Group di pojok kanan atas daftar kelompok sumber daya untuk mengonfigurasi aturan saat membuat kelompok sumber daya.
- Klik Modify di kolom Actions kelompok sumber daya untuk mengonfigurasi aturan pada kelompok sumber daya yang sudah ada.
Tabel berikut menjelaskan parameter untuk mengonfigurasi aturan pengiriman ulang pekerjaan.

Parameter

Deskripsi

Destination Resource Group

Nama kelompok sumber daya tujuan.

Catatan
Untuk informasi selengkapnya tentang parameter lain untuk membuat kelompok sumber daya, lihat Create and manage resource groups.
Klik OK.
(Opsional) Kelola aturan pengiriman ulang pekerjaan. Anda dapat melakukan operasi berikut:
- Untuk mengubah aturan, ubah parameter di panel Modify Resource Group.
- Untuk menghapus aturan, buka panel Modify Resource Group dan klik ikon di samping nama kelompok sumber daya pada bidang Destination Resource Group untuk mengosongkan pilihan. Hal ini membuat aturan tidak berlaku.

Data Warehouse Edition

Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Pada tab Data Warehouse Edition, temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
Di panel navigasi kiri, klik Workload Management.
Klik tab Job Resubmission untuk melihat aturan pengiriman ulang pekerjaan.
Di pojok kanan atas, pilih kelompok sumber daya dari daftar drop-down Resource Group.

Di pojok kanan atas, klik Configure Job Resubmission Rules. Di panel Configure Job Resubmission Rules, konfigurasikan parameter berikut:

Parameter	Deskripsi	Contoh
Peak memory threshold	Memori puncak yang dikonsumsi oleh pekerjaan kueri, dalam MB. Nilai default adalah null.	24
Execution duration threshold	Waktu eksekusi pekerjaan kueri, dalam ms. Nilai default adalah null.	24
Result untuk Error OOM	Menentukan apakah pekerjaan kueri akan dikirim ulang jika gagal karena error OOM. Nilai default adalah No.	No
Destination Resource Group	Nama kelompok sumber daya tujuan.	test

Penting

Jika pekerjaan kueri memenuhi salah satu kondisi dalam aturan pengiriman ulang pekerjaan, pekerjaan tersebut akan dikirim ulang ke kelompok sumber daya yang ditentukan.

Klik OK.
(Opsional) Kelola aturan pengiriman ulang pekerjaan. Anda dapat melakukan operasi berikut:
- Untuk mengubah aturan, ubah parameter di panel Configure Job Resubmission Rules.
- Untuk menghapus aturan, hapus nilai untuk Peak memory threshold dan Execution duration threshold di panel Configure Job Resubmission Rules, dan atur Result untuk Error OOM menjadi No. Hal ini membuat aturan tidak berlaku.
Di bagian Resubmitted Jobs, Anda dapat melihat jumlah pekerjaan yang berhasil dikirim ulang ke kelompok sumber daya lain.