Cara mengaktifkan dan menggunakan fitur pengiriman ulang pekerjaan - AnalyticDB

Fitur pengiriman ulang pekerjaan di AnalyticDB for MySQL memungkinkan Anda mengirim ulang pekerjaan kueri dari kelompok sumber daya interaktif yang memenuhi kondisi tertentu ke kelompok sumber daya yang ditentukan, sehingga mencegah pekerjaan tersebut memengaruhi kueri lain di kelompok sumber daya asal. Topik ini menjelaskan cara mengaktifkan dan menggunakan fitur pengiriman ulang pekerjaan.

Di AnalyticDB for MySQL, beberapa kueri mengonsumsi sumber daya dalam jumlah besar dan berjalan dalam periode yang lama. Kueri-kueri ini dapat menurunkan performa kueri lain, menyebabkan konflik sumber daya, serta mengganggu stabilitas sistem. Gunakan fitur pengiriman ulang pekerjaan untuk mengarahkan kueri tersebut ke kelompok sumber daya khusus guna dieksekusi, sehingga meminimalkan dampaknya terhadap kueri lain. Skenario umum meliputi hal-hal berikut:

Kueri yang menggunakan memori dalam jumlah besar dan rentan mengalami error kehabisan memori (OOM).
Kueri ad hoc yang melibatkan pemindaian data volume besar secara berkala.
Kueri Extract, Transform, and Load (ETL) yang tidak sensitif terhadap waktu dan dijalankan sesuai jadwal tetap.

Ikhtisar fitur

Fitur pengiriman ulang pekerjaan di AnalyticDB for MySQL mendukung pengiriman ulang otomatis maupun manual. Tabel berikut membandingkan kedua metode tersebut.

Item	Pengiriman Otomatis (disarankan)	Pengiriman Manual
Edisi Produk yang didukung	Enterprise Edition, Basic Edition, dan Data Lakehouse Edition.	Enterprise Edition, Basic Edition, Data Lakehouse Edition, dan Data Warehouse Edition dalam mode elastis.
Versi kernel kluster	3.2.2.7 atau lebih baru.	3.1.8.4 atau lebih baru.
Metode pengaktifan	Fitur ini dinonaktifkan secara default. Aktifkan menggunakan perintah SET. Setelah diaktifkan, fitur ini berlaku untuk semua kelompok sumber daya interaktif di kluster.	Konfigurasikan aturan pengiriman ulang secara manual untuk satu kelompok sumber daya interaktif.
Aturan pengiriman ulang	Tidak diperlukan konfigurasi manual. Kueri yang gagal karena memori tidak mencukupi akan dikirim ulang secara otomatis.	Konfigurasikan aturan secara manual di Konsol atau menggunakan perintah WLM. Misalnya, Execution Duration Threshold melebihi 30 detik, atau ambang batas Peak Memory (MB) melebihi 24 MB.
Kelompok sumber daya asal yang mendukung aturan pengiriman ulang	Kelompok sumber daya interaktif yang menggunakan mesin XIHE, termasuk kelompok sumber daya default use_default.	Kelompok sumber daya interaktif yang menggunakan mesin XIHE, kecuali kelompok sumber daya default use_default.
Kelompok sumber daya tujuan yang mendukung pengiriman ulang	Kueri hanya dapat dikirim ulang ke kelompok sumber daya Job.	Kueri dapat dikirim ulang ke kelompok sumber daya berikut: Kelompok sumber daya interaktif yang menggunakan mesin XIHE, termasuk kelompok sumber daya default use_default. Kelompok sumber daya Job.
Biaya	Mengaktifkan pengiriman ulang pekerjaan otomatis gratis. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang dikirim ulang secara otomatis. Kluster menyediakan kuota gratis bulanan. Sumber daya yang melebihi kuota gratis dikenai biaya berdasarkan skema bayar sesuai penggunaan untuk AnalyticDB Compute Unit (ACU) Elastic Resources. Untuk informasi selengkapnya, lihat Pricing. Aturan kuota gratis adalah sebagai berikut: 1.000 Jam-ACU/bulan jika sumber daya reservasi ≤ 100 ACU. 2.000 Jam-ACU/bulan jika sumber daya reservasi > 100 ACU dan < 500 ACU. 3.000 Jam-ACU/bulan jika sumber daya reservasi ≥ 500 ACU. Catatan Untuk kluster Edisi Data Lakehouse, Sumber daya reservasi = Sumber daya komputasi reservasi + Sumber daya penyimpanan reservasi.	Mengaktifkan pengiriman ulang pekerjaan manual gratis. Anda dikenai biaya atas sumber daya yang dikonsumsi oleh kueri yang dikirim ulang secara manual. Tidak tersedia kuota gratis. Anda dikenai biaya atas sumber daya yang digunakan untuk menjalankan kueri berdasarkan skema bayar sesuai penggunaan. Untuk informasi selengkapnya, lihat Pricing.

Pengiriman Otomatis Sistem (Disarankan)

Prasyarat

Versi kernel kluster harus 3.2.2.7 atau lebih baru.

Catatan

Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di Konsol AnalyticDB for MySQL.

Aktifkan pengiriman ulang otomatis

Fitur pengiriman ulang pekerjaan otomatis dinonaktifkan secara default. Aktifkan menggunakan pernyataan SET. Setelah fitur diaktifkan, fitur ini berlaku untuk seluruh kluster AnalyticDB for MySQL. Artinya, kueri dari semua kelompok sumber daya interaktif yang memenuhi aturan pengiriman ulang akan dikirim ke kelompok sumber daya tujuan.

Aktifkan atau nonaktifkan pengiriman ulang otomatis:
```
SET ADB_CONFIG SERVERLESS_ROUTER_LEVEL=0|1|2;
```
Nilai parameter adalah sebagai berikut:
- 0 (default): Menonaktifkan pengiriman ulang otomatis.
- 1: Mengaktifkan pengiriman ulang otomatis hanya jika kuota gratis bulanan belum habis.
- 2: Mengaktifkan pengiriman ulang otomatis meskipun kuota gratis bulanan telah habis.
Periksa apakah pengiriman ulang otomatis telah diaktifkan:
```
SHOW ADB_CONFIG key=SERVERLESS_ROUTER_LEVEL;
```

Konfigurasikan kelompok sumber daya tujuan

Setelah Anda mengaktifkan pengiriman ulang pekerjaan otomatis, AnalyticDB for MySQL mengirim ulang semua kueri yang memenuhi aturan pengiriman ulang ke kelompok sumber daya Job bernama Serverless secara default. Anda juga dapat menentukan kelompok sumber daya tujuan kustom.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = <resource_name>;

Contoh

Tetapkan kelompok sumber daya tujuan menjadi testjob.

SET ADB_CONFIG SERVERLESS_ROUTER_TARGET = testjob;

Konfigurasikan jumlah maksimum ACU untuk satu kueri

Secara default, satu kueri yang dikirim ulang secara otomatis dapat menggunakan hingga 128 ACU. Anda dapat menyesuaikan batas ini.

Sintaks

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = <n>;

Contoh

Tentukan bahwa satu kueri dapat menggunakan hingga 24 ACU.

SET ADB_CONFIG SERVERLESS_ROUTER_MAX_ACU = 24;

Periksa apakah suatu pekerjaan dikirim ulang secara otomatis

Untuk kluster dengan versi kernel 3.2.2.12 atau lebih baru:

SELECT process_id, reason, status FROM information_schema.ELASTIC_JOB_LIST WHERE process_id = <process_id>

Untuk kluster dengan versi kernel sebelum 3.2.2.12:

SELECT process_id, reason, status FROM information_schema.kepler_meta_elastic_job_list WHERE process_id = <process_id>

Penjelasan nilai kembalian:

Catatan

Jika semua bidang dalam tabel berikut kosong, kueri tersebut tidak dikirim ulang secara otomatis.

Parameter	Deskripsi
process_id	ID kueri.
reason	Alasan kueri dikirim ulang secara otomatis. Nilai yang valid: out of memory: Dikirim ulang karena memori tidak mencukupi. long running: Dikirim ulang karena waktu eksekusi yang lama.
status	Status eksekusi kueri setelah dikirim ulang ke kelompok sumber daya tujuan.

Kueri ACU yang digunakan oleh suatu pekerjaan

Anda dapat login ke Konsol AnalyticDB for MySQL dan pilih Cluster Management > Resource Groups. Pada halaman yang muncul, klik tab Job Usage Statistics untuk melihat ACU yang digunakan oleh kueri yang dikirim ulang secara otomatis.

Pengiriman Manual

Prasyarat

Versi kernel kluster harus 3.1.8.4 atau lebih baru.
Catatan
Untuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di Konsol AnalyticDB for MySQL.
Jika kluster Anda adalah kluster Data Warehouse Edition in elastic mode, kluster tersebut juga harus memenuhi kondisi berikut:
- Minimal dua kelompok sumber daya telah dibuat. Untuk informasi selengkapnya, lihat Create a resource group.
- Sumber daya komputasi minimal 32 core dan 128 GB atau lebih tinggi.

Catatan penggunaan

Kueri dieksekusi ulang di kelompok sumber daya tujuan. Hal ini mengonsumsi sumber daya komputasi kelompok tersebut dan meningkatkan waktu respons kueri, yang dapat memengaruhi stabilitas kueri di kelompok sumber daya tujuan. Jangan mengirim ulang kueri ke kelompok sumber daya yang menjalankan beban kerja bisnis inti.

Prosedur

Anda dapat mengonfigurasi aturan pengiriman ulang pekerjaan dengan dua cara:

Konfigurasi di Konsol AnalyticDB for MySQL: Konsol menyediakan cara sederhana dan cepat untuk mengonfigurasi aturan pengiriman ulang.
Konfigurasi menggunakan perintah Workload Manager: Perintah Workload Manager (WLM) menawarkan fleksibilitas lebih besar untuk kebutuhan kustom dan lanjutan. Untuk informasi selengkapnya, lihat WLM.

Bagian berikut menjelaskan cara mengonfigurasi aturan pengiriman ulang di Konsol AnalyticDB for MySQL.

Enterprise Edition, Basic Edition, dan Data Lakehouse Edition

Login ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
Di panel navigasi kiri, pilih Cluster Management > Resource Management. Pada halaman Resource Management, klik tab Resource Groups. Di pojok kanan atas tab Resource Groups, klik Create Resource Group.
Konfigurasikan aturan pengiriman pekerjaan.
- Di pojok kanan atas tab Resource Groups, klik Create Resource Group. Saat membuat kelompok sumber daya, konfigurasikan aturan pengiriman ulang pekerjaan.
- Klik Modify di kolom Actions kelompok sumber daya target untuk mengonfigurasi aturan pengiriman ulang pekerjaan.
Parameter konfigurasi aturan pengiriman pekerjaan:
Nama parameter
Deskripsi
Destination Resource Group
Nama kelompok sumber daya tujuan.
Catatan
Untuk informasi selengkapnya tentang parameter lain saat membuat kelompok sumber daya, lihat Create and manage resource groups.
Klik OK.
(Opsional) Kelola aturan pengiriman ulang pekerjaan:
- Ubah aturan pengiriman ulang pekerjaan: Di panel Modify Resource Group, ubah parameter yang telah dikonfigurasi.
- Hapus aturan pengiriman ulang pekerjaan: Di panel Modify Resource Group, klik tombol di sebelah kanan kelompok sumber daya yang ditentukan pada bidang Destination Resource Group. Dalam hal ini, aturan pengiriman ulang pekerjaan menjadi tidak berlaku.

Data Warehouse Edition

Masuk ke Konsol AnalyticDB for MySQL. Di sudut kiri atas konsol, pilih wilayah. Pada panel navigasi sebelah kiri, klik Clusters. Di tab Data Warehouse Edition, temukan kluster yang ingin Anda kelola, lalu klik ID kluster tersebut.
Di panel navigasi kiri, klik Workload Management.
Klik Job Resubmission untuk melihat aturan pengiriman pekerjaan.
Di pojok kanan atas, pilih kelompok sumber daya dari daftar drop-down Resource Group.

Di pojok kanan atas, klik Configure Job Resubmission Rules. Di panel Configure Job Resubmission Rules yang muncul, konfigurasikan parameter berikut:

Parameter	Deskripsi metrik	Nilai contoh
Threshold untuk penggunaan memori puncak	Sumber daya komputasi yang dikonsumsi oleh kueri. Satuan dalam MB. Nilai default adalah null.	24
Threshold untuk durasi eksekusi	Waktu yang diperlukan untuk menjalankan kueri. Satuan dalam ms. Nilai default adalah null.	24
Result jika kueri gagal karena memori tidak mencukupi	Menentukan apakah kueri gagal karena memori tidak mencukupi. Nilai default adalah No.	No
Destination Resource Group	Nama kelompok sumber daya tujuan.	test

Penting

Jika suatu kueri memenuhi salah satu kondisi dalam aturan pengiriman ulang, kueri tersebut akan dikirim ulang ke kelompok sumber daya yang ditentukan untuk dieksekusi.

Klik OK.
(Opsional) Kelola aturan pengiriman ulang pekerjaan:
- Ubah aturan pengiriman ulang pekerjaan: Di panel Configure Job Resubmission Rules, ubah parameter yang telah dikonfigurasi.
- Hapus aturan pengiriman ulang pekerjaan: Di panel Configure Job Resubmission Rules, hapus nilai Threshold untuk Peak Memory dan Threshold untuk Execution Duration. Kemudian, atur nilai Result untuk OOM Error menjadi No. Dalam hal ini, aturan pengiriman ulang pekerjaan menjadi tidak berlaku.
Di bagian Resubmitted Jobs, Anda dapat melihat jumlah pekerjaan kueri yang berhasil dikirim ulang ke kelompok sumber daya lain.

Nama parameter	Deskripsi
Destination Resource Group	Nama kelompok sumber daya tujuan.