AnalyticDB：Gunakan grup sumber daya untuk manajemen beban kerja

Batasan

• Untuk AnalyticDB for PostgreSQL V6.0 versi V6.6.1.0 atau lebih baru, atau AnalyticDB for PostgreSQL V7.0 versi V7.0.6.3 atau lebih baru, Anda dapat beralih metode manajemen sumber daya dari manajemen antrian sumber daya ke manajemen grup sumber daya di konsol AnalyticDB for PostgreSQL.

• Untuk AnalyticDB for PostgreSQL V6.0 versi sebelum V6.6.1.0 atau AnalyticDB for PostgreSQL V7.0 versi sebelum V7.0.6.3, Anda harus mengirimkan tiket untuk beralih metode manajemen sumber daya.

Untuk informasi tentang cara melihat versi minor instance AnalyticDB for PostgreSQL, lihat Lihat versi minor sebuah instance.

Pengenalan grup sumber daya

AnalyticDB for PostgreSQL memungkinkan Anda menggunakan grup sumber daya untuk mengelola sumber daya database. Dibandingkan dengan manajemen antrian sumber daya, manajemen grup sumber daya mendukung lebih banyak kategori sumber daya dan pengelolaan yang lebih rinci. Kedua metode tidak dapat digunakan secara bersamaan; aktivasi manajemen grup sumber daya akan menonaktifkan manajemen antrian sumber daya secara otomatis. Untuk informasi lebih lanjut tentang manajemen antrian sumber daya, lihat Gunakan antrian sumber daya untuk manajemen beban kerja.

Saat menggunakan grup sumber daya, Anda dapat mengaitkannya dengan satu atau lebih akun database dan mengonfigurasi pengaturan seperti utilisasi CPU, persentase memori, dan konkurensi. Pernyataan SET, RESET, dan SHOW tidak terpengaruh oleh pengaturan grup sumber daya.

Grup sumber daya AnalyticDB for PostgreSQL V6.0

Tabel berikut menjelaskan parameter kategori sumber daya yang didukung oleh AnalyticDB for PostgreSQL V6.0.

Manajemen memori grup sumber daya V6.0

Sistem mencadangkan sumber daya memori untuk grup sumber daya berdasarkan parameter memory_limit yang Anda tentukan untuk setiap grup sumber daya. Jika jumlah total nilai parameter memory_limit dari semua grup sumber daya kurang dari 100, sistem menyimpan memori yang tersisa yang tidak dicadangkan untuk grup sumber daya ke kolam memori global untuk dibagikan secara FIFO.

Dalam kolam memori setiap grup sumber daya, sistem mengonfigurasi kuota memori tetap dan kuota memori bersama berdasarkan parameter MEMORY_SHARED_QUOTA yang Anda tentukan. Jika Anda menetapkan parameter MEMORY_SHARED_QUOTA menjadi 100 untuk sebuah grup sumber daya, semua memori dalam grup sumber daya dianggap sebagai memori bersama dan dapat digunakan untuk semua pekerjaan. Jika Anda menetapkan parameter MEMORY_SHARED_QUOTA menjadi nilai yang kurang dari 100, sistem membagi memori grup sumber daya menjadi memori tetap dan memori bersama. Memori tetap dialokasikan untuk setiap pekerjaan, dan memori bersama dapat dibagikan oleh semua pekerjaan.

Manajemen konkurensi grup sumber daya V6.0

• Ketika jumlah kueri yang masuk ke sebuah grup sumber daya mencapai nilai parameter CONCURRENCY, kueri baru harus menunggu dalam antrian. Kueri yang antre dikelola secara FIFO.

• Jika sebuah kueri harus menunggu karena nilai parameter CONCURRENCY tercapai, kueri tersebut berada dalam keadaan menunggu dan nilai bidang waiting_reason ditampilkan sebagai group ketika Anda memeriksa tampilan pg_stat_activity.

Manajemen CPU grup sumber daya V6.0

AnalyticDB for PostgreSQL memungkinkan Anda mengelola tingkat alokasi CPU untuk grup sumber daya. Sistem mengalokasikan irisan waktu CPU berdasarkan parameter CPU_RATE_LIMIT yang Anda tentukan untuk setiap grup sumber daya. Fitur manajemen grup sumber daya juga mendukung preemption CPU. Jika hanya salah satu dari grup sumber daya yang menjalankan pekerjaan, grup sumber daya tersebut dapat menggunakan semua sumber daya CPU.

• Jika dua grup sumber daya sama-sama sibuk, grup sumber daya yang Anda tetapkan parameter CPU_RATE_LIMIT-nya menjadi 40 dapat memperoleh dua kali lipat sumber daya CPU dari grup sumber daya yang Anda tetapkan parameter CPU_RATE_LIMIT-nya menjadi 20.

• Jika tidak ada kueri yang dilakukan oleh grup sumber daya yang Anda tetapkan parameter CPU_RATE_LIMIT-nya menjadi 40, grup sumber daya yang Anda tetapkan parameter CPU_RATE_LIMIT-nya menjadi 20 dapat menggunakan hampir semua sumber daya CPU.

Manajemen disk spilling grup sumber daya V6.0

AnalyticDB for PostgreSQL memungkinkan Anda mengelola rasio tumpahan memori untuk grup sumber daya. Ketika AnalyticDB for PostgreSQL mengeksekusi operator intensif memori, sejumlah besar hasil sementara antara mungkin dihasilkan dan ditumpahkan ke disk. Anda dapat memodifikasi parameter MEMORY_SPILL_RATIO untuk meningkatkan atau mengurangi jumlah tumpahan. Parameter MEMORY_SPILL_RATIO hanya berlaku untuk jenis operasi yang menghasilkan sejumlah besar hasil sementara antara.

• Jika nilai parameter MEMORY_SPILL_RATIO lebih besar dari 0, rasio tumpahan memori ditentukan oleh parameter MEMORY_SPILL_RATIO. Ketika memori yang digunakan untuk transaksi sensitif memori mencapai nilai ini, data ditumpahkan ke disk.

• Jika nilai parameter MEMORY_SPILL_RATIO adalah 0, rasio tumpahan memori ditentukan oleh parameter statement_mem. Untuk informasi lebih lanjut tentang parameter statement_mem, lihat Optimasi parameter performa.

Jika memori tidak cukup untuk memproses beban kerja berat, kurangi nilai parameter MEMORY_SPILL_RATIO untuk grup sumber daya yang terlibat untuk menumpahkan hasil eksekusi operator intensif memori seperti HashAgg, Join, dan Sort ke disk dan mengurangi penggunaan memori. Jika memori cukup untuk memproses beban kerja kecil, tingkatkan nilai parameter MEMORY_SPILL_RATIO untuk grup sumber daya yang terlibat untuk memungkinkan lebih banyak operator dieksekusi di memori dan meningkatkan efisiensi kueri.

Grup sumber daya AnalyticDB for PostgreSQL V7.0

Tabel berikut menjelaskan parameter dari kategori sumber daya yang didukung oleh AnalyticDB for PostgreSQL V7.0.

Manajemen konkurensi grup sumber daya V7.0

• Ketika jumlah kueri yang masuk ke sebuah grup sumber daya mencapai nilai parameter CONCURRENCY, kueri baru harus menunggu dalam antrian. Kueri yang antre dikelola secara FIFO.

• Jika sebuah kueri harus menunggu karena nilai parameter CONCURRENCY tercapai, nilai bidang wait_event_type ditampilkan sebagai ResourceGroup ketika Anda memeriksa tampilan pg_stat_activity.

• Jika sejumlah besar kueri menunggu dalam sebuah grup sumber daya karena nilai parameter CONCURRENCY tercapai, Anda harus secara tepat meningkatkan kemampuan konkurensi grup sumber daya untuk memastikan performa kueri.

Manajemen memori grup sumber daya V7.0

AnalyticDB for PostgreSQL V7.0 menggunakan parameter MEMORY_LIMIT, statement_mem, dan gp_resgroup_memory_query_fixed_mem untuk mengelola penggunaan memori grup sumber daya.

• Jika parameter gp_resgroup_memory_query_fixed_mem diatur ke nilai lebih besar dari 0, memori maksimum yang dapat digunakan oleh sebuah kueri adalah nilai parameter tersebut.

• Jika parameter gp_resgroup_memory_query_fixed_mem diatur ke nilai default 0, grup sumber daya menggunakan parameter statement_mem dan MEMORY_LIMIT untuk menentukan memori maksimum yang dapat digunakan oleh sebuah kueri.

  • Jika parameter MEMORY_LIMIT grup sumber daya diatur ke -1, memori maksimum yang dapat digunakan oleh sebuah kueri dalam grup sumber daya adalah nilai parameter statement_mem.

  • Jika parameter MEMORY_LIMIT grup sumber daya diatur ke nilai lebih besar dari -1, memori maksimum yang dapat digunakan oleh sebuah kueri dalam grup sumber daya adalah hasil dari fungsi MAX(MEMORY_LIMIT/CONCURRENCY, statement_mem). Sebagai contoh, parameter MEMORY_LIMIT grup sumber daya etl diatur ke 2,0 GB dan parameter CONCURRENCY grup sumber daya diatur ke 5. Secara default, sebuah kueri dapat menggunakan 400 MB memori. Perhatikan skenario berikut:

• Jika pengguna etl1 mengirimkan kueri dan menetapkan parameter gp_resgroup_memory_query_fixed_mem tingkat sesi ke 800 MB dan parameter statement_mem ke 900 MB, kueri tersebut dapat menggunakan hingga 800 MB memori.

• Jika pengguna etl2 mengirimkan kueri, membiarkan parameter gp_resgroup_memory_query_fixed_mem tingkat sesi kosong, dan menetapkan parameter statement_mem ke 300 MB, kueri tersebut dikirimkan ke sistem dan menempati 400 MB memori karena 300 MB kurang dari memori default sebuah kueri (400 MB).

• Jika pengguna etl3 mengirimkan kueri, membiarkan parameter gp_resgroup_memory_query_fixed_mem tingkat sesi kosong, dan menetapkan parameter statement_mem ke 700 MB, kueri tersebut dikirimkan ke sistem dan menempati 700 MB memori karena 700 MB lebih besar dari memori default sebuah kueri (400 MB).

Manajemen CPU grup sumber daya V7.0

AnalyticDB for PostgreSQL V7.0 menggunakan parameter CPU_MAX_PERCENT untuk mengelola utilisasi CPU maksimum setiap grup sumber daya, dan menggunakan parameter CPU_WEIGHT untuk mengelola tingkat alokasi CPU setiap grup sumber daya. Sistem mengalokasikan irisan waktu CPU berdasarkan parameter CPU_WEIGHT setiap grup sumber daya dan memastikan bahwa utilisasi CPU setiap grup sumber daya tidak melebihi nilai parameter CPU_MAX_PERCENT.

Sebagai contoh, parameter CPU_MAX_PERCENT grup sumber daya rg1 diatur ke 30 dan parameter CPU_WEIGHT grup sumber daya rg1 diatur ke 100. Parameter CPU_MAX_PERCENT grup sumber daya rg2 diatur ke 60 dan parameter CPU_WEIGHT grup sumber daya rg2 diatur ke 50.

1. Jika hanya grup sumber daya rg1 yang memiliki kueri aktif, utilisasi CPU grup sumber daya rg1 dapat mencapai 30%, dan utilisasi CPU grup sumber daya rg2 dapat mencapai 60%.

2. Jika grup sumber daya rg1 dan rg2 memiliki kueri aktif, sistem mengalokasikan irisan waktu CPU berdasarkan 100:50 hingga utilisasi CPU sebuah grup sumber daya mencapai nilai parameter CPU_MAX_PERCENT grup sumber daya tersebut. Sebagai contoh, ketika utilisasi CPU grup sumber daya rg1 mencapai 30%, sistem secara prioritas mengalokasikan irisan waktu CPU ke grup sumber daya rg2 untuk memastikan bahwa utilisasi CPU grup sumber daya rg1 tidak melebihi 30%.

Aktifkan fitur manajemen grup sumber daya

Aktifkan atau nonaktifkan fitur manajemen grup sumber daya di konsol AnalyticDB for PostgreSQL

Untuk AnalyticDB for PostgreSQL V6.0 versi V6.6.1.0 atau lebih baru, Anda dapat mengaktifkan atau menonaktifkan fitur manajemen grup sumber daya di konsol AnalyticDB for PostgreSQL. Operasi ini beralih metode manajemen sumber daya dari manajemen antrian sumber daya ke manajemen grup sumber daya. Selama pergantian, instance AnalyticDB for PostgreSQL restart dan tidak tersedia selama sekitar 5 menit. Untuk mencegah bisnis Anda terpengaruh, aktifkan atau nonaktifkan fitur manajemen grup sumber daya selama jam sepi. Lakukan langkah-langkah berikut:

1. Masuk ke konsol AnalyticDB for PostgreSQL.
2. Di pojok kiri atas konsol, pilih wilayah.
3. Temukan instance yang ingin Anda kelola dan klik ID instance tersebut.

4. Di panel navigasi di sebelah kiri, klik Workload Management.

5. Klik Enable Resource Group Management. Di pesan yang muncul, klik OK.

Aktifkan atau nonaktifkan fitur manajemen grup sumber daya dengan mengirimkan tiket

Untuk AnalyticDB for PostgreSQL V6.0 versi sebelum V6.6.1.0 dan AnalyticDB PostgreSQL V7.0 instance, Anda harus mengirimkan tiket untuk mengaktifkan atau menonaktifkan fitur manajemen grup sumber daya.

Setelah Anda mengaktifkan fitur manajemen grup sumber daya, sistem secara otomatis membuat grup sumber daya bernama default_group. Anda dapat memilih Monitoring and Alerts > Instance Monitoring di panel navigasi di sebelah kiri dan klik tab Resource Group Monitoring untuk melihat informasi pemantauan semua grup sumber daya dan metrik CPU serta memori node komputasi.

Buat grup sumber daya

Setelah Anda mengaktifkan fitur manajemen grup sumber daya, Anda dapat membuat grup sumber daya di konsol AnalyticDB for PostgreSQL atau dengan menggunakan sintaksis SQL.

CREATE RESOURCE GROUP <group_name> WITH (group_attribute=value [, ... ])

CPU_RATE_LIMIT=integer
MEMORY_LIMIT=integer
[ CONCURRENCY=integer ]
[ MEMORY_SHARED_QUOTA=integer ]
[ MEMORY_SPILL_RATIO=integer ]

CPU_MAX_PERCENT=integer
[CPU_WEIGHT=integer ]
[ CONCURRENCY=integer ]
[ MEMORY_LIMIT=integer ]
[ MIN_COST=integer ]

Lihat pengaturan grup sumber daya

Setelah Anda membuat grup sumber daya, Anda dapat melihat pengaturan grup sumber daya di konsol AnalyticDB for PostgreSQL atau dengan menggunakan sintaksis SQL.

SELECT * FROM gp_toolkit.gp_resgroup_config;

Ubah pengaturan grup sumber daya

Anda dapat mengubah pengaturan grup sumber daya di konsol AnalyticDB for PostgreSQL atau dengan menggunakan sintaksis SQL.

ALTER RESOURCE GROUP <group_name> 
SET CONCURRENCY|CPU_RATE_LIMIT|MEMORY_LIMIT|MEMORY_SHARED_QUOTA|MEMORY_SPILL_RATIO <value>;

ALTER RESOURCE GROUP <group_name> 
SET CPU_MAX_PERCENT|CPU_WEIGHT|CONCURRENCY|MEMORY_LIMIT|MIN_COST <value>;

Kaitkan grup sumber daya dengan satu atau lebih akun database

Anda dapat mengaitkan grup sumber daya dengan satu atau lebih akun database di konsol AnalyticDB for PostgreSQL atau dengan menggunakan sintaksis SQL. Untuk informasi tentang cara membuat akun database, lihat Buat dan kelola akun database.

• Setiap grup sumber daya dapat dikaitkan dengan satu atau lebih akun database, tetapi setiap akun database hanya dapat dikaitkan dengan satu grup sumber daya.

• Secara default, akun istimewa dikaitkan dengan grup sumber daya default_group.

• Jika akun database tidak dikaitkan dengan grup sumber daya, akun database tersebut dikaitkan dengan grup sumber daya default_group.

Hapus grup sumber daya

Anda dapat menghapus grup sumber daya di konsol AnalyticDB for PostgreSQL atau dengan menggunakan sintaksis SQL.

DROP RESOURCE GROUP <group_name>;

Permintaan informasi pemantauan grup sumber daya

V6.0

SELECT * FROM gp_toolkit.gp_resgroup_status;

Tabel berikut menjelaskan metrik.

V7.0

Permintaan durasi antrian dan jumlah transaksi yang antre

SELECT * FROM gp_toolkit.gp_resgroup_status;

Tabel berikut menjelaskan metrik.

Permintaan utilisasi CPU dan memori yang digunakan

SELECT * FROM gp_toolkit.gp_resgroup_status_per_host;

Tabel berikut menjelaskan metrik.

Nonaktifkan fitur manajemen grup sumber daya

Jika Anda ingin beralih metode manajemen sumber daya ke manajemen antrian sumber daya, Anda dapat menonaktifkan fitur manajemen grup sumber daya di konsol AnalyticDB for PostgreSQL. Selama proses penonaktifan, instance AnalyticDB for PostgreSQL akan restart dan tidak tersedia selama sekitar 5 menit. Untuk mencegah bisnis Anda terpengaruh, nonaktifkan fitur manajemen grup sumber daya selama jam sepi. Lakukan langkah-langkah berikut:

1. Masuk ke konsol AnalyticDB for PostgreSQL.

2. Di pojok kiri atas konsol, pilih wilayah.

3. Temukan instance yang ingin Anda kelola dan klik ID instance tersebut.

4. Di panel navigasi di sebelah kiri, klik Workload Management. Di halaman yang muncul, klik Disable Resource Group Management.