AnalyticDB:Kelola workload dengan resource groups

Batasan

• Untuk instans AnalyticDB for PostgreSQL V6.0 dengan versi minor v6.6.1.0 atau lebih baru, atau instans AnalyticDB for PostgreSQL V7.0 dengan versi minor v7.0.6.3 atau lebih baru, Anda dapat beralih ke manajemen resource group melalui Konsol.

• Untuk instans AnalyticDB for PostgreSQL V6.0 dengan versi minor sebelum v6.6.1.0, atau instans AnalyticDB for PostgreSQL V7.0 dengan versi minor sebelum v7.0.6.3, Anda harus mengajukan tiket untuk beralih ke manajemen resource group.

Untuk mengetahui cara melihat versi minor suatu instans, lihat Lihat versi minor.

Resource groups

AnalyticDB for PostgreSQL mendukung manajemen sumber daya menggunakan resource groups. Dibandingkan dengan resource queues, resource groups menyediakan kontrol yang lebih detail dan mengelola jenis sumber daya yang lebih komprehensif. Manajemen resource group dan manajemen resource queue tidak dapat digunakan secara bersamaan; Anda hanya dapat menggunakan salah satunya. Setelah Anda mengaktifkan manajemen resource group, resource queues akan dinonaktifkan secara otomatis. Untuk informasi lebih lanjut tentang resource queues, lihat Gunakan Resource Queues untuk Manajemen Workload.

Dengan menggunakan resource groups, Anda dapat mengaitkan satu atau beberapa akun database dengan sebuah resource group dan mengonfigurasi batas CPU, memori, dan konkurensi spesifik untuk setiap grup. Hal ini memungkinkan Anda mengelola kueri yang dikirimkan oleh akun terkait. Namun, perintah SET, RESET, dan SHOW tidak dipengaruhi oleh konfigurasi resource group.

V6.0 resource groups

Tabel berikut menjelaskan parameter sumber daya yang dapat dikonfigurasi untuk resource groups AnalyticDB for PostgreSQL V6.0.

Manajemen memori resource group V6.0

Database menyisihkan memori untuk setiap resource group berdasarkan pengaturan MEMORY_LIMIT-nya. Jika jumlah nilai MEMORY_LIMIT semua resource groups kurang dari 100, sisa memori yang tidak disisihkan dialokasikan ke pool memori bersama global. Database mengalokasikan memori bersama global ini ke transaksi berdasarkan prinsip first-come, first-served.

Dalam pool memori yang disisihkan untuk setiap resource group, sistem menggunakan pengaturan MEMORY_SHARED_QUOTA untuk membagi memori menjadi bagian tetap dan bagian bersama. Jika MEMORY_SHARED_QUOTA diatur ke 100, seluruh memori dalam resource group diperlakukan sebagai bersama dan tersedia untuk semua tugas. Jika MEMORY_SHARED_QUOTA kurang dari 100, sistem membagi memori menjadi bagian tetap dan bagian bersama. Bagian tetap hanya untuk tugas individual, sedangkan bagian bersama merupakan ruang memori umum untuk semua tugas. Gambar berikut mengilustrasikan mekanisme manajemen memori untuk resource groups AnalyticDB for PostgreSQL V6.0.

Manajemen konkurensi resource group V6.0

• Saat jumlah kueri yang masuk ke sistem mencapai batas konkurensi resource group, kueri baru untuk grup tersebut harus menunggu. Antrian konkurensi mengikuti prinsip first-in, first-out (FIFO).

• Saat kueri yang dikirimkan sedang menunggu karena batas konkurensi, statusnya dalam tampilan pg_stat_activity adalah waiting, dan waiting_reason-nya adalah group.

Manajemen CPU resource group V6.0

Resource groups AnalyticDB for PostgreSQL memungkinkan Anda mengelola rasio alokasi CPU untuk setiap grup menggunakan pendekatan manajemen CPU preemptive. Database mengalokasikan time slice CPU berdasarkan nilai CPU_RATE_LIMIT yang ditetapkan untuk setiap grup. Jika resource group memiliki nilai CPU_RATE_LIMIT yang tinggi, grup tersebut menerima lebih banyak time slice CPU saat terjadi kontensi, sehingga dapat mengeksekusi lebih banyak tugas. Sebaliknya, nilai yang lebih rendah membatasi penggunaan sumber daya CPU-nya. Fitur manajemen sumber daya ini juga mendukung preemption CPU. Jika satu resource group sedang mengeksekusi tugas sementara grup lainnya menganggur, grup tersebut dapat menggunakan semua sumber daya CPU yang tersedia.

• Jika dua resource groups sama-sama sibuk, grup dengan CPU_RATE_LIMIT diatur ke 40 dialokasikan sumber daya CPU dua kali lipat dari grup dengan CPU_RATE_LIMIT diatur ke 20.

• Jika resource group dengan CPU_RATE_LIMIT diatur ke 40 tidak memiliki kueri masuk, resource group dengan CPU_RATE_LIMIT diatur ke 20 dapat menggunakan hampir semua sumber daya CPU.

Manajemen disk spilling V6.0

Resource groups AnalyticDB for PostgreSQL memungkinkan Anda mengelola ambang batas disk spilling untuk kueri. Di AnalyticDB for PostgreSQL, operator intensif memori dapat menghasilkan jumlah besar hasil antara yang mungkin perlu sementara ditumpahkan ke disk. Anda dapat menyesuaikan MEMORY_SPILL_RATIO untuk meningkatkan atau mengurangi spilling ini. Oleh karena itu, hanya operasi yang menghasilkan jumlah besar hasil antara yang dikontrol oleh pengaturan ini. Banyak operasi tidak dapat ditumpahkan ke disk dan akan terus mengonsumsi memori, berpotensi menyebabkan penggunaan memori melebihi batas yang ditentukan.

• Jika MEMORY_SPILL_RATIO lebih besar dari 0, ambang batas spilling operator ditentukan oleh parameter ini. Saat penggunaan memori transaksi intensif memori mencapai ambang batas ini, datanya ditumpahkan ke disk.

• Jika MEMORY_SPILL_RATIO adalah 0, ambang batas spilling operator ditentukan oleh parameter statement_mem. Untuk informasi lebih lanjut tentang statement_mem, lihat Sesuaikan parameter kinerja.

Saat beban kluster tinggi dan sumber daya memori terbatas, Anda dapat menurunkan MEMORY_SPILL_RATIO resource group terkait. Hal ini menyebabkan operator intensif memori seperti hashagg, join, dan sort melakukan lebih banyak disk spilling selama komputasi, sehingga mengurangi konsumsi memori. Saat beban kluster rendah dan sumber daya memori melimpah, Anda dapat meningkatkan MEMORY_SPILL_RATIO. Hal ini menaikkan ambang batas spilling, memungkinkan lebih banyak komputasi dilakukan di memori dan meningkatkan efisiensi eksekusi kueri.

V7.0 resource groups

Tabel berikut menjelaskan parameter sumber daya yang dapat dikonfigurasi untuk resource groups AnalyticDB for PostgreSQL V7.0.

Manajemen konkurensi resource group V7.0

• Saat jumlah kueri yang masuk ke sistem mencapai batas konkurensi resource group, kueri baru untuk grup tersebut harus menunggu. Antrian konkurensi mengikuti prinsip FIFO.

• Saat kueri yang dikirimkan sedang menunggu karena batas konkurensi, wait_event_type-nya dalam tampilan pg_stat_activity adalah ResourceGroup.

• Jika banyak kueri sedang menunggu dalam suatu grup karena batas konkurensi, Anda harus meningkatkan kapasitas konkurensi grup tersebut untuk menghindari dampak pada kinerja kueri.

Manajemen memori resource group V7.0

Di AnalyticDB for PostgreSQL V7.0, resource groups mengelola penggunaan memori berdasarkan konfigurasi MEMORY_LIMIT, bersama dengan parameter statement_mem dan gp_resgroup_memory_query_fixed_mem.

• Jika gp_resgroup_memory_query_fixed_mem diatur ke nilai lebih besar dari 0, memori maksimum yang dapat digunakan satu kueri dibatasi hingga nilai tersebut.

• Jika gp_resgroup_memory_query_fixed_mem diatur ke nilai default 0, resource group menentukan memori untuk satu kueri berdasarkan statement_mem dan MEMORY_LIMIT. Rinciannya sebagai berikut:

  • Jika MEMORY_LIMIT resource group diatur ke -1, batas memori untuk satu kueri yang dikelola grup tersebut ditentukan oleh statement_mem.

  • Jika MEMORY_LIMIT resource group diatur ke nilai lebih besar dari -1, batas memori untuk satu kueri adalah max(MEMORY_LIMIT/CONCURRENCY, statement_mem). Misalnya, database memiliki resource group bernama etl dengan MEMORY_LIMIT diatur ke 2,0 GB dan nilai konkurensi 5. Secara default, satu kueri diharapkan menggunakan memori 400 MB. Pertimbangkan skenario berikut:

• Pengguna etl1 mengirimkan kueri Q1 dan mengatur gp_resgroup_memory_query_fixed_mem tingkat sesi ke 800 MB (set gp_resgroup_memory_query_fixed_mem='800MB') serta statement_mem ke 900 MB. Q1 dapat menggunakan memori maksimum 800 MB.

• Pengguna etl2 mengirimkan kueri Q2 tanpa mengonfigurasi parameter gp_resgroup_memory_query_fixed_mem tingkat sesi, dan mengatur statement_mem ke 300 MB. Karena 300 MB kurang dari 400 MB, Q2 dikirimkan ke sistem dan menggunakan memori 400 MB.

• Pengguna etl3 mengirimkan kueri Q3 tanpa mengonfigurasi parameter gp_resgroup_memory_query_fixed_mem tingkat sesi, dan mengatur statement_mem ke 700 MB. Karena 700 MB lebih besar dari 400 MB, Q3 dikirimkan ke sistem dan menggunakan memori 700 MB.

Manajemen CPU resource group V7.0

Di AnalyticDB for PostgreSQL V7.0, resource groups menggunakan CPU_MAX_PERCENT untuk mengelola pemanfaatan CPU maksimum untuk setiap grup dan CPU_WEIGHT untuk mengelola rasio alokasi di antara grup. Sistem mengalokasikan time slice CPU sesuai rasio CPU_WEIGHT setiap grup, sekaligus memastikan pemanfaatan CPU setiap grup tidak melebihi nilai CPU_MAX_PERCENT-nya.

Misalnya, database memiliki dua grup, rg1 dan rg2. Untuk rg1, CPU_MAX_PERCENT adalah 30 dan CPU_WEIGHT adalah 100. Untuk rg2, CPU_MAX_PERCENT adalah 60 dan CPU_WEIGHT adalah 50.

1. Jika hanya rg1 yang memiliki kueri aktif dan rg2 menganggur, pemanfaatan CPU rg1 dapat mencapai 30%, tetapi grup tersebut tidak akan menggunakan lebih banyak meskipun CPU menganggur tersedia. Dalam skenario ini, rg2 tidak memiliki kueri aktif, sehingga pemanfaatan CPU-nya 0%.

2. Jika rg1 dan rg2 sama-sama memiliki kueri aktif, database mengalokasikan time slice CPU berdasarkan rasio bobot 100:50. Namun, begitu resource group mencapai batas CPU_MAX_PERCENT-nya, grup tersebut tidak lagi menerima sumber daya CPU tambahan. Misalnya, setelah rg1 mencapai pemanfaatan CPU 30%, time slice berikutnya dialokasikan ke rg2 (selama masih di bawah batas 60%-nya), sehingga memastikan rg1 tidak melebihi batas 30%-nya.

Aktifkan manajemen resource group

Aktifkan atau nonaktifkan manajemen resource group di Konsol

Untuk instans AnalyticDB for PostgreSQL V6.0 dengan versi minor v6.6.1.0 atau lebih baru, Anda dapat mengaktifkan atau menonaktifkan manajemen resource group di Konsol. Mengganti mode manajemen sumber daya dari resource queues ke resource groups akan merestart instans, yang akan tidak tersedia selama sekitar 5 menit. Rencanakan operasi ini pada jam sepi untuk menghindari gangguan pada bisnis Anda. Ikuti langkah-langkah berikut:

1. Masuk ke Konsol AnalyticDB for PostgreSQL.
2. Di pojok kiri atas Konsol, pilih wilayah.
3. Temukan instans yang ingin Anda kelola dan klik ID instans tersebut.

4. Di panel navigasi sebelah kiri, klik Workload Management.

5. Klik Enable Resource Group Management, lalu di kotak dialog konfirmasi, klik OK.

Aktifkan atau nonaktifkan dengan mengajukan tiket

Untuk instans AnalyticDB for PostgreSQL V6.0 dengan versi minor sebelum v6.6.1.0 atau untuk instans AnalyticDB for PostgreSQL V7.0 apa pun, Anda harus mengajukan tiket untuk mengaktifkan atau menonaktifkan manajemen resource group.

Setelah Anda mengaktifkan manajemen resource group, sistem secara otomatis membuat resource group bernama default_group. Di tab Resource Group Monitoring pada halaman Monitoring and Alerts > Instance Monitoring, Anda dapat melihat informasi pemantauan untuk semua resource groups, termasuk penggunaan CPU dan memori untuk setiap segmen.

Buat resource group

Setelah Anda mengaktifkan manajemen resource group, Anda dapat membuat resource group baru menggunakan Konsol atau dengan menjalankan Pernyataan SQL.

CREATE RESOURCE GROUP <group_name> WITH (group_attribute=value [, ... ])

CPU_RATE_LIMIT=integer
MEMORY_LIMIT=integer
[ CONCURRENCY=integer ]
[ MEMORY_SHARED_QUOTA=integer ]
[ MEMORY_SPILL_RATIO=integer ]

CPU_MAX_PERCENT=integer
[CPU_WEIGHT=integer ]
[ CONCURRENCY=integer ]
[ MEMORY_LIMIT=integer ]
[ MIN_COST=integer ]

Lihat konfigurasi resource group

Setelah membuat resource group, Anda dapat melihat konfigurasinya menggunakan Konsol atau dengan menjalankan Pernyataan SQL.

SELECT * FROM gp_toolkit.gp_resgroup_config;

Ubah konfigurasi resource group

Anda dapat mengubah konfigurasi resource group menggunakan Konsol atau dengan menjalankan Pernyataan SQL.

ALTER RESOURCE GROUP <group_name> 
SET CONCURRENCY|CPU_RATE_LIMIT|MEMORY_LIMIT|MEMORY_SHARED_QUOTA|MEMORY_SPILL_RATIO <value>;

ALTER RESOURCE GROUP <group_name> 
SET CPU_MAX_PERCENT|CPU_WEIGHT|CONCURRENCY|MEMORY_LIMIT|MIN_COST <value>;

Tetapkan akun database ke resource group

Anda dapat menetapkan akun database ke resource group menggunakan Konsol atau dengan menjalankan Pernyataan SQL. Untuk informasi tentang cara membuat akun database, lihat Buat dan kelola pengguna.

• Setiap resource group dapat dikaitkan dengan satu atau beberapa akun database, tetapi setiap akun hanya dapat ditetapkan ke satu resource group.

• Secara default, Akun istimewa ditetapkan ke resource group default_group.

• Akun database yang tidak ditetapkan ke resource group mana pun akan secara otomatis ditetapkan ke resource group default_group.

Hapus resource group

Anda dapat menghapus resource group menggunakan Konsol atau dengan menjalankan Pernyataan SQL.

DROP RESOURCE GROUP <group_name>;

Kueri manual informasi pemantauan resource group

V6.0

SELECT * FROM gp_toolkit.gp_resgroup_status;

Tabel berikut menjelaskan bidang yang dikembalikan.

V7.0

Kueri waktu antrian dan jumlah antrian

SELECT * FROM gp_toolkit.gp_resgroup_status;

Tabel berikut menjelaskan bidang yang dikembalikan.

Kueri penggunaan CPU dan memori

SELECT * FROM gp_toolkit.gp_resgroup_status_per_host;

Tabel berikut menjelaskan bidang yang dikembalikan.

Nonaktifkan manajemen resource group

Jika Anda perlu mengganti mode manajemen sumber daya kembali ke resource queues, Anda dapat menonaktifkan manajemen resource group di Konsol. Proses ini melibatkan restart instans, yang akan tidak tersedia selama sekitar 5 menit. Rencanakan operasi ini pada jam sepi untuk menghindari gangguan pada bisnis Anda. Ikuti langkah-langkah berikut:

1. Masuk ke Konsol AnalyticDB for PostgreSQL.

2. Di pojok kiri atas Konsol, pilih wilayah tempat instans berada.

3. Temukan instans target dan klik ID instans tersebut.

4. Di panel navigasi sebelah kiri, klik Workload Management, lalu klik Disable Resource Group Management.