AnalyticDB：Model penskalaan multi-klaster

Prasyarat

• Klaster Enterprise Edition, Basic Edition, atau Data Lakehouse Edition AnalyticDB for MySQL telah dibuat.

• Versi minor klaster AnalyticDB for MySQL adalah 3.1.10.0 atau yang lebih baru.

  Catatan

  Untuk melihat dan memperbarui versi minor klaster AnalyticDB for MySQL, masuk ke Konsol AnalyticDB for MySQL dan buka bagian Configuration Information pada halaman Cluster Information.

Apa itu grup sumber daya multi-klaster?

Jika fitur multi-klaster dinonaktifkan, hanya satu klaster komputasi yang menjalankan kueri dalam sebuah grup sumber daya. Setelah Anda mengirimkan kueri ke grup sumber daya, kueri tersebut berbagi semua sumber daya komputasi dari grup sumber daya. Jika sejumlah besar kueri dijalankan dalam grup sumber daya, terjadi perebutan sumber daya dan respons kueri melambat. Ketika jumlah kueri konkuren mencapai batas atas, kueri akan dimasukkan ke dalam antrian.

Grup sumber daya multi-klaster terdiri dari satu atau lebih klaster komputasi. Anda dapat mengajukan permohonan untuk sumber daya klaster dari grup sumber daya untuk menangani beban kueri yang berubah secara statis atau dinamis. Node akses menerima kueri pengguna dan menggunakan penyeimbangan beban untuk mengalokasikan kueri ke klaster komputasi yang berbeda dalam grup sumber daya untuk dieksekusi. Klaster komputasi dapat menjalankan kueri secara independen tanpa memengaruhi satu sama lain. Gambar berikut menunjukkan cara grup sumber daya multi-klaster menjalankan kueri.

Grup sumber daya multi-klaster meningkatkan konkurensi kueri kecil dan menengah serta menghilangkan perebutan sumber daya. Namun, grup sumber daya ini tidak dapat mempercepat kueri lambat atau pekerjaan ekstraksi, transformasi, dan pemuatan (ETL).

Keuntungan

Untuk grup sumber daya dengan fitur multi-klaster dinonaktifkan, Anda harus melakukan operasi berikut jika beban kueri meningkat hingga titik di mana Anda memerlukan sumber daya komputasi tambahan untuk memenuhi kebutuhan bisnis:

• Secara manual menyesuaikan jumlah sumber daya komputasi yang tersedia untuk grup sumber daya.

• Jika terjadi perebutan sumber daya antara kueri besar dan kecil yang memengaruhi kecepatan respons kueri kecil, kirimkan kueri besar ke grup sumber daya lainnya.

• Jika beban kueri berkurang dan grup sumber daya memiliki sumber daya komputasi berlebih, kurangi secara manual jumlah sumber daya komputasi yang tersedia untuk grup sumber daya guna mengurangi biaya.

Untuk grup sumber daya dengan fitur multi-klaster diaktifkan, grup sumber daya tersebut terdiri dari beberapa klaster komputasi dengan spesifikasi yang sama. Fitur multi-klaster memberikan keuntungan berikut:

• Dalam mode elastis, Anda tidak perlu secara manual menyesuaikan jumlah sumber daya komputasi yang tersedia untuk grup sumber daya untuk menangani beban kueri yang berfluktuasi. AnalyticDB for MySQL secara otomatis memulai atau mematikan klaster komputasi berdasarkan beban kueri.

• Dalam mode maksimum, Anda dapat menentukan jumlah total sumber daya komputasi yang tersedia untuk grup sumber daya dengan menambah atau mengurangi jumlah klaster komputasi.

• Klaster komputasi saling terisolasi satu sama lain dalam grup sumber daya. Kueri besar hanya memengaruhi klaster komputasi tempat kueri tersebut berada.

Catatan penggunaan

• Model penskalaan multi-klaster hanya cocok untuk grup sumber daya interaktif.

• Anda tidak dapat mengaktifkan fitur multi-klaster untuk grup sumber daya yang dibuat untuk klaster AnalyticDB for MySQL sebelum versi V3.1.10.0. Untuk menggunakan fitur multi-klaster, buatlah grup sumber daya interaktif.

• Anda tidak dapat mengaktifkan fitur multi-klaster (dengan menentukan jumlah maksimum dan minimum klaster komputasi) atau rencana penskalaan sumber daya (termasuk Interactive Resource Group dan Default Proportional Scaling for EIUs) untuk grup sumber daya interaktif yang sama dalam klaster Data Lakehouse Edition.

Aturan penagihan

Setelah Anda mengaktifkan fitur multi-klaster untuk grup sumber daya interaktif, jumlah klaster komputasi dalam grup sumber daya berskala secara elastis. Anda dikenakan biaya berdasarkan sumber daya elastis yang diskalakan. Jumlah sumber daya elastis yang diskalakan dihitung menggunakan rumus berikut: Spesifikasi per klaster komputasi × Jumlah klaster komputasi yang diskalakan. Untuk informasi lebih lanjut, lihat Harga untuk Enterprise Edition dan Basic Edition dan Harga untuk Data Lakehouse Edition.

Mengaktifkan fitur multi-klaster

Anda dapat mengaktifkan fitur multi-klaster saat membuat grup sumber daya atau dengan memodifikasi konfigurasi grup sumber daya yang ada.

1. Masuk ke Konsol AnalyticDB for MySQL. Di sudut kiri atas konsol, pilih wilayah. Di panel navigasi di sebelah kiri, klik Clusters. Temukan klaster yang ingin Anda kelola dan klik ID klaster.

2. Di panel navigasi di sebelah kiri, pilih Cluster Management > Resource Management. Klik tab Resource Groups.

3. Pada tab Resource Groups, klik Create Resource Group atau temukan grup sumber daya yang ingin Anda kelola dan klik Modify di kolom Tindakan.

4. Pastikan bahwa jenis pekerjaan adalah Interactive dan konfigurasikan parameter yang dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   Engine	Mesin database yang digunakan oleh grup sumber daya. Pilih Xihe atau Spark. Xihe: Grup sumber daya hanya mendukung kueri SQL XIHE. Spark: Grup sumber daya hanya mendukung pekerjaan Spark. Pekerjaan Spark dijalankan secara interaktif.
   Cluster Size	Ukuran klaster komputasi tunggal. Satuan: Unit komputasi AnalyticDB (ACU). Nilai minimum adalah 16 ACU.
   Minimum Clusters	Jumlah minimum klaster komputasi yang harus Anda jalankan dalam grup sumber daya. Nilainya harus kurang dari atau sama dengan jumlah maksimum klaster komputasi. Nilai minimum adalah 1. Jika Anda mengatur parameter Minimum Clusters dan Maximum Clusters ke nilai yang berbeda, AnalyticDB for MySQL secara dinamis menyesuaikan jumlah sumber daya komputasi yang tersedia untuk grup sumber daya dalam rentang nilai minimum dan maximum berdasarkan beban kueri. Jika Anda mengatur parameter Minimum Clusters dan Maximum Clusters ke nilai yang sama, nilainya harus lebih besar dari atau sama dengan 2. Setelah grup sumber daya dibuat, AnalyticDB for MySQL memulai klaster komputasi yang ditentukan untuk mengontrol secara statis jumlah total sumber daya komputasi yang tersedia untuk grup sumber daya.
   Maximum Clusters	Jumlah maksimum klaster komputasi yang dapat Anda jalankan dalam grup sumber daya. Nilai maksimum adalah 10. Jika Anda mengatur parameter Minimum Clusters dan Maximum Clusters ke nilai yang berbeda, AnalyticDB for MySQL secara dinamis menyesuaikan jumlah sumber daya komputasi yang tersedia untuk grup sumber daya dalam rentang nilai minimum dan maximum berdasarkan beban kueri. Jika Anda mengatur parameter Minimum Clusters dan Maximum Clusters ke nilai yang sama, nilainya harus lebih besar dari atau sama dengan 2. Setelah grup sumber daya dibuat, AnalyticDB for MySQL memulai klaster komputasi yang ditentukan untuk mengontrol secara statis jumlah total sumber daya komputasi yang tersedia untuk grup sumber daya.
   Spark Configuration	Parameter konfigurasi aplikasi Spark yang dapat diterapkan pada semua pekerjaan Spark yang dijalankan dalam grup sumber daya. Jika Anda ingin mengonfigurasi parameter untuk pekerjaan Spark tertentu, Anda dapat menentukan nilai untuk parameter tersebut di editor kode saat Anda mengirimkan pekerjaan. Catatan Parameter ini hanya tersedia jika Anda mengatur parameter Engine ke Spark.

5. Klik OK.

   Setelah Anda mengaktifkan fitur multi-klaster, Anda dapat melihat nilai parameter Min/Max/Running Clusters grup sumber daya pada tab Resource Groups. Anda juga dapat mengklik Monitor di kolom Actions untuk melihat metrik grup sumber daya.

Dampak dari mengubah jumlah maksimum dan minimum klaster komputasi

Saat Anda mengubah jumlah maksimum dan minimum klaster komputasi, dampak berikut diberlakukan pada jumlah klaster komputasi yang sedang berjalan:

Jika parameter Minimum Clusters dan Maximum Clusters diatur ke nilai yang berbeda:

• Tingkatkan jumlah maksimum klaster komputasi: Jumlah klaster komputasi yang sedang berjalan tidak berubah sampai sumber daya komputasi tambahan diperlukan untuk menangani beban kueri.

• Kurangi jumlah maksimum klaster komputasi: Jika jumlah klaster komputasi yang sedang berjalan lebih besar dari jumlah maksimum klaster komputasi yang ditentukan, AnalyticDB for MySQL tidak akan mengirimkan kueri baru ke klaster komputasi yang berlebih. Setelah kueri yang ada dieksekusi pada klaster komputasi yang berlebih, AnalyticDB for MySQL mematikan klaster komputasi tersebut.

• Tingkatkan jumlah minimum klaster komputasi: AnalyticDB for MySQL memulai klaster komputasi tambahan untuk memenuhi jumlah minimum klaster komputasi yang ditentukan.

• Kurangi jumlah minimum klaster komputasi: Jika jumlah klaster komputasi yang sedang berjalan lebih besar dari jumlah minimum klaster komputasi yang ditentukan, AnalyticDB for MySQL secara berturut-turut memeriksa beban kueri dan mematikan klaster komputasi yang berlebih ketika jumlah sumber daya komputasi lebih dari yang diperlukan untuk menangani beban kueri dalam jendela waktu 5 menit.

Jika parameter Minimum Clusters dan Maximum Clusters diatur ke nilai yang sama:

• Tingkatkan jumlah maksimum dan minimum klaster komputasi: AnalyticDB for MySQL memulai klaster komputasi tambahan untuk memenuhi jumlah maksimum klaster komputasi yang ditentukan.

• Kurangi jumlah maksimum dan minimum klaster komputasi: AnalyticDB for MySQL tidak mengirimkan kueri baru ke klaster komputasi yang berlebih. Setelah kueri yang ada dieksekusi pada klaster komputasi yang berlebih, AnalyticDB for MySQL mematikan klaster komputasi tersebut.

Pemetaan antara ukuran klaster komputasi dan spesifikasi driver dan executor Spark

Jika Anda memilih rasio CPU-memori sumber daya Spark yang berbeda, spesifikasi driver dan executor Spark yang berbeda digunakan. Saat Anda mengaktifkan fitur multi-klaster, Anda dapat menambahkan parameter spark.adb.warehouse.instance.spec ke bagian Spark Configuration untuk menentukan rasio CPU-memori untuk spesifikasi driver dan executor Spark.

Nilai valid untuk parameter spark.adb.warehouse.instance.spec:

• MEMORY (default): menggunakan spesifikasi driver dan executor Spark yang sesuai dengan rasio CPU-memori 1:8.

• GENERAL: menggunakan spesifikasi driver dan executor Spark yang sesuai dengan rasio CPU-memori 1:4.

• COMPUTE: menggunakan spesifikasi driver dan executor Spark yang sesuai dengan rasio CPU-memori 1:2.

Tabel berikut menjelaskan pemetaan antara ukuran klaster komputasi dan spesifikasi driver dan executor Spark.