Topik ini menjelaskan cara membuat dan mengelola kelompok sumber daya di AnalyticDB for MySQL, mencakup penagihan, pembuatan, modifikasi, penghapusan, dan pemantauannya.
Batasan
Kluster Data Warehouse Edition harus memenuhi semua persyaratan berikut:
-
Kluster berjalan dalam Elastic mode.
-
Kluster memiliki 32 core atau lebih untuk sumber daya komputasi.
-
Versi kernel adalah 3.1.3.2 atau lebih baru.
CatatanUntuk melihat dan memperbarui versi minor, buka bagian Configuration Information pada halaman Cluster Information di AnalyticDB for MySQL console.
Penagihan
Enterprise, Basic, dan Data Lakehouse
-
Kelompok sumber daya Interactive dan Job ditagih berdasarkan sumber daya elastis yang dikonsumsi, diukur dalam ACU.
-
Untuk kelompok sumber daya AI dengan tipe deployment Ray Cluster:
-
Jika Worker Resource Type dan Head Node Resource Type diatur ke CPU, kelompok sumber daya AI ditagih berdasarkan ACU dari sumber daya elastis yang dikonsumsi.
-
Jika Worker Resource Type dan Head Node Resource Type diatur ke GPU, kelompok sumber daya AI ditagih berdasarkan spesifikasi dan jumlah GPU.
-
Worker Disk Storage dan Head disk space ditagih berdasarkan ukuran penyimpanan yang dikonfigurasi.
-
Anda dapat melihat jumlah sumber daya elastis yang digunakan oleh kelompok sumber daya dengan cara berikut:
-
Untuk kluster Enterprise Edition dan Basic Edition: Pada halaman Cluster Management > Resource management > Resource Overview, Anda dapat melihat total dan sumber daya yang dicadangkan yang digunakan oleh semua kelompok sumber daya. Penggunaan sumber daya elastis adalah selisih antara total dan sumber daya yang dicadangkan.
-
Untuk kluster Data Lakehouse Edition: Pada halaman Cluster Management > Resource management > Resource Overview, Anda dapat melihat total dan sumber daya komputasi yang dicadangkan yang digunakan oleh semua kelompok sumber daya. Penggunaan sumber daya elastis adalah selisih antara total dan sumber daya komputasi yang dicadangkan.
Data warehouse edition
Biaya kelompok sumber daya sudah termasuk dalam biaya sumber daya komputasi Anda. Anda hanya dikenai biaya untuk sumber daya komputasi yang digunakan.
Buat kelompok sumber daya
Enterprise, Basic, dan Data Lakehouse
Secara default, setiap kluster memiliki satu kelompok sumber daya Interactive (user_default). Untuk kluster yang baru dibeli dengan versi kernel 3.2.2.8 atau lebih baru, satu kelompok sumber daya Job (serverless) juga dibuat secara default. Jika tidak ada kelompok sumber daya lain, semua kueri XIHE dijalankan di kelompok sumber daya user_default, dan semua pekerjaan Spark (termasuk Spark Jar dan Spark SQL) dijalankan di kelompok sumber daya serverless. Untuk mengisolasi sumber daya kueri, Anda harus membuat kelompok sumber daya tambahan.
Masuk ke AnalyticDB for MySQL console. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
-
Di panel navigasi sebelah kiri, pilih Cluster Management > Resource Management, lalu klik tab Resource Groups. Di pojok kanan atas daftar kelompok sumber daya, klik Create Resource Group.
-
Masukkan nama untuk kelompok sumber daya dan pilih Job Type.
-
Pilih Interactive untuk workload online yang memerlukan QPS tinggi dan latensi rendah.
Kelompok sumber daya Interactive menggunakan sumber daya komputasi resident dan menjalankan kueri dalam mode MPP untuk memberikan respons dalam hitungan milidetik.
-
Pilih Job untuk workload offline yang memerlukan throughput tinggi.
Kelompok sumber daya Job menyediakan sumber daya komputasi temporary untuk menjalankan kueri dalam mode BSP, dengan waktu respons dalam hitungan detik atau menit. Jumlah sumber daya yang disediakan berkisar dari 0 ACU hingga batas maksimum kelompok, tergantung pada ukuran tugas yang sedang berjalan.
-
Pilih AI untuk workload komputasi heterogen.
Kelompok sumber daya AI mendukung komputasi heterogen dengan GPU dan CPU serta berbagai tipe deployment seperti model MLSQL dan komputasi yang dikelola Ray.
PentingAnda tidak dapat mengubah tipe tugas setelah kelompok sumber daya dibuat.
-
-
Properti yang dapat dikonfigurasi bergantung pada tipe tugas yang Anda pilih. Setelah mengatur properti, klik OK.
Properti kelompok sumber daya Interactive
Parameter
Deskripsi
Engine
-
XIHE: Kelompok sumber daya hanya dapat menjalankan kueri SQL XIHE.
-
Spark: Kelompok sumber daya hanya dapat menjalankan pekerjaan Spark SQL, yang diproses dalam mode interaktif.
PentingAnda tidak dapat mengubah engine setelah kelompok sumber daya dibuat.
Automatic Stop
Jika kelompok sumber daya Interactive tidak aktif selama periode tertentu, kluster yang berjalan akan dilepas secara otomatis.
Fitur ini mengurangi biaya dengan mencegah pemborosan sumber daya, tetapi memulai ulang sumber daya untuk kueri berikutnya menimbulkan penundaan.
PentingParameter ini tersedia hanya jika Engine diatur ke Spark.
-
Jika Engine adalah XIHE: Ukuran satu kluster dalam ACU. Nilai minimum adalah 16 ACU.
-
Jika Engine adalah Spark: Ukuran satu kluster, yaitu jumlah ACU yang dialokasikan untuk aplikasi Spark. Nilai minimum adalah 24 ACU. Setiap kelompok sumber daya Spark Interactive dapat menjalankan beberapa aplikasi Spark. Pengaturan Minimum Clusters dan Maximum Clusters menentukan jumlah aplikasi Spark yang dapat dijalankan dalam kelompok sumber daya.
Untuk informasi tentang pemetaan antara ukuran kluster dan spesifikasi Spark Driver/Executor, lihat Lampiran: Pemetaan antara ukuran kluster dan spesifikasi Spark Driver serta Spark Executor.
Minimum Clusters
Maximum Clusters
Minimum Clusters: Jumlah minimum kluster yang harus berjalan dalam kelompok sumber daya. Nilai minimum adalah 1.
Maximum Clusters: Jumlah maksimum kluster yang dapat diskalakan oleh kelompok sumber daya. Nilai maksimum adalah 10.
Jika Minimum Clusters dan Maximum Clusters berbeda, AnalyticDB for MySQL secara dinamis menskalakan jumlah kluster dalam rentang ini berdasarkan beban kueri.
Jika Minimum Clusters dan Maximum Clusters sama, AnalyticDB for MySQL menjalankan jumlah kluster tetap, sehingga Anda memiliki kendali statis atas total sumber daya komputasi kelompok tersebut.
CatatanJika Minimum Clusters atau Maximum Clusters bernilai 2 atau lebih, fitur Multi-Cluster diaktifkan untuk kelompok sumber daya tersebut. Untuk informasi lebih lanjut, lihat Model elastis Multi-Cluster.
Job Resubmission Rules
Mengarahkan kueri yang melebihi Query Execution Time Threshold ke Target Resource Group yang ditentukan. Untuk informasi lebih lanjut, lihat Job resubmission.
PentingParameter ini tersedia hanya jika Engine diatur ke XIHE.
Spark Configuration
Mengatur parameter konfigurasi untuk semua pekerjaan Spark dalam kelompok sumber daya ini. Untuk mengonfigurasi pekerjaan tertentu, atur parameternya dalam kode pengiriman.
Untuk informasi lebih lanjut tentang parameter konfigurasi Spark, lihat Parameter konfigurasi aplikasi Spark.
PentingParameter ini tersedia hanya jika Engine diatur ke Spark.
Properti kelompok sumber daya Job
Parameter
Deskripsi
Minimum Computing Resources
Nilai minimum adalah 0 ACU.
PentingSumber daya komputasi minimum tidak dapat diubah setelah kelompok sumber daya dibuat.
Maximum Computing Resources
Di konsol, Anda dapat mengatur sumber daya komputasi maksimum hingga 1.024 ACU dengan kenaikan 8 ACU. Untuk meminta batas yang lebih tinggi, Anda dapat membuat tiket.
Spot Instance
Menentukan apakah akan mengaktifkan spot instans.
Jika Anda mengaktifkan opsi ini, pekerjaan Spark yang berjalan di kelompok sumber daya Job akan mencoba menggunakan sumber daya spot instans. Untuk informasi lebih lanjut, lihat Spot instances.
Spark Configuration
Mengatur parameter konfigurasi untuk semua pekerjaan Spark dalam kelompok sumber daya ini. Untuk mengonfigurasi pekerjaan tertentu, atur parameternya dalam kode pengiriman.
Untuk informasi lebih lanjut tentang parameter konfigurasi Spark, lihat Parameter konfigurasi aplikasi Spark.
Kelompok sumber daya AI
Parameter
Deskripsi
Deployment Mode
Pilih RayCluster.
Head Node Resource Type
Mendukung tipe CPU dan GPU.
-
CPU: Gunakan untuk tugas komputasi rutin, multitasking, atau operasi logika kompleks. Kami merekomendasikan menggunakan tipe CPU untuk lingkungan produksi.
-
GPU: Gunakan untuk pemrosesan data paralel skala besar, pembelajaran mesin, atau pelatihan pembelajaran mendalam. Di lingkungan pengembangan dan pengujian, Anda dapat memilih tipe GPU jika memerlukan sumber daya GPU tanpa membuat node pekerja.
Head Resource Specifications
-
Jika Head Resource Specifications adalah CPU, Anda dapat memilih spesifikasi seperti small, m.xlarge, dan m.2xlarge. Jumlah core CPU untuk setiap spesifikasi sama dengan spesifikasi sumber daya Spark. Untuk informasi lebih lanjut, lihat Daftar spesifikasi sumber daya Spark.
-
Jika Head Resource Specifications adalah GPU, hubungi dukungan teknis untuk bantuan pemilihan model karena keterbatasan model dan inventaris GPU.
PentingNode head terutama menangani penjadwalan tugas. Pilih spesifikasi berdasarkan skala keseluruhan Ray Cluster Anda.
Head disk space
Digunakan untuk menyimpan log Ray, data sementara, dan data objek yang di-spill. Satuan: GB. Rentang: 30 hingga 2.000. Default: 100.
PentingDisk ini hanya untuk penyimpanan sementara. Jangan gunakan untuk data jangka panjang.
Allocation Unit
Jumlah GPU yang dialokasikan per node head. Misalnya, nilai 1/3 mengalokasikan sepertiga GPU untuk setiap node head.
PentingParameter ini wajib hanya jika Head Resource Specifications adalah GPU.
Worker Group Name
Nama kustom untuk Worker Group. Kelompok sumber daya AI dapat memiliki beberapa Worker Group dengan nama berbeda.
Worker Resource Type
Mendukung tipe CPU dan GPU.
-
Jika workload Anda melibatkan tugas komputasi rutin, multitasking, atau operasi logika kompleks, kami merekomendasikan CPU.
-
Jika workload Anda melibatkan pemrosesan data paralel skala besar, pembelajaran mesin, atau pelatihan pembelajaran mendalam, kami merekomendasikan GPU.
Worker Resource Specifications
-
Jika Worker Resource Type adalah CPU, Anda dapat memilih spesifikasi seperti small, m.xlarge, dan m.2xlarge. Jumlah core CPU untuk setiap spesifikasi sama dengan spesifikasi sumber daya Spark. Untuk informasi lebih lanjut, lihat Daftar spesifikasi sumber daya Spark.
-
Jika Worker Resource Type adalah GPU, buat tiket untuk menghubungi dukungan teknis guna mendapatkan bantuan pemilihan model karena keterbatasan model dan inventaris GPU.
Worker Disk Storage
Digunakan untuk menyimpan log Ray, data sementara, dan data objek yang di-spill. Satuan: GB. Rentang: 30 hingga 2.000. Default: 100.
PentingDisk ini hanya untuk penyimpanan sementara. Jangan gunakan untuk data jangka panjang.
Minimum Workers
Maximum Workers
Minimum Workers: Jumlah minimum pekerja yang harus berjalan dalam Worker Group. Nilai minimum adalah 0.
Maximum Workers: Jumlah maksimum pekerja yang dapat berjalan dalam Worker Group. Nilai maksimum adalah 8.
Worker Group mendukung auto-scaling, dan setiap Worker Group dapat diskalakan secara independen. Jika jumlah pekerja minimum dan maksimum berbeda, AnalyticDB for MySQL menskalakan jumlah pekerja dalam rentang ini berdasarkan beban tugas. Untuk kluster dengan beberapa Worker Group, sistem secara otomatis memilih grup yang paling sesuai untuk suatu tugas, mencegah grup individual menjadi kelebihan beban atau menganggur.
Allocation Unit
Jumlah GPU yang dialokasikan per node pekerja. Misalnya, nilai 1/3 mengalokasikan sepertiga GPU untuk setiap node pekerja.
PentingParameter ini wajib hanya jika Worker Resource Type adalah GPU.
-
Data warehouse edition
Masuk ke AnalyticDB for MySQL console. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola dan klik ID kluster tersebut.
-
Di panel navigasi sebelah kiri, klik Resource Groups.
-
Pada halaman Resource Groups, klik Create Resource Group di pojok kanan atas daftar kelompok sumber daya.
-
Konfigurasikan kelompok sumber daya.
Parameter
Deskripsi
Resource Group Name
Nama kustom untuk kelompok sumber daya. Nama harus terdiri dari 2 hingga 30 karakter, dimulai dengan huruf, dan hanya boleh berisi huruf, angka, dan garis bawah (_).
Query Type
Tipe kueri SQL umum untuk kelompok sumber daya ini. Untuk informasi lebih lanjut, lihat Mode eksekusi kueri.
-
Default_Type: Tipe kueri default.
-
Batch: Cocok untuk kueri kompleks pada dataset besar, seperti kueri Extract-Transform-Load (ETL). Hasil antara dapat ditulis ke disk, yang mungkin mengurangi performa kueri pada dataset besar tetapi mencegah node komputasi gagal karena volume data yang berlebihan.
-
Interactive: Cocok untuk kueri analitis real-time yang memerlukan latensi rendah. Ini adalah tipe kueri interaktif berbasis memori yang cepat. Menawarkan performa kueri tinggi, tetapi kueri mungkin gagal jika volume data melebihi kapasitas pemrosesan mesin.
Resource Amount
Jumlah sumber daya komputasi yang dialokasikan untuk kelompok tersebut.
-
-
Klik OK untuk membuat kelompok sumber daya.
Ubah kelompok sumber daya
Enterprise, Basic, dan Data Lakehouse
Properti yang dapat diubah
-
Untuk kelompok sumber daya kustom (kelompok sumber daya yang Anda buat), Anda dapat mengubah properti berikut:
-
Untuk kelompok sumber daya Interactive: Auto Stop, Cluster size, Minimum clusters, Maximum clusters, Job resubmission rule, dan Spark configuration.
-
Untuk kelompok sumber daya Job: Maximum computing resources, Spot instance, dan Spark configuration.
-
Untuk kelompok sumber daya AI (tipe deployment Ray Cluster): Head resource specifications, Worker resource type, Worker resource specifications, Worker disk space, Minimum workers, dan Maximum workers.
Properti lain tidak dapat diubah, termasuk Resource Group Name, Task type, Engine untuk kelompok sumber daya Interactive, Minimum computing resources untuk kelompok sumber daya Job, serta Deployment Type dan Worker Group Name untuk kelompok sumber daya AI.
-
-
Untuk kelompok sumber daya default (bernama
user_defaultdanserverless):-
Untuk Enterprise Edition dan Basic Edition, Anda hanya dapat mengubah job resubmission rule untuk kelompok sumber daya
user_default. Kelompok sumber dayaserverlesstidak dapat diubah. -
Untuk Data Lakehouse Edition, Anda dapat mengubah Reserved Computing Resources dan job resubmission rule untuk kelompok sumber daya
user_default. Kelompok sumber dayaserverlesstidak dapat diubah.
-
Prosedur
-
Pada halaman Resource Groups, temukan kelompok sumber daya target dan klik Modify di kolom Actions.
-
Di panel Modify Resource Group, ubah properti dan klik OK.
Perubahan berlaku ketika status kelompok sumber daya menjadi "Running".
Data warehouse edition
Properti yang dapat diubah
Setelah kelompok sumber daya dibuat, Anda dapat mengubah tipe kueri atau jumlah sumber dayanya.
-
Untuk kelompok sumber daya default (bernama
user_default), Anda hanya dapat mengubah tipe kueri. Anda tidak dapat mengubah jumlah sumber daya secara manual.CatatanJumlah sumber daya untuk kelompok sumber daya default dihitung sebagai: Total sumber daya kluster dikurangi sumber daya yang digunakan oleh semua kelompok sumber daya lain dalam kluster.
-
Untuk kelompok sumber daya kustom (kelompok sumber daya yang Anda buat), Anda dapat mengubah baik tipe kueri maupun jumlah sumber dayanya.
Prosedur
-
Pada halaman Resource Groups, temukan kelompok sumber daya target dan klik Modify di kolom Actions.
-
Ubah Query Type atau Resource Amount sesuai kebutuhan.
-
Setelah selesai, klik OK.
Perubahan jumlah sumber daya kelompok sumber daya AnalyticDB for MySQL berlaku segera.
Hapus kelompok sumber daya
Kelompok sumber daya default (user_default dan serverless) tidak dapat dihapus.
Dampak penghapusan
-
Menghapus kelompok sumber daya akan menginterupsi tugas apa pun yang sedang berjalan di dalamnya.
-
Jika kelompok sumber daya yang dihapus ditentukan dalam skrip SQL XIHE atau pekerjaan Spark, Anda harus memperbarui kode untuk menargetkan kelompok baru. Jika tidak, pekerjaan SQL XIHE akan berjalan di kelompok sumber daya default, dan pekerjaan Spark akan gagal.
Prosedur
Pada halaman Resource Groups, temukan kelompok sumber daya target dan klik Delete di kolom Actions. Di kotak dialog konfirmasi, klik OK untuk menghapus kelompok sumber daya.
Pantau penggunaan sumber daya
Anda dapat melihat penggunaan sumber daya tingkat kluster, sumber daya dan beban tingkat kelompok sumber daya, serta konsumsi sumber daya tingkat pekerjaan. Untuk deskripsi detail setiap metrik pemantauan, lihat Pemantauan kelompok sumber daya.
Sumber daya cadangan dan elastis kluster
-
Untuk kluster Enterprise Edition dan Basic Edition: Pada halaman Cluster Management > Resource Management > Resource Overview, lihat Total Resources dan Reserved Resources untuk semua kelompok sumber daya dalam kluster pada titik waktu tertentu. Penggunaan sumber daya elastis adalah selisih antara Total Resources dan Reserved Resources.
-
Untuk kluster Data Lakehouse Edition: Pada halaman Cluster Management > Resource Management > Resource Overview, lihat Total Computing Resources dan Reserved Computing Resources untuk semua kelompok sumber daya dalam kluster pada titik waktu tertentu. Penggunaan sumber daya elastis adalah selisih antara Total Computing Resources dan Reserved Computing Resources.
Sumber daya dan beban kelompok sumber daya
Anda dapat melihat sumber daya komputasi yang digunakan oleh satu kelompok sumber daya dan mengevaluasi bebannya dengan memantau metrik seperti kueri yang sedang berjalan dan dalam antrian, engine Spark, serta koneksi.
Pada halaman Cluster Management > Resource Management > Resource Groups, temukan kelompok sumber daya target dan klik Monitoring untuk melihat sumber daya komputasi aktual yang digunakan oleh kelompok sumber daya tersebut.
Konsumsi sumber daya pekerjaan
Halaman Job Usage Statistics menyediakan statistik konsumsi sumber daya untuk pekerjaan berikut: pekerjaan XIHE BSP, pekerjaan Spark, serta tugas sinkronisasi data SLS/Kafka dan migrasi data dari konsol AnalyticDB for MySQL.
Pada halaman Cluster Management > Resource Management > Job Usage Statistics, Anda dapat melihat total, sumber daya yang dicadangkan, sumber daya elastis, dan sumber daya spot instans yang dikonsumsi oleh suatu pekerjaan.
FAQ
Kluster saya memiliki 32 ACU sumber daya yang dicadangkan. Apakah kelompok sumber daya default dan kustom sama-sama mengonsumsi 32 ACU sumber daya yang dicadangkan secara bersamaan?
Untuk kluster Enterprise Edition atau Basic Edition, semua sumber daya yang dicadangkan dialokasikan secara eksklusif ke kelompok sumber daya default user_default. Kelompok sumber daya default serverless dan kelompok sumber daya Job atau Interactive kustom hanya mengonsumsi sumber daya elastis.
Untuk kluster Data Lakehouse Edition, Anda dapat mengalokasikan sumber daya yang dicadangkan ke kelompok sumber daya default user_default, kelompok sumber daya default serverless, dan kelompok sumber daya Job atau Interactive kustom. Jumlah yang dialokasikan ke user_default menjadi batas sumber daya tetapnya. Sisa bagian dari total sumber daya yang dicadangkan kluster kemudian tersedia untuk kelompok lainnya.
API Terkait
Anda dapat menggunakan OpenAPI untuk membuat, mengubah, dan menghapus kelompok sumber daya, atau untuk mengelola binding akun database-nya:
-
Untuk Enterprise Edition, Basic Edition, atau Data Lakehouse Edition, lihat Manajemen kelompok sumber daya.
-
Untuk Data Warehouse Edition, lihat Manajemen kelompok sumber daya.