Gunakan kelompok sumber daya arsitektur tanpa server - DataWorks

Kelompok sumber daya arsitektur tanpa server menggabungkan kemampuan kelompok sumber daya eksklusif untuk penjadwalan, Data Integration, dan DataService Studio. Panduan ini menjelaskan cara membuat, mengonfigurasi, mengikat, memantau, dan mengelola kelompok sumber daya arsitektur tanpa server.

Penting

Pastikan Anda telah membaca Manajemen kelompok sumber daya dan memahami konsep inti serta manfaat kelompok sumber daya arsitektur tanpa server.

Prasyarat

Izin:
- Izin pembelian: Lampirkan kebijakan AliyunBSSOrderAccess dan AliyunDataWorksFullAccess ke akun Anda.
  Anda juga memerlukan izin AliyunVPCReadOnlyAccess untuk membaca informasi VPC.
- Izin manajemen: Hanya Administrator Ruang Kerja dari ruang kerja DataWorks yang dituju yang dapat mengasosiasikan atau mengubah kelompok sumber daya.
  Jika Anda tidak yakin cara memberikan izin, lihat Lihat izin Pengguna RAM dan Berikan izin kepada Pengguna RAM. Untuk informasi tentang kontrol izin operasi kelompok sumber daya lainnya, lihat Kebijakan kustom yang digunakan untuk mengelola izin entitas di Konsol DataWorks.
Perencanaan lingkungan dan jaringan:
- Konsistensi wilayah: Kelompok sumber daya harus berada di wilayah yang sama dengan ruang kerja DataWorks Anda.
- Perencanaan VPC: Kelompok sumber daya arsitektur tanpa server bergantung pada VPC. Pastikan Anda telah menyiapkan VPC dan vSwitch.
  Penting
  - Hindari mengubah VPC dan vSwitch yang telah diikat, karena hal ini dapat menyebabkan kegagalan tugas.
  - Kelompok sumber daya arsitektur tanpa server tidak mendukung VPC yang menggunakan blok CIDR 21. Alamat IP dalam rentang 21.0.X.X hingga 21.255.XXX.XXX tidak dapat digunakan.
- Konektivitas jaringan: Konfigurasikan konektivitas jaringan agar kelompok sumber daya dapat mengakses sumber data.
  Penting
  Secara default, kelompok sumber daya arsitektur tanpa server tidak memiliki akses internet. Untuk mengakses sumber data melalui internet, konfigurasikan Internet NAT Gateway dan EIP untuk VPC yang diikat ke kelompok sumber daya arsitektur tanpa server.

Buat kelompok sumber daya arsitektur tanpa server

Buka halaman Kelompok Sumber Daya.
Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, klik Resource Group untuk membuka halaman Kelompok Sumber Daya.

Klik Create Resource Group dan konfigurasikan parameter berikut:

Jika Anda menggunakan versi lama, operasi ini dilakukan di tab Exclusive Resource Groups.

Parameter	Deskripsi
Region and Zone	Pilih wilayah tempat ruang kerja DataWorks Anda berada.
Billing Mode	Mode yang tersedia mencakup langganan prabayar (Subscription) dan bayar sesuai penggunaan (pay-as-you-go). Pay-as-you-go: Ideal untuk pengujian atau beban kerja yang fluktuatif. Tidak ada biaya saat idle. Mendukung Konversi pay-as-you-go ke Subscription. Penting Pay-as-you-go Max CU: Batas spesifikasi total untuk satu kelompok sumber daya pay-as-you-go adalah 500 CUs. Subscription: Terbaik untuk beban kerja produksi jangka panjang yang stabil. Menawarkan biaya lebih rendah. Konversi dari Subscription ke pay-as-you-go tidak didukung. Anda dapat membeli beberapa kelompok sumber daya dengan metode penagihan berbeda untuk memenuhi kebutuhan bisnis Anda.
Resource Group Specifications	Untuk penagihan langganan, konfigurasikan spesifikasi kelompok sumber daya. Pembelian minimum adalah 2 CUs, dengan peningkatan penskalaan sebesar 1 CU. `1 CU = 1 CPU Core + 4 GiB Memory`. Untuk saran pembelian spesifik dan persyaratan spesifikasi minimum untuk menjalankan berbagai tugas, lihat Metrik kinerja.
VPC	Pilih VPC dan vSwitch untuk koneksi kelompok sumber daya. Jika tidak ada opsi yang tersedia di daftar drop-down, buka Konsol VPC untuk membuatnya. Untuk informasi lebih lanjut tentang VPC, lihat Apa itu VPC?. Sumber data dan kelompok sumber daya arsitektur tanpa server berada di akun dan wilayah yang sama: Konfigurasikan VPC dan vSwitch tempat sumber data berada. Sumber data berada di lingkungan jaringan kompleks lainnya: Anda perlu menghubungkan VPC yang diikat ke kelompok sumber daya arsitektur tanpa server dengan VPC tempat sumber data berada menggunakan VPN Gateway atau Express Connect. Untuk detailnya, lihat Solusi konektivitas jaringan. Penting Anda dapat mengikat beberapa VPC ke satu kelompok sumber daya. VPC tambahan dapat ditambahkan setelah pembelian. Jika metode penagihan kelompok sumber daya adalah Subscription, VPC yang dikonfigurasi di sini diterapkan untuk DataService Studio, perhitungan data, dan integrasi data. Anda tidak dapat mengikat VPC baru atau mengubah VPC untuk DataService Studio nanti. Harap rencanakan terlebih dahulu.
vSwitch
Billing Cycle	Saat metode penagihan adalah Subscription, Anda perlu mengatur siklus penagihan. Penting Kami menyarankan memilih Auto-renewal untuk mencegah gangguan layanan akibat kedaluwarsa. Jika dipilih, Siklus Perpanjangan Otomatis Terpadu adalah bulanan, dan biaya akan dipotong secara otomatis berdasarkan harga real-time sebelum instans kedaluwarsa.
Service Linked Role	Untuk pembelian pertama, buat peran terkait layanan (AliyunServiceRoleForDataWorks). Pembelian selanjutnya akan secara otomatis menggunakan peran ini. Peran ini digunakan untuk mengakses sumber daya VPC, elastic network interfaces (ENIs), dan grup keamanan. Jika Anda melihat prompt `Please create AliyunServiceRoleForDataWorks`, berikan URL otorisasi ini kepada pemilik akun utama atau pengguna dengan izin yang cukup untuk memberikan otorisasi, lalu lanjutkan.

Konfigurasikan dan gunakan kelompok sumber daya

1. Kaitkan dengan ruang kerja

Anda harus mengasosiasikan kelompok sumber daya dengan ruang kerja sebelum menggunakannya dalam tugas.

Asosiasikan kelompok sumber daya saat membuat ruang kerja
1. Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, klik Workspace untuk membuka halaman Ruang Kerja.
2. Klik Create Workspace. Di halaman Create Workspace, atur parameter Default Resource Group of DataWorks Workspace di pengaturan lanjutan ke kelompok sumber daya baru Anda.
Asosiasikan kelompok sumber daya dengan ruang kerja yang sudah ada
1. Buka halaman Kelompok Sumber Daya.
  Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, klik Resource Group untuk membuka halaman Kelompok Sumber Daya.
2. Klik Associate Workspace di kolom Actions kelompok sumber daya yang dituju. Temukan ruang kerja yang diinginkan dan klik Associate di kolom Actions.

2. Konfigurasikan konektivitas jaringan

Konfigurasikan konektivitas jaringan agar dapat mengakses sumber data. Secara default, kelompok sumber daya arsitektur tanpa server tidak memiliki akses internet arah keluar.

Skenario 1: Akses sumber data di VPC (misalnya, RDS, database yang dikelola sendiri di ECS)

Pastikan kelompok sumber daya dan sumber data berada di VPC yang sama, atau hubungkan melalui CEN atau Peering VPC.

Skenario 2: Akses alamat publik

Untuk mengaktifkan akses internet, konfigurasikan NAT Gateway dan EIP untuk VPC yang diikat ke kelompok sumber daya.

Skenario 3: Akses IDC lokal

Anda perlu menghubungkan jaringan VPC dan IDC Anda menggunakan VPN Gateway atau Express Connect.

Untuk skenario jaringan yang lebih kompleks, lihat Solusi konektivitas jaringan.

3. Gunakan dalam tugas

Tetapkan kelompok sumber daya arsitektur tanpa server ke tugas integrasi data, penjadwalan, dan layanan data Anda.

Untuk tugas Data Integration: Di bagian Resource Group tugas sinkronisasi, pilih kelompok sumber daya arsitektur tanpa server yang telah Anda buat.
Untuk tugas pengembangan data (Shell, Python, dll.): Di tab konfigurasi node di sebelah kanan, navigasikan ke Scheduling > Scheduling Policies > Resource Group dan pilih kelompok sumber daya arsitektur tanpa server Anda.
Untuk API DataService Studio: Di panel konfigurasi API di sebelah kanan, pilih kelompok sumber daya arsitektur tanpa server Anda di bidang Resource Group.

Untuk melihat semua kelompok sumber daya yang terlibat, lihat Referensi umum: Ubah kelompok sumber daya yang digunakan oleh tugas.

O&M dan pemantauan

Tetapkan kuota CU untuk tugas

Atur batas Maximum CUs atau Minimum CUs untuk jenis tugas tertentu.

Konfigurasikan Maximum CUs untuk kelompok sumber daya pay-as-you-go guna mencegah penggunaan sumber daya berlebihan.
Konfigurasikan Minimum CUs untuk kelompok sumber daya subscription guna menetapkan kuota minimum yang dijamin.

Operasi: Di halaman daftar kelompok sumber daya, temukan kelompok yang dituju, klik > Manage Quota di kolom Actions, lalu sesuaikan nilai Maximum CUs atau Minimum CUs untuk jenis penggunaan tertentu.

Alternatifnya, klik Resource Group Name untuk masuk ke halaman detail. Klik Quota Management di pojok kanan atas untuk mengubah nilai-nilai tersebut.

Penting

Saran CU per tugas: Untuk tugas komputasi (misalnya, Python, Notebook, PyODPS), kami menyarankan mengalokasikan maksimal 16 CUs per tugas (batas maksimum 64 CUs) demi kinerja startup dan stabilitas optimal. Untuk tugas sinkronisasi (kecuali sinkronisasi real-time), alokasi maksimum adalah 16 CUs per tugas.

Sesuaikan batas konkurensi penjadwalan

Anda dapat mengatur batas konkurensi secara manual untuk mengontrol jumlah maksimum tugas simultan. Pengaturan ini membatasi jumlah tugas yang sedang berjalan tetapi tidak memengaruhi logika eksekusi internal tugas individual. Satu kelompok sumber daya dapat menjalankan hingga 50 tugas penjadwalan secara bersamaan secara default, dan dapat disesuaikan hingga maksimum 200.

Operasi: Di halaman daftar kelompok sumber daya, klik > Specify Threshold for Parallel Threads of Data Scheduling di kolom Actions kelompok sumber daya yang dituju. Lalu, ubah nilainya.

Alternatifnya, klik Resource Group Name untuk masuk ke halaman detail. Klik Specify Threshold for Parallel Threads of Data Scheduling di pojok kanan atas untuk mengubah nilai tersebut.

Lihat pemanfaatan kelompok sumber daya

Jika kelompok sumber daya Subscription mengalami beban tinggi, tugas baru mungkin masuk antrian karena kurangnya CU. Anda dapat memantau tugas yang sedang berjalan, pemanfaatan saat ini, tren penggunaan historis, dan konsumsi sumber daya per tugas.

Operasi: Di halaman daftar kelompok sumber daya, periksa kolom Used CUs untuk kelompok sumber daya yang dituju.

Anda juga dapat mengklik Resource Group Name untuk masuk ke halaman detail. Gunakan kurva Resource Usage untuk meninjau data historis dan memeriksa detail tugas yang sedang berjalan atau dalam antrian untuk setiap skenario.

Skalakan kelompok sumber daya

Jika pemanfaatan secara konsisten tinggi, skalakan kelompok sumber daya Subscription untuk meningkatkan kinerja. Sebaliknya, jika penggunaan rendah, skalakan masuk untuk mengurangi biaya.

Di daftar kelompok sumber daya, klik > Scale Out atau Scale In di kolom Actions.
Penting
Penskalaan masuk dapat menyebabkan degradasi kinerja. Evaluasi dengan hati-hati sebelum melanjutkan.
Di halaman penskalaan, sesuaikan Resource Group Specifications, terima Terms of Service, lalu klik Buy Now.

Manajemen biaya

Bekukan dan aktifkan pay-as-you-go

Bekukan kelompok sumber daya arsitektur tanpa server pay-as-you-go: Sistem secara otomatis membekukan kelompok sumber daya pay-as-you-go setelah 7 hari tidak aktif. Anda dapat melihat statusnya di halaman daftar kelompok sumber daya. Kelompok sumber daya dianggap tidak aktif jika:
- Tugas penjadwalan: Tidak ada tugas penjadwalan yang berjalan.
- Tugas perhitungan data: Tidak ada tugas komputasi yang dieksekusi.
- Tugas Data Integration: Tidak ada tugas integrasi data yang berjalan.
- Kueri analisis data: Tidak ada kueri analisis data yang dieksekusi.
- Pengujian konektivitas: Tidak ada pengujian konektivitas yang dilakukan.
- Pengumpulan metadata: Tidak ada tugas pengumpulan metadata yang berjalan.
- Lingkungan pengembangan pribadi: Kelompok sumber daya tidak mendukung lingkungan pengembangan pribadi.
- Layanan data: Kelompok sumber daya tidak mendukung layanan data.
- Layanan model besar: Kelompok sumber daya tidak mendukung layanan model besar.
Aktifkan kembali kelompok sumber daya arsitektur tanpa server yang dibekukan: Untuk mengaktifkan kembali kelompok sumber daya arsitektur tanpa server yang dibekukan, temukan di daftar lalu klik > Start di kolom Actions.

Konversi pay-as-you-go ke Subscription

Anda dapat mengonversi kelompok sumber daya arsitektur tanpa server pay-as-you-go menjadi Subscription. Setelah konversi, penagihan beralih ke tarif Subscription.

Di daftar kelompok sumber daya, klik tombol di kolom Actions kelompok sumber daya yang dituju, lalu pilih Billing Type Conversion.
Di kotak dialog, sesuaikan Destination Instance Type dan Duration sesuai kebutuhan.
Klik OK untuk melanjutkan ke halaman checkout dan Subscribe.

Penting

Konversi dari pay-as-you-go ke Subscription memerlukan waktu sekitar 1 hingga 2 menit. Tugas yang sedang berjalan tidak terpengaruh.

Perpanjangan dan berhenti berlangganan

Jika status kelompok sumber daya adalah Expired di tampilan daftar, klik > Renew di kolom Actions.

Untuk berhenti berlangganan kelompok sumber daya arsitektur tanpa server, klik > Unsubscribe di kolom Actions. Untuk detailnya, lihat Referensi umum: Berhenti menggunakan DataWorks.

FAQ

T: Apakah ada pembatasan wilayah untuk pembelian?

J: Ya, batasannya sebagai berikut:

Jika menggunakan kelompok sumber daya arsitektur tanpa server tujuan umum di lingkungan operator virtual, verifikasi ketersediaan dengan penyedia Anda.
Pembelian tidak didukung di wilayah Thailand (Bangkok).

T: Bagaimana kelompok sumber daya arsitektur tanpa server dapat mengakses hostname?

J: Kelompok sumber daya arsitektur tanpa server tidak mendukung resolusi hostname langsung (modifikasi /etc/hosts). Anda harus menggunakan Private DNS (PrivateZone) untuk resolusi hostname.

Aktifkan Private DNS.
Catatan
Jika sudah diaktifkan, lewati langkah ini.
Tambahkan Zona.
Misalnya, untuk meresolusi hostname header-1-cn-shanghai, konfigurasikan resolusi otoritatif untuk domain header-1-cn-shanghai. Sesuaikan parameter ini berdasarkan hostname spesifik Anda.
Tambahkan catatan resolusi.
Atur Record Value ke Private IP Address host yang diikat ke domain tersebut.
Konfigurasikan cakupan resolusi.
Pilih VPC yang diikat ke kelompok sumber daya Anda sebagai cakupan.

Referensi

Gunakan fitur pemantauan cerdas di Operation Center untuk melacak pemanfaatan kelompok sumber daya dan jumlah instans yang tertunda. Untuk detailnya, lihat Buat aturan kustom.
Jika tugas memerlukan lingkungan tertentu (misalnya, dependensi pihak ketiga), buat custom image yang berisi paket yang diperlukan. Tetapkan gambar ini sebagai lingkungan runtime saat mengonfigurasi tugas di kelompok sumber daya arsitektur tanpa server.