DataWorks telah meluncurkan kelompok sumber daya serverless yang menggabungkan fungsi inti dari kelompok sumber daya eksklusif untuk penjadwalan, Data Integration, dan DataService Studio. Dokumen ini memandu Anda melalui seluruh proses penggunaan kelompok sumber daya serverless di DataWorks, mulai dari pembuatan dan konfigurasi jaringan hingga binding ke ruang kerja dan manajemen harian.
Pastikan Anda telah membaca Manajemen kelompok sumber daya dan memahami konsep inti serta manfaat kelompok sumber daya serverless.
Prasyarat
-
Anda memiliki izin yang diperlukan untuk kelompok sumber daya:
-
Izin pembelian: Anda memerlukan izin
AliyunBSSOrderAccessdanAliyunDataWorksFullAccess.Izin AliyunVPCReadOnlyAccess juga diperlukan untuk membaca informasi VPC.
-
Izin manajemen: Hanya Administrator Ruang Kerja untuk ruang kerja DataWorks target yang dapat melakukan binding kelompok sumber daya ke ruang kerja tersebut atau mengubah binding-nya.
Tidak yakin cara memberikan izin? Lihat Lihat izin Pengguna RAM dan Kelola izin Pengguna RAM. Untuk informasi tentang kontrol izin operasi kelompok sumber daya lainnya, lihat Kebijakan kontrol izin berbasis objek di konsol.
-
-
Perencanaan lingkungan dan jaringan:
-
Prinsip satu wilayah: Kelompok sumber daya serverless harus berada di wilayah yang sama dengan ruang kerja DataWorks Anda.
-
Perencanaan VPC (Wajib): Kelompok sumber daya serverless memerlukan Virtual Private Cloud (VPC). Anda harus sudah memiliki VPC dan VSwitch yang siap digunakan.
Penting-
Jangan mengubah lingkungan VPC dan VSwitch yang terikat ke kelompok sumber daya serverless. Mengubah lingkungan tersebut dapat menyebabkan tugas di DataWorks gagal.
-
Kelompok sumber daya serverless tidak mendukung VPC yang menggunakan alamat IP dalam blok CIDR 21.0.0.0/8, artinya alamat IP dari
21.0.X.Xhingga21.255.XXX.XXXdilarang.
-
-
Konektivitas jaringan: Untuk memastikan kelompok sumber daya dapat mengakses sumber data Anda, konfigurasikan konektivitas jaringan sesuai dengan lingkungan Anda.
PentingSecara default, kelompok sumber daya serverless tidak memiliki akses internet. Untuk mengakses sumber data melalui internet, Anda harus mengonfigurasi Internet NAT Gateway dan EIP untuk VPC yang terikat ke kelompok sumber daya serverless.
-
Buat kelompok sumber daya serverless
Masuk ke Konsol DataWorks. Di wilayah target, klik Resource Group di panel navigasi kiri untuk membuka daftar kelompok sumber daya.
-
Klik Create Resource Group untuk membuka halaman pembelian. Parameter utama dijelaskan di bawah ini:
Untuk pengguna versi sebelumnya, lakukan operasi pada tab Exclusive Resource Group default.
Parameter
Deskripsi
Region and Zone
Pilih wilayah yang sama dengan ruang kerja DataWorks Anda.
Billing mode
DataWorks menawarkan mode prabayar Subscription dan mode pascabayar pay-as-you-go.
-
Pay-as-you-go: Cocok untuk beban kerja dengan fluktuasi besar atau skenario pengujian. Anda tidak dikenai biaya untuk sumber daya yang menganggur. Anda dapat mengonversi kelompok sumber daya pay-as-you-go menjadi Subscription.
PentingCUs maksimum untuk pay-as-you-go: Satu kelompok sumber daya pay-as-you-go mendukung maksimal 500 CUs.
-
Subscription: Cocok untuk beban kerja produksi jangka panjang yang stabil dan lebih hemat biaya. Anda tidak dapat mengonversi kelompok sumber daya Subscription menjadi pay-as-you-go.
Anda dapat membeli beberapa kelompok sumber daya dengan mode penagihan berbeda untuk memenuhi kebutuhan bisnis Anda.
Resource group specifications
Untuk mode penagihan Subscription, Anda harus menetapkan spesifikasi untuk kelompok sumber daya.
1 CU = 1 vCPU + 4 GiB memory. Untuk rekomendasi pembelian dan persyaratan spesifikasi minimum untuk menjalankan berbagai tugas, lihat Metrik kinerja.VPC
Pilih VPC berdasarkan kebutuhan konektivitas jaringan kelompok sumber daya. Jika tidak ada opsi yang tersedia di daftar drop-down, buka Konsol VPC untuk membuatnya.
Untuk informasi lebih lanjut tentang VPC, lihat Apa itu VPC?.
-
Sumber data dan kelompok sumber daya serverless berada di akun dan wilayah yang sama: Konfigurasikan VPC dan VSwitch tempat sumber data berada.
-
Sumber data berada di lingkungan jaringan yang berbeda atau kompleks: Anda harus menghubungkan VPC kelompok sumber daya ke VPC sumber data menggunakan layanan seperti VPN Gateway atau Express Connect. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Penting-
Kelompok sumber daya dapat di-bind ke beberapa VPC. Anda dapat mengikat VPC lain setelah pembelian selesai.
-
Jika kelompok sumber daya menggunakan mode penagihan Subscription, dan VPC yang dikonfigurasi di sini diterapkan untuk DataService Studio, komputasi data, dan Data Integration, Anda tidak dapat mengikat VPC baru atau mengubah VPC untuk DataService Studio. Rencanakan jaringan Anda terlebih dahulu.
VSwitch
Billing cycle
Jika mode penagihan adalah Subscription, Anda harus menetapkan siklus penagihan.
PentingKami merekomendasikan memilih Auto Renewal untuk mencegah gangguan layanan akibat kedaluwarsa sumber daya. Jika Anda memilih opsi ini, sumber daya akan diperpanjang secara otomatis setiap bulan. Biaya akan dipotong secara otomatis dari akun Anda berdasarkan harga real-time sebelum instans kedaluwarsa.
Service Linked Role
Untuk pembelian pertama, Anda harus create a Service Linked Role (AliyunServiceRoleForDataWorks). Pembelian berikutnya akan secara otomatis menggunakan peran ini.
Role ini digunakan untuk mengakses sumber daya VPC, elastic network interface (ENI), dan security group. Jika Anda menerima pesan
Please create AliyunServiceRoleForDataWorks, berikan URL otorisasi ini kepada pemilik akun utama atau pengguna lain dengan izin yang diperlukan untuk otorisasi, lalu lanjutkan. -
Konfigurasikan dan gunakan kelompok sumber daya
1. Bind kelompok sumber daya ke ruang kerja
Setelah membuat kelompok sumber daya, Anda harus mengikatnya ke ruang kerja. Setelah binding selesai, Anda dapat memilih dan menggunakan kelompok sumber daya serverless saat membuat tugas di ruang kerja target.
-
Bind kelompok sumber daya saat membuat ruang kerja
-
Masuk ke Konsol DataWorks. Di wilayah target, klik Workspace di panel navigasi kiri untuk membuka daftar ruang kerja.
-
Klik Create a workspace. Pada halaman Create a workspace, di pengaturan lanjutan, ubah nilai parameter Default Resource Group of DataWorks Workspace menjadi kelompok sumber daya yang telah Anda buat.
-
-
Bind kelompok sumber daya ke ruang kerja yang sudah ada
Masuk ke Konsol DataWorks. Di wilayah target, klik Resource Group di panel navigasi kiri untuk membuka daftar kelompok sumber daya.
-
Temukan kelompok sumber daya target dan klik Associate Workspace di kolom Operation. Temukan ruang kerja yang ingin Anda ikat ke kelompok sumber daya tersebut dan klik Bind di kolom Operation.
2. Konfigurasikan konektivitas jaringan
Anda harus mengonfigurasi konektivitas jaringan agar kelompok sumber daya dapat mengakses sumber data Anda.
Skenario 1: Akses sumber data dalam VPC (seperti RDS atau database yang dikelola sendiri di ECS)
Pastikan VPC yang terikat ke kelompok sumber daya sama dengan VPC sumber data, atau VPC tersebut terhubung menggunakan layanan seperti CEN atau VPC peering.
Skenario 2: Akses titik akhir publik
Anda harus mengonfigurasi Internet NAT Gateway dan EIP untuk VPC yang terikat ke kelompok sumber daya agar dapat mengakses internet.
Skenario 3: Akses pusat data lokal
Anda harus menghubungkan jaringan VPC dan pusat data lokal Anda menggunakan VPN Gateway atau Express Connect.
Untuk skenario jaringan yang lebih kompleks, lihat Solusi konektivitas jaringan.
3. Gunakan kelompok sumber daya dalam tugas
Setelah membuat dan mengonfigurasi kelompok sumber daya serverless, tetapkan ke tugas Data Integration, penjadwalan, dan DataService Studio Anda.
-
Untuk tugas Data Integration: Di bagian Resource Group Configuration tugas sinkronisasi, pilih kelompok sumber daya serverless yang telah Anda buat.
-
Untuk tugas pengembangan data (seperti Shell dan Python): Di halaman pengeditan node, buka bagian di panel kanan, lalu pilih kelompok sumber daya serverless yang telah Anda buat.
-
Untuk API DataService Studio: Di halaman konfigurasi API, pilih kelompok sumber daya serverless Anda dari daftar drop-down Resource Group for DataService Studio di panel kanan.
Untuk melihat semua konfigurasi kelompok sumber daya terkait, lihat Referensi umum: Ganti kelompok sumber daya.
Manajemen dan pemantauan kelompok sumber daya
Alokasikan kuota CU ke tugas
Anda dapat mengonfigurasi Maximum CUs atau Minimum CUs (CU terjamin) untuk layanan berbeda seperti komputasi data, Data Integration, DataService Studio, dan lingkungan pengembangan pribadi untuk memastikan eksekusi tugas berjalan lancar.
-
Untuk kelompok sumber daya pay-as-you-go, konfigurasikan batas CU maksimum untuk mencegah penggunaan sumber daya berlebihan.
-
Untuk kelompok sumber daya Subscription, konfigurasikan kuota CU minimum terjamin.
Prosedur: Di halaman daftar Kelompok Sumber Daya, temukan kelompok sumber daya target, klik ikon
di kolom Operation, pilih Manage Quota , lalu ubah nilai Maximum CUs atau Minimum CUs untuk tujuan berbeda.
Atau, di halaman daftar Kelompok Sumber Daya, klik Resource Group Name target untuk membuka halaman detail. Di pojok kanan atas, klik Manage Quota , lalu ubah nilai Maximum CUs atau Minimum CUs untuk tujuan berbeda.
Alokasi CU yang direkomendasikan per tugas: Untuk tugas komputasi-intensif seperti Python, Notebook, dan PyODPS, kami merekomendasikan mengalokasikan tidak lebih dari 16 CUs per tugas (maksimal 64 CUs) untuk stabilitas startup dan waktu proses optimal. Untuk tugas sinkronisasi, kecuali tugas sinkronisasi real-time, maksimal 16 CUs dapat dialokasikan per tugas.
Atur batas konkurensi penjadwalan
Untuk penjadwalan, Anda dapat menetapkan batas konkurensi untuk mengontrol jumlah maksimum tugas yang berjalan secara bersamaan. Batas ini hanya berlaku untuk jumlah tugas konkuren, bukan untuk eksekusi tugas individual. Secara default, satu kelompok sumber daya dapat menjalankan maksimal 50 tugas penjadwalan secara konkuren. Anda dapat meningkatkan batas ini hingga maksimal 200.
Prosedur: Di halaman daftar Kelompok Sumber Daya, temukan kelompok sumber daya target, klik ikon
di kolom Operation, pilih Specify Threshold for Parallel Threads of Data Scheduling, lalu ubah nilai untuk Specify Threshold for Parallel Threads of Data Scheduling.
Atau, di halaman daftar Kelompok Sumber Daya, klik Resource Group Name target untuk membuka halaman detail. Di pojok kanan atas, klik Specify Threshold for Parallel Threads of Data Scheduling, lalu ubah nilai untuk Specify Threshold for Parallel Threads of Data Scheduling.
Lihat pemanfaatan kelompok sumber daya
Jika kelompok sumber daya Subscription mengalami pemanfaatan sumber daya komputasi tinggi, tugas yang baru diajukan mungkin masuk antrian karena kekurangan CU hingga sumber daya tersedia. Anda dapat melihat tugas yang sedang berjalan di kelompok sumber daya, pemanfaatan saat ini, penggunaan sumber daya historis, dan sumber daya yang dikonsumsi oleh setiap tugas.
Prosedur: Di halaman daftar Kelompok Sumber Daya, lihat pemanfaatan kelompok sumber daya di kolom Used CUs untuk kelompok sumber daya target.
Atau, di halaman daftar Kelompok Sumber Daya, klik Resource Group Name target untuk membuka halaman detail. Gunakan grafik Resource Usage untuk meninjau penggunaan sumber daya historis dan melihat detail tugas yang sedang berjalan atau menunggu untuk setiap skenario penggunaan.
Skalakan kelompok sumber daya
Jika Anda mengamati bahwa pemanfaatan kelompok sumber daya Subscription secara konsisten tinggi, Anda dapat secara manual melakukan scale out spesifikasinya untuk meningkatkan kinerja pemrosesan tugas Data Integration, penjadwalan, dan DataService Studio. Jika pemanfaatan kelompok sumber daya Subscription rendah, Anda dapat secara manual melakukan scale in untuk mengurangi biaya.
-
Di daftar kelompok sumber daya, temukan kelompok sumber daya target, klik ikon
di kolom Operation, lalu pilih Scale Out atau Scale In.PentingScale in dapat memperlambat tugas. Evaluasi dampaknya dan lanjutkan dengan hati-hati.
-
Di halaman skalasi sumber daya, sesuaikan Resource Group Specifications, centang kotak Terms of Service, lalu klik Buy Now.
Kelola biaya
Freeze dan aktifkan kelompok pay-as-you-go
-
Freeze kelompok sumber daya serverless pay-as-you-go: Kelompok sumber daya dianggap tidak digunakan jika:
-
Tugas penjadwalan: Kelompok sumber daya tidak digunakan untuk menjalankan tugas penjadwalan apa pun.
-
Tugas komputasi data: Kelompok sumber daya tidak digunakan untuk menjalankan tugas komputasi-intensif apa pun.
-
Tugas Data Integration: Kelompok sumber daya tidak digunakan untuk menjalankan tugas Data Integration apa pun.
-
Kueri analisis data: Kelompok sumber daya tidak digunakan untuk menjalankan kueri analisis data apa pun.
-
Uji konektivitas: Kelompok sumber daya tidak digunakan untuk uji konektivitas apa pun.
-
Pengumpulan metadata: Kelompok sumber daya tidak digunakan untuk tugas pengumpulan metadata apa pun.
-
Lingkungan pengembangan pribadi: Kelompok sumber daya tidak digunakan untuk lingkungan pengembangan pribadi.
-
DataService Studio: Kelompok sumber daya tidak digunakan untuk mendukung DataService Studio.
-
Layanan model besar: Kelompok sumber daya tidak digunakan untuk mendukung layanan model besar.
-
-
Aktifkan kembali kelompok sumber daya serverless yang dibekukan: Untuk mengaktifkan kembali kelompok sumber daya serverless yang dibekukan, temukan kelompok sumber daya tersebut di daftar dan klik di kolom Actions.
Konversi pay-as-you-go ke Subscription
Anda dapat mengonversi kelompok sumber daya serverless pay-as-you-go ke mode penagihan Subscription. Setelah konversi, kelompok sumber daya akan ditagih berdasarkan harga satuan Subscription.
-
Di daftar kelompok sumber daya, temukan kelompok sumber daya target, klik ikon
di kolom Operation, lalu pilih Billing Type Conversion untuk membuka kotak dialog Switch to Subscription. -
Di kotak dialog, sesuaikan Destination Instance Type dan Duration kelompok sumber daya sesuai kebutuhan.
-
Setelah melakukan penyesuaian, klik Confirm dan lanjutkan ke Subscribe di halaman checkout.
Konversi dari pay-as-you-go ke Subscription membutuhkan waktu sekitar 1 hingga 2 menit. Tugas yang sedang berjalan tidak terpengaruh.
Perpanjang atau batalkan langganan kelompok sumber daya
Di daftar kelompok sumber daya, periksa status instans. Jika status kelompok sumber daya adalah Expired, klik ikon
di kolom Operation kelompok sumber daya target dan pilih Renew.
Untuk membatalkan langganan kelompok sumber daya serverless, klik ikon
di kolom Operation kelompok sumber daya target dan pilih Unsubscribe. Untuk informasi lebih lanjut, lihat Penagihan untuk menghentikan DataWorks.
FAQ
T: Apakah ada batasan regional untuk pembelian?
J: Batasan pembelian berikut berlaku:
-
Jika Anda perlu menggunakan kelompok sumber daya serverless serbaguna di lingkungan operator virtual, pertama-tama pastikan apakah penyedia Anda mendukung penjualan produk ini.
-
Pembelian tidak didukung di wilayah Thailand (Bangkok).
T: Saya membeli paket sumber daya uji coba gratis untuk serverless, tetapi saya tidak dapat menemukan kelompok sumber daya di daftar untuk mengikatnya di DataWorks. Mengapa?
J: Paket sumber daya uji coba gratis adalah voucher potongan biaya dan tidak secara otomatis membuat kelompok sumber daya. Anda harus membuat kelompok sumber daya serverless pay-as-you-go secara manual. Sistem kemudian akan secara otomatis menggunakan paket sumber daya tersebut untuk mengimbangi biaya dari kelompok ini. Setelah kuota paket habis, Anda akan dikenai biaya berdasarkan sistem pay-as-you-go dari saldo akun Anda.
T: Bagaimana kelompok sumber daya serverless dapat mengakses hostname?
J: Kelompok sumber daya serverless tidak dapat menggunakan file hosts lokal untuk menyelesaikan hostname. Anda harus menggunakan Private DNS (PrivateZone) untuk resolusi hostname internal.
-
Catatan
Jika Anda sudah mengaktifkan Private DNS, Anda dapat melewati langkah ini.
-
Misalnya, untuk menyelesaikan hostname
header-1-cn-shanghai, konfigurasikan resolusi otoritatif untuk domainheader-1-cn-shanghai. Sesuaikan parameter ini berdasarkan hostname spesifik Anda. -
Tetapkan Record Value ke
private IP addresshost yang terikat ke domain tersebut. -
Saat menetapkan VPC untuk cakupan resolusi, pilih VPC yang terikat ke kelompok sumber daya Anda.
Dokumentasi terkait
-
Anda dapat menggunakan fitur pemantauan cerdas di Operation Center untuk memantau pemanfaatan kelompok sumber daya dan jumlah instans yang menunggu sumber daya. Untuk informasi lebih lanjut, lihat Buat aturan kustom.
-
Jika tugas yang berjalan di kelompok sumber daya serverless memerlukan lingkungan pengembangan tertentu, seperti dependensi library pihak ketiga, Anda dapat membuat custom image yang mencakup paket pengembangan dan dependensi yang diperlukan. Saat menjalankan tugas, tentukan kelompok sumber daya serverless sebagai sumber daya eksekusi dan custom image sebagai lingkungan runtime.