Beli grup sumber daya eksklusif untuk penjadwalan - DataWorks

Beli grup sumber daya eksklusif untuk penjadwalan yang sesuai dengan beban kerja Anda, lalu konfigurasikan pengikatan VPC dan pengaturan allowlist sebelum menggunakannya.

Penting

Jika Anda belum pernah mengaktifkan DataWorks di wilayah mana pun sebelum 10 Juni 2024, Anda hanya dapat membeli dan menggunakan serverless resource groups setelah aktivasi. Anda tidak dapat membeli atau menggunakan legacy resource groups. Pengguna DataWorks yang sudah ada dan ingin beralih ke serverless resource groups dapat melihat Beralih dari legacy resource groups.

DataWorks tidak lagi merekomendasikan exclusive resource groups for scheduling

DataWorks tidak lagi merekomendasikan exclusive resource groups for scheduling. Kami menyarankan Anda menggunakan serverless resource groups. Serverless resource groups menggabungkan kemampuan inti dari legacy resource groups (exclusive resource groups for scheduling, exclusive resource groups for Data Integration, exclusive resource groups for Data Service, dan shared resource groups) ke dalam satu grup sumber daya, yang dapat Anda gunakan untuk menyinkronkan data, menjadwalkan dan menjalankan task, serta memanggil dan mengelola layanan API.

Prasyarat

Tinjau spesifikasi, batas konkurensi, dan harga dalam Penagihan exclusive resource groups for scheduling. Rencanakan spesifikasi grup sumber daya dan durasi langganan berdasarkan kebutuhan bisnis Anda.
Tinjau Kasus penggunaan exclusive resource groups for scheduling.

Catatan

(Opsional) Anda harus memahami konektivitas jaringan dan konfigurasi allowlist jika exclusive resource group for scheduling perlu berinteraksi dengan sumber data atau lingkungan jaringan lainnya, seperti mengakses database self-managed atau alamat internal menggunakan skrip Shell, atau jika Anda menggunakan engine seperti EMR atau CDH yang memerlukan exclusive resource group for scheduling. Konektivitas jaringan dan konfigurasi allowlist.

Catatan

Jika Anda hanya perlu mengurangi keterlambatan task akibat resource contention pada shared scheduling resource groups dan tidak memerlukan konektivitas database, lewati langkah konfigurasi jaringan. Anda dapat membeli exclusive resource group di zona ketersediaan mana pun tanpa mengonfigurasi pengaturan jaringan.
Exclusive resource groups secara default dapat mengakses Internet, tetapi melalui bandwidth bersama tanpa jaminan performa. Jika task Anda sangat bergantung pada akses Internet, gunakan Serverless resource group sebagai gantinya.

Batasan

Hanya Akun Alibaba Cloud atau Pengguna RAM dengan izin AliyunBSSOrderAccess dan AliyunDataWorksFullAccess yang dapat membeli grup sumber daya.
Hanya administrator ruang kerja yang dapat mengaitkan grup sumber daya dengan ruang kerja atau mengubah asosiasi tersebut.
Izin terperinci tercantum dalam Kebijakan kontrol izin grup sumber daya.
Anda juga dapat membuat kebijakan kustom untuk menyesuaikan akses secara lebih rinci. Buat kebijakan kustom dan berikan izin.
Exclusive resource group for scheduling tipe 4c8g mendukung pengikatan hingga 2 VPC. Exclusive resource groups for scheduling dengan spesifikasi lain mendukung pengikatan hingga 3 VPC.
VPC yang Anda pilih saat membeli exclusive resource group for scheduling adalah VPC utama dan tidak dapat dilepas ikatannya. Anda hanya dapat melepas ikatan VPC tambahan yang dikaitkan setelah pembelian. Untuk mengganti VPC utama, batalkan langganan grup sumber daya saat ini dan beli ulang, lalu pilih VPC baru saat pembelian.
Exclusive resource groups akan dihentikan penggunaannya di masa depan. Jika Anda belum pernah mengaktifkan DataWorks di wilayah mana pun, Anda hanya dapat membeli dan menggunakan serverless resource groups setelah aktivasi, dan tidak dapat membeli atau menggunakan legacy resource groups. Catatan rilis serverless resource group.
Task yang dijalankan pada exclusive resource group for scheduling dapat membuat hingga 100 file pada waktu proses, dan ukuran setiap file tidak boleh melebihi 150MB.

Langkah 1: Beli grup sumber daya

Exclusive resource groups for scheduling menggunakan penagihan langganan dan harus dibeli secara terpisah.

Catatan

Hanya pengguna dengan izin AliyunBSSOrderAccess dan AliyunDataWorksFullAccess yang dapat membeli grup sumber daya.

Masuk ke Konsol DataWorks.

Di panel navigasi kiri, klik Resource Group untuk membuka halaman Resource Groups. Di tab Exclusive Resource Group, klik Create Resource Group for Scheduling of Old Version. Di halaman pembelian, konfigurasikan parameter utama berikut berdasarkan kebutuhan bisnis Anda.

Parameter	Deskripsi
Region	Pilih wilayah tempat Anda ingin menggunakan exclusive resource group ini. Catatan Exclusive resource groups tidak dapat digunakan lintas wilayah. Misalnya, grup sumber daya di China (Shanghai) hanya dapat digunakan oleh ruang kerja di China (Shanghai).
Exclusive Resource Group Type	Atur parameter ini ke Exclusive Resources for Scheduling.
Exclusive Resources for Scheduling	Pilih spesifikasi grup sumber daya. Spesifikasi berbeda memiliki biaya dan batas konkurensi yang berbeda. Penagihan exclusive resource groups for scheduling.
Resources	Jumlah mesin dalam grup sumber daya. Pilih minimal dua untuk ketersediaan tinggi di lingkungan produksi.
Billing Cycle	Penagihan langganan. Pilih Auto Renewal untuk menghindari gangguan layanan. Anda dapat mengelola perpanjangan otomatis nanti di halaman Renewals Alibaba Cloud. Perpanjang exclusive resource group.
Resource Name	Tetapkan nama unik untuk grup sumber daya dalam tenant. Nama duplikat akan menyebabkan error saat konfirmasi. Catatan Tenant adalah Akun Alibaba Cloud, yang dapat memiliki beberapa Pengguna RAM.

Klik Buy Now dan ikuti instruksi di layar untuk menyelesaikan pembayaran dan membeli exclusive resource group for scheduling.

Setelah pembelian, DataWorks melakukan inisialisasi exclusive resource group. Ketika status berubah menjadi running, grup sumber daya akan muncul di konsol.

Catatan
Inisialisasi exclusive resource group memerlukan waktu sekitar 20 menit. Tunggu hingga status berubah menjadi Running.

Setelah grup sumber daya siap, kaitkan dengan ruang kerja sebelum menggunakannya dalam konfigurasi task.

Langkah 2: Kaitkan dengan ruang kerja

Catatan

Hanya administrator ruang kerja yang dapat mengaitkan grup sumber daya dengan ruang kerja atau mengubah asosiasi tersebut.

Exclusive resource group for scheduling harus dikaitkan dengan ruang kerja sebelum digunakan. Satu grup sumber daya dapat dikaitkan dengan beberapa ruang kerja, tetapi hanya dalam wilayah yang sama. Misalnya, grup sumber daya di China (Shanghai) hanya dapat dikaitkan dengan ruang kerja di China (Shanghai).

Masuk ke Konsol DataWorks.
Di halaman Resource Groups, klik tab Exclusive Resource Group, lalu klik Associate Workspace pada baris grup sumber daya target.
Di halaman Associate Workspace, klik Bind pada baris ruang kerja target untuk mengaitkan exclusive resource group dengan ruang kerja tersebut.

Langkah 3: Konfigurasi pengaturan jaringan

Ikat VPC

Anda harus memahami konektivitas jaringan dan konfigurasi allowlist jika exclusive resource group for scheduling perlu berinteraksi dengan sumber data atau lingkungan jaringan lainnya, seperti mengakses database self-managed atau alamat internal menggunakan skrip Shell, atau jika Anda menggunakan engine seperti EMR atau CDH yang memerlukan exclusive resource group for scheduling, Anda juga harus mengonfigurasi pengikatan VPC dan pengaturan allowlist seperti yang dijelaskan di bawah ini.

Exclusive resource group ditempatkan di VPC yang dikelola DataWorks. Ikat VPC Anda sendiri ke grup sumber daya untuk mengaktifkan konektivitas ke sumber data Anda.

Penting

Exclusive resource group for scheduling tipe 4c8g mendukung pengikatan hingga 2 VPC. Spesifikasi lain mendukung hingga 3 VPC.

Masuk ke Konsol DataWorks.
Di halaman Resource Groups, klik tab Exclusive Resource Group, lalu klik Network Settings pada baris grup sumber daya target untuk membuka halaman pengikatan.

Sebelum mengikat, gunakan Akun Alibaba Cloud Anda (hanya Akun Alibaba Cloud yang memiliki izin yang diperlukan) untuk menyelesaikan otorisasi RAM agar DataWorks dapat mengakses sumber daya cloud Anda. Di halaman Cloud Resource Access Authorization, pilih role AliyunDataWorksAccessingENIRole, lalu klik Confirm Authorization Policy.

Ikat VPC.

Di halaman VPC Binding, klik Add Binding di pojok kiri atas. Di kotak dialog Add VPC Binding, konfigurasikan parameter berdasarkan lingkungan jaringan Anda.

Catatan

Untuk kasus penggunaan yang melibatkan instance Alibaba Cloud atau instance ECS yang dikelola sendiri, solusi dan konfigurasi konektivitas jaringan bergantung pada apakah ruang kerja DataWorks dan sumber data berada dalam akun utama yang sama.

Parameter	Akun dan wilayah sama	Akun atau wilayah berbeda
VPC	Jika sumber data dan exclusive resource group berada dalam Akun Alibaba Cloud yang sama, kami menyarankan Anda memilih VPC tempat sumber data berada. Jika tidak berada dalam Akun Alibaba Cloud yang sama, ikuti petunjuk untuk skenario di wilayah berbeda.	Jika sumber data dan exclusive resource group berada di wilayah berbeda atau di bawah akun utama yang berbeda, pilih VPC dalam akun saat ini yang terhubung ke jaringan sumber data. Misalnya, jika sumber data tidak berada di VPC Alibaba Cloud, Anda dapat klik Create VPC untuk membuat VPC untuk exclusive resource group. Setelah VPC dibuat, pilih VPC baru tersebut atau VPC yang sudah terhubung ke jaringan database target. Catatan Jika ruang kerja DataWorks dan sumber data berada di wilayah berbeda atau di bawah akun utama yang berbeda, Anda juga harus menggunakan layanan seperti VPN Gateway atau Express Connect untuk menghubungkan VPC yang dikaitkan ke exclusive resource group dengan VPC tempat sumber data berada. Anda juga harus menambahkan entri rute secara manual yang mengarah ke alamat IP database target untuk memastikan konektivitas antar jaringan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Zone	Pilih zona tempat database berada.	Pilih zona yang sudah terhubung ke jaringan database target.
vSwitch	Jika Anda memilih VPC tempat sumber data berada, kami menyarankan Anda memilih vSwitch yang terkait dengan sumber data. Catatan Setelah Anda mengikat vSwitch apa pun dalam VPC sumber data, entri rute secara otomatis ditambahkan ke seluruh Blok CIDR VPC untuk memastikan konektivitas jaringan bagi exclusive resource group for Data Integration dalam VPC tersebut.	Pilih vSwitch yang sudah terhubung ke jaringan database target. Jika tidak tersedia vSwitch, klik Create VSwitch untuk membuat satu untuk exclusive resource group. Setelah vSwitch dibuat, pilih di sini.

Klik Determine untuk menyelesaikan pengikatan VPC.

Catatan

Jika sumber data dan exclusive resource group berada di wilayah berbeda atau di bawah akun utama yang berbeda, Anda harus mengikat VPC lalu menambahkan aturan rute yang mengarah ke alamat IP database target.

Opsi: Konfigurasi pemetaan hostname ke IP.

Jika sumber data Anda diakses melalui hostname dan bukan alamat IP, konfigurasikan pemetaan hostname ke IP. Jika tidak, uji konektivitas akan gagal saat Anda menambahkan sumber data.

Klik Hostname-to-IP Mapping. Di halaman tersebut, klik Add di pojok kiri atas. Di kotak dialog Create Hostname-to-IP Mapping, konfigurasikan parameter berikut.

Parameter	Deskripsi
IP Address	Masukkan alamat IP aktual dari sumber data.
Hostname	Masukkan domain host yang digunakan sumber data untuk akses eksternal. Jika terdapat beberapa domain host, masukkan masing-masing di baris baru.

Untuk menambahkan beberapa pemetaan, klik Add lagi.
Catatan
- Alamat IP dan domain host dalam pemetaan baru tidak boleh menduplikasi alamat IP atau domain host dalam pemetaan yang sudah ada.
- Satu pemetaan mendukung hubungan satu-ke-banyak antara alamat IP dan domain host. Satu alamat IP dapat dipetakan ke beberapa domain host, tetapi satu domain host hanya dapat dipetakan ke satu alamat IP.

Tambahkan allowlist

Jika grup sumber daya dan sumber data berada di zona ketersediaan yang sama tetapi berbagi VPC dan vSwitch yang sama namun tetap tidak dapat terhubung, sumber data tersebut mungkin memiliki pembatasan allowlist. Tambahkan entri berikut ke allowlist sumber data.

Jaringan internal: Tambahkan Blok CIDR vSwitch yang digunakan saat mengikat grup sumber daya ke VPC ke allowlist sumber data.

Setelah mengikat VPC, buka halaman Resource Groups > Exclusive Resource Group. Klik Network Settings untuk grup sumber daya target, lalu klik tab VPC Binding untuk melihat vSwitch CIDR Block. Temukan alamat blok CIDR di kolom vSwitch CIDR Block.
Internet: Tambahkan EIP Address grup sumber daya ke allowlist sumber data. Temukan EIP Address di halaman Basic Information grup sumber daya.

Langkah 4: Uji konektivitas jaringan

Setelah menyelesaikan konfigurasi jaringan, uji konektivitas antara grup sumber daya dan sumber data.

1. Masuk ke Konsol DataWorks. Di wilayah target, klik More > Management Center di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Management Center.
2. Di halaman Manajemen Ruang Kerja, klik Data Sources di panel navigasi kiri untuk membuka halaman sumber data.
Klik Edit di kolom Operation sumber data target.
Di halaman pengeditan sumber data, klik Test Connectivity di sebelah grup sumber daya penjadwalan target. Jika status konektivitasnya Connectable, koneksi berhasil.

Di bagian Connection Settings, klik tab Data Scheduling untuk melihat daftar grup sumber daya dan status konektivitas untuk lingkungan pengembangan maupun produksi. Klik Finish Editing untuk menyimpan.
Catatan
- Antarmuka konfigurasi bervariasi tergantung jenis sumber data.
- Jika sumber data memiliki lingkungan pengembangan dan produksi yang terpisah, uji konektivitas di masing-masing lingkungan secara terpisah.
- Lingkungan jaringan yang berbeda mungkin memerlukan konfigurasi khusus. Solusi konektivitas jaringan.

Operasi tambahan

Lihat penggunaan dan pemantauan grup sumber daya

Periksa penggunaan grup sumber daya dan status antrian di Konsol DataWorks, atau gunakan pemantauan cerdas Operation Center untuk melacak konsumsi sumber daya dan instance yang mengantri. Jika task memerlukan waktu eksekusi terlalu lama, periksa apakah sumber daya telah sepenuhnya digunakan. Lihat penggunaan grup sumber daya. Pemantauan grup sumber daya.

Gunakan O&M Assistant untuk menjalankan perintah pada grup sumber daya

Gunakan O&M Assistant untuk menjalankan perintah pada exclusive resource group selama pengembangan, seperti menginstal paket PyODPS pihak ketiga.

Ubah zona ketersediaan grup sumber daya

Untuk mengubah zona ketersediaan grup sumber daya, lakukan langkah-langkah berikut:

Masuk ke Konsol DataWorks.
Di panel navigasi kiri, klik Resource Group. Di halaman Resource Groups, klik tab Exclusive Resource Group, lalu temukan grup sumber daya yang Purpose-nya adalah Data Scheduling.
Di kolom Operation grup sumber daya target, klik ikon , lalu pilih Change Zone untuk membuka dialog Change Zone for Resource Group.
Di dialog Change Zone for Resource Group, pilih Current Zone dan Machines grup sumber daya yang akan diubah, lalu pilih New Zone dan Number of Machines to Use yang dituju.
Klik OK untuk menyelesaikan perubahan zona ketersediaan grup sumber daya.

Mengubah zona ketersediaan dapat menyebabkan perubahan jaringan:

Blok CIDR grup sumber daya: Setiap zona ketersediaan memiliki blok CIDR independen. Jika zona ketersediaan berubah, blok CIDR juga berubah.
IP NIC utama grup sumber daya: IP NIC utama selalu berubah. IP baru akan diberikan dalam blok CIDR zona ketersediaan tujuan.
Antarmuka jaringan elastis yang dikaitkan ke grup sumber daya: Jika blok CIDR vSwitch berada dalam allowlist, tidak perlu pembaruan. Namun, jika allowlist berisi IP ENI secara langsung, perbarui allowlist setelah perubahan zona.

Lampiran: Ganti grup sumber daya penjadwalan

Anda dapat mengganti grup sumber daya yang digunakan oleh task dengan cara berikut.

Lingkungan	Operasi Pengalihan yang Didukung	Entri antarmuka
Ganti grup sumber daya lingkungan produksi	Penggantian batch	Di panel navigasi kiri Operation Center, klik Auto Triggered Task O&M > Auto Triggered Task. Pilih task yang ingin Anda ubah grup sumber dayanya, lalu klik Change Resource Group for Scheduling di bilah alat bawah untuk mengganti grup sumber daya secara batch. Penting Virtual node, workflow, dan task Machine Learning Platform for AI (PAI) tidak mendukung perubahan grup sumber daya. Jangan pilih jenis task ini.
Ganti grup sumber daya lingkungan pengembangan	Peralihan Tugas Tunggal Penggantian batch	Buka halaman Datastudio dan konfigurasikan sebagai berikut: Peralihan Tugas Tunggal Buka halaman pengeditan node target. Anda dapat mengganti grup sumber daya di Scheduling Settings > Resource Group. Penggantian batch Klik ikon , pilih task yang ingin Anda ubah grup sumber dayanya, lalu klik More > Change Resource Group for Scheduling di bilah alat bawah untuk mengganti grup sumber daya secara batch.
Ganti grup sumber daya debug Data Studio	Pengalihan Tugas Tunggal	Buka halaman pengeditan kode node tunggal di Datastudio, lalu klik tombol di bilah alat untuk mengganti grup sumber daya penjadwalan yang digunakan untuk debugging kode.