Untuk memastikan migrasi lancar dari kelompok sumber daya DataWorks lama ke kelompok sumber daya serverless, Anda harus terlebih dahulu menilai konsumsi sumber daya task yang ada. Hal ini memungkinkan Anda memilih kelompok sumber daya serverless dengan kapasitas yang memadai untuk menangani seluruh task Anda. Topik ini menyediakan contoh perkiraan jumlah CU yang diperlukan, menjelaskan dampak potensial dari peralihan tersebut, serta memandu Anda melalui proses migrasi.
Kelompok sumber daya baru
DataWorks mendukung kelompok sumber daya khusus untuk Data Integration, penjadwalan, dan DataService Studio. Namun, kelompok sumber daya tersebut harus dibeli dan dikonfigurasi secara terpisah. Untuk menyederhanakan manajemen sumber daya dan menyatukan pengalaman pengguna, DataWorks memperkenalkan kelompok sumber daya serverless. Satu kelompok sumber daya serverless dapat digunakan di seluruh fitur Data Integration, penjadwalan, dan DataService Studio, sehingga menyederhanakan interaksi antarkelompok sumber daya dan meningkatkan konsistensi operasional.
Kelompok sumber daya Serverless vs. legacy
Kelompok sumber daya lama memiliki varian eksklusif dan publik, masing-masing terikat pada satu fitur.
|
Feature |
Serverless resource group |
Legacy resource groups |
|
Scope |
Berfungsi dengan semua fitur DataWorks |
Memerlukan pembelian terpisah per fitur |
|
Billing |
pay-as-you-go dan subscription |
Eksklusif: hanya subscription. Publik: hanya pay-as-you-go |
|
Scaling |
Skala CU tanpa memengaruhi task yang sedang berjalan |
Scaling (meningkatkan/menurunkan spesifikasi atau menambah/menghapus node) mengganggu task yang sedang berjalan |
|
Minimum purchase |
2 CU; skala dalam penambahan 1-CU |
Satu node dengan 4 vCPU dan memori 8 GB; skala dalam penambahan satu node penuh |
|
Network security |
Terkait dengan VPC Anda dengan kontrol jaringan penuh |
Titik akhir publik yang dikelola DataWorks dan dibagikan lintas tenant |
|
Development status |
Dikembangkan secara aktif sebagai tipe sumber daya standar |
Sedang dihentikan secara bertahap; tidak ada fitur baru yang direncanakan |
Billing
-
Sebelum beralih, lihat Billing for legacy resource groups.
-
Setelah beralih, lihat Billing for serverless resource groups.
Prosedur
Langkah 1: Temukan task dalam kelompok sumber daya
Data Integration
Pada halaman Data Integration:
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Integration.
-
Di panel navigasi sebelah kiri, klik Synchronization Task. Di area Task List, klik Expand dan filter berdasarkan Resource Group untuk menemukan kelompok sumber daya Data Integration yang ingin Anda alihkan.
Pada halaman Data Studio:
-
Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih di kolom Actions.
-
Di samping Project Directory, klik ikon
untuk membuka halaman operasi batch untuk node. -
Gunakan Filter untuk menemukan kelompok sumber daya yang ingin Anda alihkan, lalu pilih jenis node terkait: Real-time Synchronization dan Offline Synchronization.
Pada halaman lama Data Development:
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Di panel navigasi sebelah kiri, klik DataStudio. Temukan alur bisnis target, klik kanan, lalu pilih Batch Operation.
-
Atur Node Type menjadi Batch Sync dan Real-time Synchronization. Untuk Resource Group for Data Integration, pilih kelompok sumber daya Data Integration yang ingin Anda alihkan.
Penjadwalan Tugas
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Operation Center.
-
Di panel navigasi sebelah kiri, pilih dan gunakan filter Resource Group for Scheduling untuk menemukan kelompok sumber daya yang akan dialihkan.
DataService Studio
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to DataService Studio.
-
Di panel navigasi sebelah kiri, klik Service Development, lalu klik ikon
untuk membuka halaman Batch Operation. Filter berdasarkan Resource Group untuk menemukan kelompok sumber daya DataService Studio yang ingin Anda alihkan.
Langkah 2: Perkirakan ukuran yang diperlukan
Setelah Anda beralih ke kelompok sumber daya serverless, Anda akan dikenai biaya komputasi untuk task komputasi data seperti PyODPS2 dan EMR Hive.
Sebelum beralih, Anda perlu menilai konsumsi sumber daya task sinkronisasi, penjadwalan, dan DataService Studio yang ada. Hal ini membantu Anda menentukan ukuran kelompok sumber daya serverless yang akan dibeli dan memastikan kelompok tersebut mampu menangani beban kerja Anda.
Data integration
Batch synchronization
|
Task concurrency |
Recommended specifications |
Minimum specifications |
|
<4 |
0,5 CU |
0,5 CU |
|
>=4 |
|
Real-time synchronization
|
Task type |
Recommended specifications |
Minimum specifications |
|
|
MySQL real-time synchronization |
1 database |
2 CU |
Minimum untuk task real-time: 1 CU |
|
2 hingga 5 database |
2 CU |
||
|
6 atau lebih database |
2 CU |
||
|
Kafka real-time synchronization |
1 CU |
||
|
Jenis task real-time tingkat tabel lainnya |
1 CU |
||
|
Full-database real-time synchronization |
- |
Minimum untuk task full-database: 2 CU |
|
Penjadwalan task
Kelompok sumber daya serverless mendukung maksimal 200 instance konkuren, terlepas dari spesifikasi CU-nya. Konkurensi default adalah 50. Anda dapat mengatur konkurensi maksimum penjadwalan task hingga 200 pada halaman detail kelompok sumber daya.
Layanan data
|
Maximum QPS |
Minimum specifications |
Service availability (SLA) |
|
500 |
4 CU |
99,95% |
|
1.000 |
8 CU |
|
|
2.000 |
16 CU |
Komputasi data
Setiap task komputasi data memiliki nilai CU default. Untuk informasi lebih lanjut, lihat Jenis task dan konsumsi CU.
Langkah 3: Beli kelompok sumber daya serverless
Berdasarkan ukuran yang Anda perkirakan pada langkah sebelumnya, beli kelompok sumber daya serverless. Untuk petunjuknya, lihat Use a serverless resource group.
Langkah 4: Beralih ke kelompok serverless
-
Switch the resource group for Data Integration
CatatanSetelah beralih ke kelompok sumber daya serverless, DataWorks secara otomatis mengatur jumlah CU yang direkomendasikan berdasarkan konfigurasi task awal Anda. Jika Anda perlu mengatur jumlah CU secara manual untuk kelompok sumber daya, lihat rekomendasi pada Langkah 2: Perkirakan ukuran yang diperlukan.
-
Switch the resource group for scheduling tasks
CatatanSebagian kuota kelompok sumber daya dialokasikan untuk konfigurasi CU untuk task komputasi-teroptimalkan tergantung pada apakah komputasi task terjadi dalam kelompok sumber daya DataWorks. Saat Anda mengubah kelompok sumber daya penjadwalan, kelompok sumber daya yang digunakan untuk komputasi task juga diperbarui.
-
Switch the resource group for DataService Studio
CatatanSebelum beralih, Anda harus mengatur kuota untuk DataService Studio. Jika tidak mengatur kuota, Anda tidak dapat memilih kelompok sumber daya serverless saat beralih. Untuk petunjuk cara mengatur kuota, lihat Allocate a CU quota to a task.
Langkah berikutnya
Setelah beralih ke kelompok sumber daya serverless, Anda dapat berhenti berlangganan kelompok sumber daya lama jika tidak lagi diperlukan. Untuk petunjuknya, lihat General reference: Unsubscribe from a subscription product.