Untuk menggunakan instans seperti MaxCompute dan Hologres dalam pengembangan data di DataWorks, Anda harus terlebih dahulu mengaitkannya sebagai sumber daya komputasi. Setelah itu, Anda dapat membuat dan mengelola sumber daya tersebut untuk mendukung pengembangan dan penjadwalan task.
Hubungan antara sumber daya komputasi dan sumber data
DataWorks mendukung berbagai sumber daya komputasi. Setelah Anda mengaitkan sumber daya komputasi, Anda dapat mengembangkan task pemrosesan data kompleks dan penjadwalan periodik di DataStudio. Saat Anda mengaitkan sebagian besar sumber daya komputasi ke DataWorks, sebuah data source dengan nama yang sama akan secara otomatis dibuat. Anda kemudian dapat menggunakan data source ini di modul Data Integration untuk task sinkronisasi data. Perbedaan antara compute engine dan data source adalah sebagai berikut:
-
Sumber daya komputasi adalah instans mesin komputasi yang menjalankan task pemrosesan dan analisis data.
-
Data source terhubung ke layanan penyimpanan data untuk menyimpan dan mengelola data.
Saat melakukan transformasi data ETL menggunakan node SQL—misalnya, mengonversi kolom JSON dalam tabel AnalyticDB for MySQL menjadi tabel baru—Anda juga harus mengaitkan compute engine yang sesuai. Node SQL di DataStudio memerlukan compute engine untuk menjalankan pernyataan SQL, bahkan jika Anda hanya menggunakan fitur transformasi data.
Sumber daya komputasi yang didukung
DataWorks mendukung sumber daya komputasi berikut untuk pengembangan data.
|
Kategori |
Jenis sumber daya |
Panduan pengaitan |
Data Studio (versi baru) |
Data Studio (versi lama) |
|
Komputasi offline |
|
|
||
|
|
|
|||
|
Serverless Ray |
|
|
||
|
Kueri real-time |
|
|
||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
Komputasi real-time |
|
|
||
|
Pencarian multimodal |
|
|
||
|
Manajemen kluster |
|
|
||
|
|
|
Saat Anda mengaitkan sumber daya komputasi MaxCompute, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, AnalyticDB for Spark, ClickHouse, Hologres, Lindorm, EMR Serverless StarRocks, atau OpenSearch, sebuah data source dengan nama yang sama akan secara otomatis dibuat di ruang kerja saat ini.
Deskripsi izin
-
Hanya anggota ruang kerja yang memiliki peran operator atau administrator ruang kerja, atau anggota yang memiliki kebijakan izin AliyunDataWorksFullAccess atau AdministratorAccess yang dapat membuat sumber daya komputasi. Untuk informasi selengkapnya, lihat Mengelola izin pada layanan tingkat ruang kerja dan Memberikan izin kepada Pengguna RAM.
-
Selain izin tersebut, beberapa sumber daya komputasi mungkin memerlukan izin tambahan selama pembuatan. Ikuti petunjuk di layar untuk memberikan akses.
Mengaitkan sumber daya komputasi
Anda dapat mengaitkan sumber daya komputasi dari entri yang sesuai berdasarkan apakah ruang kerja telah mengaktifkan Use Data Studio (New Version).
Mengaitkan sumber daya komputasi menggunakan Data Studio (versi baru)
-
Masuk ke Konsol DataWorks, beralih ke wilayah target, lalu klik di panel navigasi kiri. Pilih ruang kerja target dari daftar drop-down dan klik Go to Management Center.
-
Di panel navigasi kiri, klik Computing Resources untuk membuka halaman daftar sumber daya komputasi. Rujuk dokumentasi yang sesuai berdasarkan jenis sumber daya komputasi yang ingin Anda kaitkan.
Mengaitkan sumber daya komputasi tanpa Data Studio (versi baru)
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Di panel navigasi kiri, klik ikon
untuk membuka halaman daftar Computing Resources. Rujuk dokumentasi yang sesuai berdasarkan jenis sumber daya komputasi yang ingin Anda kaitkan.-
Manajemen sumber daya komputasi: Klik tombol Create Computing Resource di pojok kanan atas untuk membuat sumber daya komputasi.
-
Manajemen kluster: Buka halaman daftar Computing Resources, lalu klik tombol Create Cluster di pojok kanan atas untuk membuat engine kluster.
Manajemen kluster
Versi/jenis kluster yang didukung
Dokumentasi pengaitan kluster
Mengaitkan kluster CDH/CDP
DataWorks menyediakan versi CDH5.16.2, CDH6.1.1, CDH6.2.1, CDH6.3.2, dan CDP7.1.7 untuk dipilih langsung. Versi komponen yang dibundel dengan versi kluster ini (yaitu versi setiap komponen dalam informasi koneksi kluster) bersifat tetap. Jika versi kluster ini tidak memenuhi kebutuhan bisnis Anda, Anda dapat memilih Custom Version.
Mengaitkan kluster EMR
Jenis kluster EMR yang didukung: Kluster DataLake (data lake baru): EMR on ECS, Kluster kustom: EMR on ECS, Kluster Hadoop (data lake lama): EMR on ECS, Kluster Spark: EMR on ACK, dan kluster EMR Serverless Spark.
Penting-
Versi EMR berikut untuk kluster Hadoop (data lake lama) didukung di DataWorks:
EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, EMR-5.4.3
-
Kluster Hadoop (data lake lama) tidak lagi direkomendasikan. Segera migrasikan ke kluster DataLake. Untuk informasi selengkapnya, lihat Migrasi kluster Hadoop ke kluster DataLake.
-
-
Memutus kaitan sumber daya komputasi
Berhati-hatilah saat memutus kaitan sumber daya komputasi. Tindakan ini juga akan menghapus data source dengan nama yang sama, sehingga dapat memengaruhi task yang mereferensikan sumber daya komputasi atau data source tersebut di berbagai modul seperti Data Integration, Operation Center, Data Analysis, Data Service API, dan Data Quality. Sebelum melanjutkan, baca dengan cermat prompt di layar dan migrasikan semua task di bawah sumber daya komputasi tersebut ke sumber daya komputasi lain.
Di halaman sumber daya komputasi, temukan sumber daya komputasi target dan klik Disassociate untuk memutus kaitannya dari ruang kerja saat ini.
Lampiran: Deskripsi lingkungan eksekusi task
Di ruang kerja mode standar, sumber daya komputasi memiliki dua set konfigurasi: satu untuk lingkungan pengembangan dan satu untuk lingkungan produksi. Setiap lingkungan dapat menggunakan database atau instans yang berbeda. Sistem secara otomatis mengarahkan akses ke sumber daya komputasi yang tepat berdasarkan lingkungan runtime, sehingga mengisolasi pengembangan dari produksi. Misalnya, task sinkronisasi batch di lingkungan pengembangan mengakses database pengembangan, sedangkan task yang sama di produksi mengakses database produksi.
-
Ruang kerja mode dasar hanya memiliki satu lingkungan dan tidak dapat mengisolasi pengembangan dari produksi. Untuk informasi selengkapnya tentang mode ruang kerja, lihat Perbedaan mode ruang kerja.
-
Jika Anda melakukan upgrade dari mode dasar ke mode standar (ruang kerja yang telah mengaktifkan Use Data Studio (new version) tidak mendukung upgrade), sumber daya komputasi tunggal asli akan dibagi menjadi dua sumber daya komputasi yang terisolasi untuk lingkungan produksi dan pengembangan. Untuk informasi selengkapnya, lihat Upgrade mode ruang kerja.