Untuk menggunakan instans seperti MaxCompute dan Hologres dalam pengembangan data di DataWorks, Anda harus terlebih dahulu mengasosiasikannya sebagai resource komputasi. Topik ini menjelaskan cara membuat dan mengelola resource komputasi untuk pengembangan dan penjadwalan task selanjutnya.
Hubungan antara resource komputasi dan sumber data
DataWorks mendukung berbagai resource komputasi. Setelah Anda mengasosiasikan resource komputasi, Anda dapat mengembangkan task pemrosesan data kompleks dan penjadwalan periodik di Data Studio. Saat Anda mengasosiasikan sebagian besar resource komputasi dengan DataWorks, sebuah data source dengan nama yang sama akan secara otomatis dibuat. Anda kemudian dapat menggunakan data source tersebut di modul Data Integration untuk task seperti sinkronisasi data. Perbedaan antara mesin komputasi dan data source adalah sebagai berikut:
-
Resource komputasi adalah instans mesin komputasi yang mengeksekusi task pemrosesan dan analisis data.
-
Data source terhubung ke layanan penyimpanan data untuk menyimpan dan mengelola data.
Saat melakukan transformasi data ETL menggunakan node SQL—misalnya, mengonversi kolom JSON dalam tabel AnalyticDB for MySQL menjadi tabel baru—Anda juga harus mengasosiasikan mesin komputasi yang sesuai. Node SQL di Data Studio bergantung pada mesin komputasi untuk mengeksekusi pernyataan SQL, bahkan jika Anda hanya menggunakan fitur transformasi data.
Resource komputasi yang didukung
Di DataWorks, Anda dapat mengasosiasikan resource komputasi berikut untuk pengembangan data.
|
Kategori |
Jenis resource |
Panduan asosiasi |
Data Studio (versi baru) |
Data Studio (versi lama) |
|
Offline computing |
|
|
||
|
|
|
|||
|
Serverless Ray |
|
|
||
|
Real-time query |
|
|
||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
Real-time computing |
|
|
||
|
Multimodal search |
|
|
||
|
Cluster management |
|
|
||
|
|
|
Saat Anda mengasosiasikan resource komputasi MaxCompute, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, AnalyticDB for Spark, ClickHouse, Hologres, Lindorm, EMR Serverless StarRocks, atau OpenSearch, sebuah data source dengan nama yang sama akan secara otomatis dibuat di ruang kerja saat ini.
Deskripsi izin
-
Hanya anggota ruang kerja yang memiliki peran operator atau administrator ruang kerja, atau anggota yang memiliki kebijakan izin AliyunDataWorksFullAccess atau AdministratorAccess yang dapat membuat resource komputasi. Untuk informasi lebih lanjut, lihat Kelola izin pada layanan tingkat ruang kerja dan Berikan izin kepada Pengguna RAM.
-
Selain izin tersebut, beberapa resource komputasi mungkin memerlukan izin tambahan selama pembuatan. Ikuti petunjuk di layar untuk memberikan akses.
Asosiasikan resource komputasi
Anda dapat mengasosiasikan resource komputasi dari entri yang sesuai, tergantung pada apakah ruang kerja telah mengaktifkan Use Data Studio (New Version).
Asosiasikan resource komputasi menggunakan Data Studio (versi baru)
-
Login ke Konsol DataWorks, beralih ke wilayah target, lalu klik di panel navigasi kiri. Pilih ruang kerja target dari daftar drop-down dan klik Go to Management Center.
-
Di panel navigasi kiri, klik Computing Resources untuk membuka halaman daftar resource komputasi. Rujuk dokumentasi yang sesuai berdasarkan jenis resource komputasi yang ingin Anda asosiasikan.
Asosiasikan resource komputasi tanpa Data Studio (versi baru)
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Di panel navigasi kiri, klik ikon
untuk membuka halaman daftar Computing Resources. Rujuk dokumentasi yang sesuai berdasarkan jenis resource komputasi yang ingin Anda asosiasikan.-
Manajemen resource komputasi: Klik tombol Create Computing Resource di pojok kanan atas untuk membuat resource komputasi.
-
Manajemen kluster: Buka halaman daftar Computing Resources, lalu klik tombol Create Cluster di pojok kanan atas untuk membuat engine kluster.
Manajemen kluster
Versi/jenis kluster yang didukung
Dokumentasi asosiasi kluster
Asosiasikan kluster CDH/CDP
DataWorks menyediakan versi CDH5.16.2, CDH6.1.1, CDH6.2.1, CDH6.3.2, dan CDP7.1.7 untuk dipilih langsung. Versi komponen yang dibundel dengan versi kluster ini (yaitu, versi setiap komponen dalam informasi koneksi kluster) bersifat tetap. Jika versi kluster ini tidak memenuhi kebutuhan bisnis Anda, Anda dapat memilih Custom Version.
Asosiasikan kluster EMR
Jenis kluster EMR yang didukung: Kluster DataLake (data lake baru): EMR on ECS, Kluster kustom: EMR on ECS, Kluster Hadoop (data lake lama): EMR on ECS, Kluster Spark: EMR on ACK, dan kluster EMR Serverless Spark.
Penting-
Versi EMR berikut untuk kluster Hadoop (data lake lama) didukung di DataWorks:
EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, EMR-5.4.3
-
Kluster Hadoop (data lake lama) tidak lagi direkomendasikan. Segera migrasikan ke kluster DataLake. Untuk informasi lebih lanjut, lihat Migrasikan kluster Hadoop ke kluster DataLake.
-
-
Putuskan asosiasi resource komputasi
Berhati-hatilah saat memutuskan asosiasi resource komputasi. Pemutusan asosiasi juga akan menghapus data source dengan nama yang sama yang terkait dengan resource komputasi tersebut. Hal ini dapat memengaruhi task yang mereferensikan resource komputasi atau data source tersebut di berbagai modul, seperti Data Integration, Operation Center, Data Analysis, Data Service API, dan Data Quality. Untuk memastikan operasi bisnis berjalan normal, bacalah dengan cermat prompt yang muncul di layar sebelum memutuskan asosiasi resource komputasi dan migrasikan semua task di bawah resource komputasi tersebut ke resource komputasi lain.
Anda dapat melepaskan sumber daya komputasi sesuai kebutuhan. Di halaman sumber daya komputasi, temukan sumber daya komputasi yang terkait, lalu klik Disassociate di sisi kanan untuk melepaskannya dari ruang kerja saat ini.
Lampiran: Deskripsi lingkungan eksekusi task
Di ruang kerja mode standar, sebuah instans resource komputasi memiliki dua set konfigurasi: satu untuk lingkungan pengembangan dan satu untuk lingkungan produksi. Lingkungan yang berbeda dapat dikonfigurasi untuk menggunakan database atau instans yang berbeda. Sistem secara otomatis memetakan akses ke resource komputasi yang sesuai berdasarkan lingkungan runtime, sehingga mengisolasi pengujian pengembangan dari penjadwalan produksi. Misalnya, saat task sinkronisasi batch dieksekusi, lingkungan pengembangan secara otomatis mengakses database pengembangan yang telah dikonfigurasi sebelumnya, sedangkan penjadwalan produksi mengakses database produksi.
-
Ruang kerja mode dasar hanya memiliki satu lingkungan dan tidak dapat mengisolasi pengembangan dari produksi. Untuk informasi lebih lanjut tentang mode ruang kerja, lihat Perbedaan mode ruang kerja.
-
Jika Anda melakukan upgrade dari mode dasar ke mode standar (ruang kerja yang telah mengaktifkan Use Data Studio (new version) tidak mendukung upgrade), resource komputasi tunggal asli akan dipisah menjadi dua resource komputasi yang diisolasi untuk lingkungan produksi dan lingkungan pengembangan. Untuk informasi lebih lanjut, lihat Upgrade mode ruang kerja.