Untuk menggunakan instans seperti MaxCompute dan Hologres di DataStudio DataWorks, Anda harus terlebih dahulu menyambungkannya sebagai sumber daya komputasi. Topik ini menjelaskan cara membuat dan mengelola sumber daya komputasi guna membangun fondasi bagi pengembangan dan penjadwalan tugas.
Hubungan antara sumber daya komputasi dan sumber data
DataWorks mendukung penyambungan dan penggunaan berbagai sumber daya komputasi. Setelah Anda menyambungkan sumber daya komputasi, Anda dapat melakukan pemrosesan data kompleks dan mengembangkan tugas terjadwal langsung di DataStudio DataWorks. Saat menyambungkan sebagian besar jenis sumber daya komputasi ke DataWorks, sebuah sumber data dengan nama yang sama akan dibuat secara otomatis. Sumber data ini dapat digunakan dalam modul Data Integration untuk operasi seperti sinkronisasi data. Perbedaan antara mesin komputasi dan sumber data adalah sebagai berikut:
Sumber daya komputasi adalah instans mesin komputasi yang digunakan untuk mengeksekusi tugas pemrosesan dan analisis data.
Sebuah sumber data digunakan untuk menghubungkan berbagai layanan penyimpanan data guna menyimpan dan mengelola data.
Sumber daya komputasi yang didukung
Di DataWorks, Anda dapat menyambungkan sumber daya komputasi berikut untuk DataStudio.
Kategori | Jenis sumber daya komputasi | Petunjuk penyambungan sumber daya komputasi | Data Studio (versi baru) | DataStudio (versi lama) |
Komputasi offline | ||||
Kueri real-time | ||||
Menyambungkan sumber daya komputasi EMR Serverless StarRocks | ||||
Komputasi real-time | ||||
Pencarian multimodal | ||||
Manajemen kluster | ||||
Saat Anda menyambungkan sumber daya komputasi MaxCompute, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, AnalyticDB for Spark, ClickHouse, Hologres, Lindorm, EMR Serverless StarRocks, atau OpenSearch, sebuah sumber data dengan nama yang sama dibuat di ruang kerja saat ini.
Izin
Hanya anggota ruang kerja dengan peran O&M atau Administrator serta anggota dengan kebijakan akses AliyunDataWorksFullAccess atau AdministratorAccess yang dapat membuat sumber daya komputasi. Untuk informasi selengkapnya, lihat Mengontrol izin pada modul di ruang kerja dan Memberikan izin kepada Pengguna RAM.
Selain izin tersebut, kontrol akses tambahan mungkin berlaku saat membuat sumber daya komputasi tertentu. Berikan izin sesuai petunjuk pada antarmuka.
Menyambungkan sumber daya komputasi
Anda dapat menyambungkan sumber daya komputasi dari titik masuk yang berbeda tergantung pada apakah ruang kerja Anda berada dalam pratinjau publik DataStudio.
Menyambungkan sumber daya komputasi di ruang kerja dalam pratinjau publik
Masuk ke Konsol DataWorks. Beralih ke Wilayah tujuan. Di panel navigasi sebelah kiri, pilih . Temukan ruang kerja dan klik Go To Management Center.
Di panel navigasi sebelah kiri, klik Computing Resources untuk membuka halaman Sumber Daya Komputasi. Ikuti petunjuk dalam dokumen yang sesuai berdasarkan jenis sumber daya komputasi yang ingin Anda sambungkan.
DataStudio (versi baru): Menyambungkan sumber daya komputasi MaxCompute
DataStudio (versi baru): Menyambungkan sumber daya komputasi AnalyticDB for MySQL (V3.0)
DataStudio (versi baru): Menyambungkan sumber daya komputasi AnalyticDB for PostgreSQL
DataStudio (versi baru): Menyambungkan sumber daya komputasi ClickHouse
DataStudio (versi baru): Menyambungkan sumber daya komputasi Hologres
Menyambungkan sumber daya komputasi EMR Serverless StarRocks
DataStudio (versi baru): Menyambungkan sumber daya komputasi CDH
DataStudio (versi baru): Menyambungkan sumber daya komputasi EMR
Menyambungkan sumber daya komputasi di ruang kerja yang tidak dalam pratinjau publik
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di panel navigasi sebelah kiri, klik ikon
untuk membuka halaman Computing Resources. Ikuti petunjuk dalam dokumen yang sesuai berdasarkan jenis sumber daya komputasi yang ingin Anda sambungkan.Manajemen Sumber Daya: Klik Create Computing Resource di pojok kanan atas untuk membuat sumber daya komputasi.
DataStudio (versi lama): Menyambungkan sumber daya komputasi MaxCompute
DataStudio (versi lama): Menyambungkan sumber daya komputasi AnalyticDB for MySQL (V3.0)
DataStudio (versi lama): Menyambungkan sumber daya komputasi AnalyticDB for PostgreSQL
DataStudio (versi lama): Menyambungkan sumber daya komputasi ClickHouse
DataStudio (versi lama): Menyambungkan sumber daya komputasi Hologres
Manajemen Kluster: Klik Create Cluster di pojok kanan atas halaman Computing Resources untuk membuat kluster mesin komputasi.
Manajemen kluster
Versi/jenis kluster yang didukung
Referensi untuk menyambungkan kluster
Menyambungkan kluster CDH/CDP
DataWorks menyediakan CDH 5.16.2, CDH 6.1.1, CDH 6.2.1, CDH 6.3.2, dan CDP 7.1.7. Anda dapat memilih salah satu versi ini. Versi komponen untuk versi kluster ini bersifat tetap. Untuk informasi selengkapnya, lihat Informasi koneksi kluster. Jika versi kluster ini tidak memenuhi kebutuhan bisnis Anda, Anda dapat memilih Custom Version.
DataStudio (versi lama): Menyambungkan sumber daya komputasi CDH
Menyambungkan kluster EMR
Jenis kluster EMR yang didukung: Kluster DataLake (data lake baru): EMR on ECS, Kluster kustom: EMR on ECS, Kluster Hadoop (data lake lama): EMR on ECS, Kluster Spark: EMR on ACK, dan kluster EMR Serverless Spark.
PentingAnda dapat menggunakan versi EMR berikut untuk kluster Hadoop (data lake lama) di DataWorks:
EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, dan EMR-5.4.3
Kluster Hadoop (data lake lama) tidak lagi direkomendasikan. Migrasikan ke kluster DataLake sesegera mungkin. Untuk informasi selengkapnya, lihat Migrasi kluster Hadoop ke kluster DataLake.
DataStudio (versi lama): Menyambungkan sumber daya komputasi EMR
Melepas sumber daya komputasi
Berhati-hatilah saat melepas sumber daya komputasi. Operasi ini juga akan menghapus sumber data terkait yang memiliki nama yang sama. Hal ini dapat memengaruhi tugas yang mereferensikan sumber daya komputasi atau sumber data tersebut di berbagai modul, seperti Data Integration, Operation Center, DataAnalysis, API DataService Studio, dan Data Quality. Untuk memastikan bisnis Anda berjalan sebagaimana mestinya, baca prompt pada antarmuka dengan cermat sebelum melepas sumber daya tersebut. Selain itu, migrasikan semua tugas dari sumber daya komputasi tersebut ke sumber daya lainnya.
Anda dapat melepas sumber daya komputasi sesuai kebutuhan. Di halaman Sumber Daya Komputasi, temukan sumber daya komputasi yang ingin dilepas dan klik Detach di kolom Tindakan.
Lampiran: Lingkungan eksekusi tugas
Di ruang kerja mode standar, sebuah instans sumber daya komputasi memiliki dua konfigurasi lingkungan: pengembangan dan produksi. Anda dapat menentukan database atau instans yang berbeda untuk setiap lingkungan. Sistem secara otomatis memetakan dan mengakses sumber daya komputasi yang sesuai berdasarkan lingkungan runtime. Hal ini mengisolasi aktivitas pengembangan dan pengujian dari penjadwalan produksi. Misalnya, saat Anda mengeksekusi tugas sinkronisasi offline, lingkungan pengembangan secara otomatis mengakses database pengembangan yang telah dikonfigurasi sebelumnya, sedangkan jadwal produksi mengakses database produksi.
Ruang kerja mode dasar hanya memiliki satu lingkungan dan tidak dapat mengisolasi pengembangan dari produksi. Untuk informasi selengkapnya, lihat Perbandingan mode dasar dan mode standar.
Jika Anda meningkatkan ruang kerja mode dasar ke mode standar, sumber daya komputasi asli akan dibagi menjadi dua sumber daya komputasi terpisah: satu untuk lingkungan pengembangan dan satu untuk lingkungan produksi. Ruang kerja dalam pratinjau publik DataStudio tidak mendukung peningkatan. Untuk informasi selengkapnya, lihat Meningkatkan mode ruang kerja.