DataWorks memungkinkan Anda membuat node seperti Hive, MR, Presto, dan Impala berdasarkan kluster Cloudera's Distribution Including Apache Hadoop (CDH) atau Cloudera Data Platform (CDP). Anda dapat mengonfigurasi alur kerja tugas, mengaktifkan penjadwalan berkala, serta mengelola metadata untuk kluster CDP/CDH Anda, sehingga menjamin produksi dan manajemen data yang efisien serta stabil. Topik ini menjelaskan alur kerja pengembangan dasar untuk menggunakan CDP/CDH di DataWorks, mencakup penagihan, persiapan lingkungan, dan kontrol akses.
Latar Belakang
-
CDH adalah distribusi platform open source dari Cloudera yang menyediakan fitur siap pakai untuk manajemen kluster, pemantauan, dan diagnostik, serta mendukung berbagai komponen untuk alur kerja data besar end-to-end.
-
CDP adalah platform data publik yang mengumpulkan dan mengintegrasikan data pelanggan dari berbagai platform, memungkinkan Anda mengumpulkan data secara real-time dan membangun profil data pengguna individual.
Anda dapat mendaftarkan kluster CDH dan CDP ke DataWorks untuk melakukan operasi pengembangan dan tata kelola data sesuai kebutuhan bisnis, termasuk pengembangan tugas, penjadwalan, Peta Data (manajemen metadata), dan kualitas data.
Batasan
Anda hanya dapat menjalankan tugas pada kluster CDH atau CDP dengan menggunakan kelompok sumber daya arsitektur tanpa server (disarankan) atau kelompok sumber daya eksklusif versi lama untuk penjadwalan.
Catatan(Disarankan) Kelompok sumber daya arsitektur tanpa server adalah kelompok sumber daya serbaguna yang dapat digunakan untuk berbagai jenis tugas, seperti sinkronisasi data dan penjadwalan tugas. Untuk informasi cara membeli kelompok sumber daya arsitektur tanpa server, lihat Gunakan kelompok sumber daya arsitektur tanpa server. Jika Anda telah membeli kelompok sumber daya eksklusif versi lama untuk penjadwalan, Anda dapat menggunakannya untuk menjalankan tugas pada kluster CDH atau CDP Anda.
Pengguna baru hanya dapat membeli kelompok sumber daya arsitektur tanpa server.
Jika Anda mendaftarkan kluster dengan versi Custom Version ke DataWorks, Anda hanya dapat menggunakan kelompok sumber daya eksklusif versi lama untuk penjadwalan. Untuk informasi lebih lanjut tentang versi kluster, lihat Langkah 2: Daftarkan kluster CDH atau CDP.
Anda hanya dapat mendaftarkan kluster CDH atau CDP ke DataWorks di wilayah berikut: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), Tiongkok (Shenzhen), Tiongkok (Zhangjiakou), Tiongkok (Chengdu), dan Jerman (Frankfurt).
Prasyarat
DataWorks telah diaktifkan. Untuk informasi lebih lanjut, lihat Aktifkan DataWorks.
Kluster CDP atau CDH telah dideploy dan didaftarkan.
DataWorks mendukung kluster CDP atau CDH yang dideploy di lingkungan selain Alibaba Cloud ECS. Namun, lingkungan kluster tersebut harus dapat terhubung ke VPC Alibaba Cloud. Anda dapat menggunakan solusi seperti Express Connect atau VPN untuk memastikan konektivitas jaringan. Untuk informasi lebih lanjut, lihat Bind a CDH or CDP compute resource.
Kelompok sumber daya arsitektur tanpa server telah dibeli.
Secara default, kelompok sumber daya arsitektur tanpa server yang telah dibeli tidak terhubung ke jaringan layanan cloud lainnya. Untuk menggunakan kluster CDP atau CDH, Anda harus terlebih dahulu menetapkan konektivitas jaringan antara kluster dan kelompok sumber daya arsitektur tanpa server. Untuk informasi lebih lanjut tentang cara membeli kelompok sumber daya, lihat Gunakan kelompok sumber daya arsitektur tanpa server.
Ruang kerja DataWorks telah dibuat. Untuk informasi lebih lanjut, lihat Konfigurasikan ruang kerja.
Catatan penggunaan
Tabel berikut menjelaskan cara mengembangkan tugas untuk CDP/CDH di DataWorks.
Item | Deskripsi |
Saat Anda mengembangkan tugas CDP atau CDH di DataWorks, biaya akan dikenakan untuk DataWorks dan layanan lainnya. | |
Sebelum mengembangkan tugas CDP atau CDH di DataWorks, Anda harus membeli edisi DataWorks dan kelompok sumber daya yang diperlukan sesuai kebutuhan bisnis Anda, serta menyelesaikan pendaftaran kluster CDP atau CDH dan persiapan lingkungan pengembangan. | |
DataWorks menyediakan kontrol akses tingkat produk dan tingkat modul. Anda dapat memberikan izin berbeda kepada pengguna berbeda sesuai kebutuhan bisnis Anda untuk menerapkan pengelolaan izin detail halus. | |
Data Integration DataWorks memungkinkan Anda membaca dan menulis data ke Hive CDP/CDH, serta mendukung berbagai skenario sinkronisasi data, seperti tugas sinkronisasi batch dan sinkronisasi penuh maupun inkremental. | |
DataWorks menyediakan layanan pemodelan data yang mengorganisasi data yang tidak terstruktur, tersebar, dan kompleks menjadi bentuk yang terstruktur dan mudah dikelola. Layanan ini juga menawarkan Data Studio untuk mengembangkan tugas terjadwal, yang bekerja sama dengan Operation Center untuk pemantauan dan O&M tugas. | |
DataWorks menyediakan kemampuan manajemen metadata dan Tata Kelola Data untuk CDP dan CDH. | |
Data Analysis DataWorks menyediakan kemampuan analisis dan berbagi layanan data untuk CDP dan CDH. | |
DataWorks menyediakan API terbuka yang membantu Anda mengintegrasikan berbagai aplikasi dengan DataWorks secara cepat untuk manajemen alur kerja data, tata kelola data, dan O&M, sehingga memungkinkan respons tepat waktu terhadap perubahan status bisnis di berbagai aplikasi terintegrasi. |
Penagihan
1. Biaya DataWorks
Biaya ini muncul pada tagihan DataWorks Anda. Untuk informasi lebih lanjut tentang penagihan DataWorks, lihat Item yang Dikenai Biaya pada DataWorks.
Biaya | Deskripsi |
Biaya edisi DataWorks | Sebelum Anda dapat mengembangkan tugas, Anda harus mengaktifkan DataWorks. Jika Anda mengaktifkan DataWorks Edisi Standar, Edisi Profesional, atau Edisi Perusahaan, Anda harus membayar biaya untuk edisi yang dipilih. |
Biaya sumber daya penjadwalan | Setelah Anda mengembangkan tugas, tugas tersebut memerlukan sumber daya penjadwalan agar dapat dijalankan sesuai jadwal. Anda dapat menggunakan kelompok sumber daya arsitektur tanpa server (disarankan) atau kelompok sumber daya eksklusif versi lama dan membayar biaya yang sesuai. Catatan Kelompok sumber daya arsitektur tanpa server dapat digunakan baik untuk penjadwalan tugas maupun sinkronisasi data. |
Biaya sumber daya sinkronisasi | Saat Anda menjalankan tugas sinkronisasi data, Anda memerlukan sumber daya sinkronisasi data selain sumber daya penjadwalan. Anda dapat menggunakan kelompok sumber daya arsitektur tanpa server (disarankan) atau kelompok sumber daya eksklusif versi lama untuk integrasi data dan membayar biaya yang sesuai. |
Tidak ada biaya penjadwalan untuk tugas yang dijalankan menggunakan fitur Run atau Run with Parameters pada halaman DataStudio.
Tidak ada biaya penjadwalan untuk tugas yang gagal dijalankan atau dijalankan sebagai dry run.
Untuk informasi tentang cara DataWorks mendispatch tugas penjadwalan guna membantu Anda memahami rincian penagihan dengan lebih baik, lihat Cara DataWorks mendispatch tugas penjadwalan.
II. Biaya non-DataWorks
Biaya berikut tidak termasuk dalam tagihan DataWorks.
Biaya yang dikenakan oleh layanan lain ditentukan oleh aturan penagihan layanan yang bersangkutan. Anda dapat melihat dokumentasi penagihan layanan yang bersangkutan untuk detailnya. Untuk informasi lebih lanjut, lihat Penagihan.
Biaya | Deskripsi |
Biaya database | Saat Anda melakukan sinkronisasi data, biaya mungkin dikenakan untuk membaca dan menulis data ke database hulu dan hilir. |
Biaya komputasi dan penyimpanan | Saat Anda menjalankan tugas mesin komputasi, biaya komputasi dan penyimpanan dari mesin komputasi mungkin dikenakan. |
Biaya layanan jaringan | Saat Anda menghubungkan DataWorks ke layanan lain melalui jaringan, biaya layanan jaringan mungkin dikenakan. Misalnya, jika Anda menggunakan Express Connect, bandwidth bersama, atau EIP untuk menetapkan konektivitas jaringan, biaya layanan yang sesuai akan dikenakan. |
Prasyarat
I. Persiapan sumber daya
Kategori | Deskripsi | Referensi |
Pemilihan edisi | DataWorks Edisi Dasar dapat memenuhi kebutuhan dasar CDP atau CDH untuk migrasi data ke cloud, pengembangan dan penjadwalan data, serta Tata Kelola Data sederhana. Untuk mengakses solusi Tata Kelola Data dan Keamanan Data yang lebih profesional, Anda dapat memilih Edisi Standar, Edisi Profesional, atau Edisi Perusahaan. | |
Pemilihan kelompok sumber daya | Kluster CDP atau CDH hanya mendukung kelompok sumber daya arsitektur tanpa server (disarankan) atau kelompok sumber daya eksklusif versi lama untuk penjadwalan. |
II. Persiapan lingkungan pengembangan
Anda harus mendaftarkan kluster CDP atau CDH ke ruang kerja DataWorks sebelum dapat melakukan pengembangan data di Data Studio, serta mengelola anggota ruang kerja untuk pengembangan kolaboratif.
Kategori | Deskripsi | Referensi |
Persiapan lingkungan sinkronisasi data | Sebelum menjalankan tugas sinkronisasi data berdasarkan komponen Hive kluster, Anda harus membuat sumber data DataWorks yang sesuai untuk komponen tersebut. | |
Data Studio dan Analisis Data: Persiapan Lingkungan | Sebelum menggunakan DataWorks untuk penjadwalan berkala tugas mesin komputasi, Anda harus menambahkan kluster ke DataWorks. Setelah kluster ditambahkan, Anda dapat menggunakannya untuk pengembangan data, Analisis Data, dan penjadwalan tugas berkala. | |
Persiapan lingkungan pengembangan kolaboratif | Untuk memungkinkan Pengguna RAM berkolaborasi dalam ruang kerja, lakukan langkah-langkah berikut:
|
Kontrol akses
DataWorks menyediakan kontrol akses tingkat produk dan tingkat modul. Anda dapat memberikan izin berbeda kepada pengguna berbeda sesuai kebutuhan bisnis Anda. Bagian berikut menjelaskan fitur kontrol akses tersebut.
I. Kontrol akses data
Untuk Pengguna RAM yang ditambahkan ke ruang kerja DataWorks untuk mengembangkan tugas CDP atau CDH, Anda dapat mengonfigurasi pemetaan akun kluster sehingga anggota ruang kerja (Pengguna RAM) memiliki izin akun kluster yang dipetakan. Untuk informasi lebih lanjut tentang pemetaan akun kluster, lihat Konfigurasikan pemetaan akun kluster.
II. Kontrol akses tingkat modul
Sebelum memulai pengembangan data, Anda dapat merujuk ke Berikan izin kepada Pengguna RAM untuk memberikan izin operasi berbeda kepada Pengguna RAM. Jenis izin berikut tersedia:
Gunakan kebijakan RAM untuk mengelola izin pada modul DataWorks (misalnya, tolak akses pengguna ke Peta Data) dan Konsol DataWorks (misalnya, izinkan pengguna menghapus ruang kerja).
Gunakan peran ruang kerja untuk mengelola izin pada modul tingkat ruang kerja (misalnya, izinkan pengguna mengakses Data Studio untuk pengembangan) dan modul global (misalnya, tolak akses pengguna ke modul Penjaga Keamanan Data).
Memulai
DataWorks menyediakan beberapa modul. Anda dapat mengembangkan tugas penjadwalan di Data Studio, lalu membuka Operation Center untuk memantau dan mengelola tugas tersebut. DataWorks juga menyediakan kontrol proses untuk pengembangan dan penerapan tugas guna membantu Anda menstandarkan operasi pengembangan dan memastikan keamanan selama proses pengembangan.
I. Integrasi Data
Modul Integrasi Data DataWorks memungkinkan Anda membaca dan menulis data ke Hive CDP/CDH dan HBase CDP/CDH. Anda harus membuat komponen Hive atau HBase sebagai sumber data Hive atau HBase DataWorks untuk menyinkronkan data dari sumber data lain ke sumber data Hive atau HBase, atau sebaliknya. Anda dapat memilih tugas sinkronisasi batch atau tugas sinkronisasi penuh dan inkremental sesuai kebutuhan Anda. Untuk informasi lebih lanjut, lihat Integrasi Data.
II. Pengembangan dan Operasi Data
Modul | Deskripsi | Referensi |
Pemodelan Data | Pemodelan data merupakan langkah pertama dalam tata kelola data end-to-end. Mengacu pada metodologi pemodelan platform data Alibaba, pemodelan ini mencakup empat aspek — perencanaan gudang data, standar data, pemodelan dimensional, dan metrik data — untuk menginterpretasikan data bisnis dari perspektif bisnis, sehingga memungkinkan pemahaman dan komunikasi data yang konsisten di seluruh organisasi. | |
Data Studio | DataWorks mengenkapsulasi kemampuan mesin komputasi CDP atau CDH, memungkinkan Anda menjalankan tugas sinkronisasi data dan pengembangan data CDP atau CDH.
| |
Anda dapat menggabungkan node serbaguna DataWorks dan node mesin komputasi untuk pemrosesan logika kompleks. Berikut adalah node utama:
| ||
Setelah menyelesaikan pengembangan tugas node, Anda dapat melakukan operasi berikut sesuai kebutuhan:
| ||
Operation Center | Operation Center adalah platform O&M dan pemantauan data besar terpadu yang memungkinkan Anda melihat status tugas secara real-time dan menyediakan diagnostik cerdas, rerun, serta operasi O&M lainnya untuk tugas abnormal. Fitur smart baseline-nya membantu Anda mengatasi masalah seperti waktu penyelesaian tugas kritis yang tidak dapat diprediksi dan kesulitan memantau volume tugas yang sangat besar, sehingga memastikan tugas diselesaikan tepat waktu. | |
Kualitas Data | Kualitas Data menjamin ketersediaan data sepanjang siklus hidup pengembangan data. Melalui validasi aturan kualitas data yang efisien dan terintegrasi erat dengan alur kerja penjadwalan tugas, fitur ini membantu Anda mengidentifikasi masalah kualitas sedini mungkin, mencegah penyebarannya secara efektif, serta menghasilkan data yang efisien, andal, dan dapat dipercaya untuk bisnis Anda. |
III. Tata Kelola Data
Setelah kluster CDP/CDH didaftarkan, DataWorks secara otomatis mengumpulkan metadata dari sumber data Anda. Anda dapat membuka Peta Data untuk melihat metadata tersebut. Anda juga dapat membuka Tata Kelola Aset Data untuk melihat isu tata kelola yang terdeteksi oleh DataWorks dan melakukan operasi tata kelola.
Modul | Deskripsi | Referensi |
Peta Data | Peta Data DataWorks menyediakan platform manajemen data tingkat perusahaan. Berdasarkan metadata terpadu, platform ini menawarkan kemampuan manajemen dan inventaris objek data, tampilan lineage, serta kemampuan untuk menemukan dan memahami objek data secara cepat dan mendalam. Catatan Saat ini lineage tingkat tabel dan kolom didukung untuk node CDH Hive, CDH Spark, CDH Spark SQL, dan CDH Impala. Untuk informasi lebih lanjut, lihat Lineage. | |
Pusat Keamanan Penjaga Keamanan Data Pusat persetujuan | Pusat Keamanan, Penjaga Keamanan Data, dan pusat persetujuan menyediakan antarmuka tata kelola keamanan data terpadu yang mencakup klasifikasi aset data, identifikasi data sensitif, manajemen akses data, penyembunyian data sensitif, audit akses data sensitif, serta identifikasi dan respons risiko, membantu Anda menerapkan tata kelola keamanan data. Catatan Pusat persetujuan tidak mendukung alur kerja persetujuan kustom untuk tabel CDH/CDP. | |
Tata Kelola Aset Data | Tata Kelola Aset Data menyediakan tata kelola data proaktif dan sistematis di berbagai domain tata kelola dengan mengkonsolidasikan aturan tata kelola, mengidentifikasi secara otomatis isu optimasi aset, serta menerapkan kebijakan optimasi tata kelola pra-event dan pasca-event. Catatan Hanya item pemeriksaan global dan item tata kelola di Tata Kelola Aset Data yang dapat digunakan untuk mengelola isu data CDH/CDP. Fitur spesifik yang didukung bergantung pada penggunaan aktual. |
4. Analisis dan layanan data
DataWorks menyediakan fitur pemrosesan, analisis, dan layanan data, mendukung berbagi dan akses data yang efisien melalui API yang dikelola secara terpusat.
Modul | Deskripsi | Dokumentasi terkait |
DataAnalysis | Memungkinkan Anda menjalankan kueri SQL online, memperoleh insight bisnis, serta mengedit dan berbagi data. Anda juga dapat menyimpan hasil kueri sebagai kartu grafik untuk membangun laporan data visual secara cepat. | |
Studio Layanan Data | Studio Layanan Data menyediakan kemampuan layanan dan berbagi data yang komprehensif, membantu perusahaan mengelola layanan API secara terpusat untuk penggunaan internal maupun eksternal. |
5. Platform Terbuka
DataWorks mendukung kemampuan terbuka untuk membantu Anda mengintegrasikan berbagai sistem aplikasi dengan DataWorks secara cepat. Hal ini memfasilitasi kontrol proses pengembangan, tata kelola data, dan O&M, serta membantu Anda merespons perubahan status bisnis di sistem aplikasi terintegrasi.
Kategori | Deskripsi | Dokumentasi terkait |
OpenAPI | Fitur OpenAPI dari Platform Terbuka menyediakan API yang memungkinkan interaksi antara layanan on-premises dan layanan DataWorks. Hal ini meningkatkan efisiensi pemrosesan data besar, mengurangi operasi manual dan O&M, serta menurunkan risiko dan biaya data. | |
OpenEvent | Fitur OpenEvent dari Platform Terbuka menyediakan layanan langganan pesan. Dengan berlangganan status event DataWorks, sistem aplikasi Anda dapat menerima perubahan status secara real-time, membantu Anda merespons event secara tepat waktu dan memenuhi kebutuhan pengambilan keputusan personalisasi. | |
Ekstensi | DataWorks menyediakan fitur langganan dorong pesan berbasis OpenEvent. Anda dapat mendaftarkan program layanan sebagai ekstensi DataWorks untuk mengintersepsi dan merespons pesan event yang dilangganan. Hal ini memungkinkan Anda menerapkan notifikasi pesan dan kontrol proses untuk event tertentu melalui ekstensi tersebut. |