DataWorks:Catatan penggunaan untuk mengembangkan tugas CDP atau CDH di DataWorks

Biaya

Deskripsi

Biaya untuk edisi DataWorks yang Anda gunakan

Anda harus mengaktifkan DataWorks sebelum dapat mengembangkan tugas di DataWorks. Jika Anda mengaktifkan DataWorks Edisi Standar, DataWorks Edisi Profesional, atau DataWorks Edisi Perusahaan, Anda akan dikenai biaya edisi tersebut saat membelinya.

Biaya untuk sumber daya penjadwalan yang Anda gunakan untuk menjadwalkan tugas

Setelah tugas dikembangkan, diperlukan sumber daya penjadwalan untuk menjadwalkan tugas tersebut. Anda dapat membeli kelompok sumber daya serverless atau kelompok sumber daya eksklusif versi lama untuk penjadwalan, dan membayar kelompok sumber daya tersebut. Kami merekomendasikan Anda membeli kelompok sumber daya serverless.

Biaya untuk sumber daya yang Anda gunakan untuk menyinkronkan data

Tugas sinkronisasi data mengonsumsi sumber daya penjadwalan dan sumber daya sinkronisasi. Anda dapat membeli kelompok sumber daya serverless atau kelompok sumber daya eksklusif versi lama untuk Integrasi Data, dan membayar kelompok sumber daya tersebut. Kami merekomendasikan Anda membeli kelompok sumber daya serverless.

Biaya

Deskripsi

Biaya database

Saat Anda membaca atau menulis data ke database hulu dan hilir selama sinkronisasi data, biaya database mungkin dikenakan.

Biaya komputasi dan penyimpanan

Saat Anda menjalankan tugas mesin komputasi, biaya komputasi dan penyimpanan untuk mesin komputasi tersebut mungkin dikenakan.

Biaya layanan jaringan

Saat Anda menghubungkan lingkungan jaringan DataWorks dan produk terkait lainnya, biaya layanan jaringan mungkin dikenakan. Misalnya, jika Anda menggunakan produk seperti Express Connect, Bandwidth Internet Bersama, atau EIP untuk menghubungkan jaringan, biaya layanan untuk produk tersebut akan dikenakan.

Kategori

Deskripsi

Referensi

Pemilihan edisi

DataWorks Edisi Dasar dapat memenuhi kebutuhan dasar untuk migrasi data ke cloud, pengembangan dan penjadwalan data, serta tata kelola data sederhana untuk CDP atau CDH. Jika Anda memerlukan solusi profesional lebih lanjut untuk tata kelola data dan keamanan data, Anda dapat memilih Edisi Standar, Edisi Profesional, atau Edisi Perusahaan.

Fitur edisi DataWorks yang berbeda

Pemilihan kelompok sumber daya

Kluster CDP atau CDH saat ini mendukung kelompok sumber daya Serverless (direkomendasikan) atau kelompok sumber daya eksklusif versi sebelumnya untuk penjadwalan.

Gunakan kelompok sumber daya Serverless

Kategori

Deskripsi

Referensi

Persiapan lingkungan sinkronisasi data

Sebelum menjalankan tugas sinkronisasi data berdasarkan komponen Hive kluster, Anda harus terlebih dahulu membuat komponen tersebut sebagai sumber data DataWorks.

Sumber data yang didukung dan solusi sinkronisasi

Persiapan lingkungan pengembangan dan analisis data

Sebelum menggunakan DataWorks untuk menjadwalkan tugas mesin komputasi secara berkala, Anda harus menambahkan kluster ke DataWorks. Setelah kluster ditambahkan, Anda dapat menggunakannya untuk pengembangan data, analisis data, dan penjadwalan tugas berkala.

Pengembangan Data (Legacy): Bind a CDH compute resource

Persiapan lingkungan pengembangan kolaboratif

Untuk memastikan bahwa pengguna Manajemen Akses Sumber Daya (RAM) dapat berkolaborasi dalam ruang kerja, lakukan operasi berikut:

• Tambahkan pengguna RAM yang perlu berkolaborasi ke ruang kerja saat ini sebagai anggota dan berikan mereka role Developer.

• Tambahkan anggota ruang kerja ke lingkungan kluster CDP atau CDH.

Tambahkan anggota ke ruang kerja

Modul

Deskripsi

Referensi

Data modeling

Data Modeling adalah langkah pertama untuk tata kelola data end-to-end. Data Modeling menggunakan metodologi pemodelan mid-end data Alibaba, menginterpretasikan data bisnis perusahaan dari perspektif bisnis melalui perencanaan gudang data, standar data, pemodelan dimensional, dan modul metrik data, serta memungkinkan personel di dalam perusahaan memahami dan berbagi gagasan mengukur serta menginterpretasikan data bisnis sesuai spesifikasi gudang data dengan cepat.

Pemodelan data

Data Development

DataWorks mengenkapsulasi kemampuan mesin komputasi CDP atau CDH. Hal ini memungkinkan Anda menjalankan tugas sinkronisasi data dan pengembangan data untuk CDP atau CDH.

• Sinkronisasi data: Data Development hanya mendukung beberapa skenario sinkronisasi offline dan real-time. Untuk aplikasi sinkronisasi data lebih lanjut, gunakan modul Integrasi Data.

• Pengembangan data: Anda dapat mengembangkan berbagai tugas dan menerapkan penjadwalan berkala di DataWorks tanpa menggunakan command line yang kompleks.

• Buat node CDH Hive

• Buat node CDH Spark

• Buat node CDH MR

• Buat node CDH Presto

• Buat node CDH Impala

Anda dapat menggabungkan node tujuan umum dan node mesin komputasi di DataWorks untuk menangani logika kompleks.

Node utama adalah sebagai berikut:

• Node zero load yang digunakan untuk mengelola workflow

• Node HTTP Trigger yang digunakan dalam skenario di mana sistem penjadwalan eksternal digunakan untuk memicu penjadwalan node di DataWorks, node inspeksi objek OSS, dan node FTP Check

• Node Assignment yang digunakan untuk meneruskan parameter input dan output untuk node, serta node parameter

• Node do-while yang digunakan untuk mengeksekusi kode node dalam loop, node for-each yang digunakan untuk melintasi output node assignment dalam loop dan menilai output tersebut, serta node branch

• Node lainnya, seperti node Shell umum dan node database MySQL

• Virtual node

• HTTP Trigger Node

• OSS object inspection node

• FTP Check node

• Assignment node

• Parameter node

• Logika node do-while

• Logika node for-each

• Konfigurasi node branch

Setelah mengembangkan tugas node, Anda dapat melakukan operasi berikut:

• Konfigurasikan properti penjadwalan untuk node

  Jika Anda ingin DataWorks menjalankan tugas Anda secara berkala pada node, Anda harus mengonfigurasi properti penjadwalan untuk node tersebut, seperti dependensi penjadwalan dan parameter penjadwalan.

• Debug node

  Untuk memastikan tugas pada node di lingkungan produksi berjalan secara efisien dan mencegah pemborosan sumber daya komputasi, kami merekomendasikan Anda melakukan debug dan menjalankan tugas sebelum menerapkannya.

• Terapkan node

  Tugas pada node hanya dapat dijadwalkan untuk berjalan setelah diterapkan ke lingkungan produksi. Oleh karena itu, setelah tugas dikembangkan, Anda harus menerapkannya ke lingkungan produksi. Setelah tugas diterapkan, Anda dapat melihat dan mengelolanya di halaman Auto Triggered Nodes di Operation Center.

• Kelola node

  Anda dapat melakukan berbagai operasi pada tugas pada node, seperti menerapkan dan membatalkan penerapan tugas, serta memodifikasi properti penjadwalan untuk beberapa tugas sekaligus.

• Lakukan manajemen proses

  DataWorks menyediakan kontrol proses untuk pengembangan dan penerapan tugas guna memastikan keakuratan dan keamanan operasi yang dilakukan pada tugas. Misalnya, DataWorks menyediakan fitur tinjauan kode, pengujian asap wajib, dan kustomisasi logika tinjauan kode.

• Ikhtisar

• Proses debugging tugas

• Publikasikan tugas

• Operasi Batch

• Kontrol proses pengembangan

Operation Center

Operation Center adalah platform O&M dan pemantauan data besar end-to-end. Operation Center memungkinkan Anda melihat status tugas dan melakukan operasi O&M pada tugas yang mengalami exception. Misalnya, Anda dapat melakukan diagnostik cerdas dan menjalankan ulang tugas di Operation Center. Operation Center menyediakan fitur garis dasar cerdas yang dapat Anda gunakan untuk mengatasi masalah seperti waktu output tugas penting yang tidak terkendali dan kesulitan dalam pemantauan tugas dalam jumlah besar. Fitur ini membantu Anda memastikan ketepatan waktu output tugas.

Lakukan operasi O&M dasar pada node yang dipicu otomatis

Data Quality

Data Quality menjamin ketersediaan data untuk proses R&D data end-to-end dan menyediakan data andal untuk bisnis Anda secara efisien. Data Quality dapat membantu Anda mengidentifikasi masalah kualitas data sedini mungkin dan mencegah eskalasi masalah kualitas data melalui pemeriksaan kualitas berbasis aturan pemantauan yang efektif serta kombinasi aturan pemantauan dan proses penjadwalan tugas.

Ikhtisar Data Quality

Modul

Deskripsi

Referensi

Data Map

Data Map DataWorks menyediakan platform manajemen data tingkat perusahaan. Berdasarkan fondasi metadata terpadu, platform ini menyediakan kemampuan untuk mengelola dan menginventarisasi objek data, melihat lineage, serta mencari dan memahami objek data secara cepat dan mendalam.

Ikhtisar Data Map

Security Center

Data Security Guard

Approval Center

Security Center, Data Security Guard, dan Approval Center menyediakan antarmuka tata kelola keamanan data satu atap. Antarmuka ini mengintegrasikan klasifikasi aset data, deteksi data sensitif, manajemen otorisasi data, penyembunyian data sensitif, audit akses data sensitif, serta pendeteksian dan respons terhadap penipuan. Hal ini membantu pengguna menerapkan tata kelola keamanan data.

• Ikhtisar Security Center

• Ikhtisar Data Security Guard

• Ikhtisar Approval Center

Data Governance Center

Data Governance Center membantu pengguna melakukan tata kelola data proaktif dan sistematis. Pusat ini mencakup berbagai ranah tata kelola dengan menetapkan aturan ranah data, mendeteksi aset yang perlu dioptimalkan secara otomatis, serta menyediakan kebijakan tata kelola dan optimasi pra-kejadian dan pasca-kejadian.

Ikhtisar Data Governance Center

Modul

Deskripsi

Referensi

DataAnalysis

Modul DataAnalysis DataWorks membantu Anda melakukan analisis berbasis SQL secara online, memahami kebutuhan bisnis, mengedit dan berbagi data, serta memungkinkan Anda menyimpan hasil kueri sebagai kartu grafik dan dengan cepat menghasilkan laporan data visual berdasarkan kartu grafik tersebut untuk pelaporan harian.

Untuk informasi selengkapnya, lihat Ikhtisar DataAnalysis.

DataService Studio

DataService Studio dirancang untuk menyediakan kemampuan layanan dan berbagi data komprehensif bagi perusahaan serta membantu perusahaan mengelola layanan API untuk sistem internal dan eksternal secara terpusat.

Untuk informasi selengkapnya, lihat Ikhtisar DataService Studio.

Item

Deskripsi

Referensi

OpenAPI

Modul OpenAPI memungkinkan Anda memanggil operasi API DataWorks sehingga Anda dapat mengintegrasikan aplikasi Anda dengan DataWorks. Hal ini dapat membantu memfasilitasi pemrosesan data besar, mengurangi operasi manual dan O&M, meminimalkan risiko data, serta mengurangi biaya bagi perusahaan.

Open API

OpenEvent

Modul OpenEvent memungkinkan Anda berlangganan event perubahan DataWorks yang terkait dengan aplikasi Anda sehingga Anda dapat mendeteksi dan merespons perubahan tersebut sedini mungkin.

Ikhtisar OpenEvent

Extensions

Anda dapat menggunakan modul OpenEvent untuk berlangganan pesan event yang dihasilkan di ruang kerja DataWorks Anda. Anda dapat menggunakan modul Extensions untuk mendaftarkan program lokal Anda sebagai ekstensi guna mengelola event dan proses titik ekstensi.

Ikhtisar Extensions