DataWorks：Catatan penggunaan untuk pengembangan tugas EMR di DataWorks

Biaya

Deskripsi

Biaya untuk edisi DataWorks yang Anda gunakan

Anda harus mengaktifkan DataWorks sebelum Anda dapat mengembangkan tugas di DataWorks. Jika Anda mengaktifkan Edisi Standar DataWorks, Edisi Profesional DataWorks, atau Edisi Enterprise DataWorks, Anda akan dikenakan biaya untuk edisi tersebut saat Anda membelinya.

Biaya untuk sumber daya penjadwalan yang Anda gunakan untuk menjadwalkan tugas

Setelah tugas-tugas dikembangkan, sumber daya penjadwalan diperlukan untuk menjadwalkan tugas-tugas tersebut. Anda dapat membeli grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk penjadwalan, dan membayar untuk grup sumber daya tersebut. Kami menyarankan Anda untuk membeli grup sumber daya serverless.

Biaya untuk sumber daya yang Anda gunakan untuk mensinkronkan data

Tugas sinkronisasi data mengonsumsi sumber daya penjadwalan dan sumber daya sinkronisasi. Anda dapat membeli grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk Integrasi Data, dan membayar untuk grup sumber daya tersebut. Kami menyarankan Anda untuk membeli grup sumber daya serverless.

Biaya

Deskripsi

Biaya database

Saat Anda menjalankan tugas sinkronisasi data untuk membaca data dari dan menulis data ke database, biaya database mungkin akan timbul.

Biaya komputasi dan penyimpanan

Saat Anda menjalankan tugas jenis mesin komputasi tertentu, biaya komputasi dan penyimpanan untuk jenis mesin komputasi tersebut mungkin akan timbul.

Biaya layanan jaringan

Saat Anda membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, biaya layanan jaringan mungkin akan timbul. Misalnya, jika Anda menggunakan layanan seperti Express Connect, Elastic IP Address (EIP), dan Internet Shared Bandwidth untuk membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, Anda mungkin akan dikenakan biaya layanan jaringan.

Item

Deskripsi

Referensi

Pilih edisi DataWorks

DataWorks Edisi Dasar memungkinkan Anda melakukan operasi dasar berikut selama pengembangan data EMR: migrasi data ke cloud, pengembangan data, penjadwalan tugas EMR, dan tata kelola data. Jika Anda ingin menggunakan solusi tata kelola data dan keamanan data yang lebih canggih, Anda dapat membeli edisi lanjutan DataWorks, seperti DataWorks Edisi Standar, DataWorks Edisi Profesional, atau DataWorks Edisi Enterprise.

Perbedaan di antara edisi DataWorks

Pilih grup sumber daya

Anda hanya dapat menggunakan grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk menjalankan tugas EMR. Kami menyarankan Anda untuk menggunakan grup sumber daya serverless.

• Buat dan gunakan grup sumber daya serverless

• Gunakan grup sumber daya versi lama

Item

Deskripsi

Referensi

Siapkan lingkungan sinkronisasi data

Sebelum Anda menjalankan tugas sinkronisasi data berdasarkan layanan EMR, Anda harus menambahkan layanan EMR ke DataWorks sebagai sumber data.

Jenis sumber data yang didukung dan operasi sinkronisasi

Siapkan lingkungan untuk pengembangan data dan analisis

Sebelum Anda mengaktifkan DataWorks untuk menjadwalkan tugas EMR secara berkala, Anda harus menambahkan kluster EMR ke DataWorks sebagai sumber data. Kemudian, Anda dapat menggunakan sumber data tersebut untuk melakukan operasi seperti pengembangan data, analisis data, dan penjadwalan tugas periodik.

Daftarkan kluster EMR ke DataWorks

Siapkan lingkungan pengembangan kolaboratif

Untuk memastikan bahwa pengguna RAM dapat berkolaborasi satu sama lain untuk mengembangkan data di ruang kerja, Anda harus melakukan operasi berikut:

• Tambahkan pengguna RAM ke ruang kerja saat ini sebagai anggota dan tetapkan peran Pengembangan kepada pengguna RAM di ruang kerja.

• Tambahkan anggota ruang kerja ke kluster EMR yang diinginkan.

• Kelola izin pada layanan tingkat ruang kerja

• Kelola pengguna OpenLDAP

Modul

Deskripsi

Referensi

Pemodelan Data

Pemodelan Data merupakan langkah awal dalam tata kelola data ujung ke ujung. Pendekatan ini menggunakan metodologi pemodelan dari mid-end data Alibaba untuk menafsirkan data bisnis perusahaan dari sudut pandang bisnis. Pemodelan mencakup modul perencanaan gudang data, standar data, pemodelan dimensional, dan metrik data, sehingga memungkinkan personel di perusahaan untuk dengan cepat memahami serta berbagi gagasan tentang cara mengukur dan menafsirkan data bisnis sesuai spesifikasi gudang data.

Ikhtisar Pemodelan Data

DataStudio

DataWorks mengenkapsulasi kemampuan mesin komputasi EMR. Dengan cara ini, Anda dapat menggunakan mesin komputasi EMR untuk menjalankan tugas sinkronisasi data EMR dan tugas pengembangan EMR.

• Sinkronisasi data: DataStudio hanya mendukung skenario sinkronisasi batch dan real-time tertentu. Untuk informasi lebih lanjut tentang skenario sinkronisasi data, lihat Ikhtisar Integrasi Data.

• Pengembangan data: Anda dapat mengembangkan dan mengizinkan sistem untuk menjadwalkan berbagai jenis tugas secara berkala di DataWorks tanpa perlu menggunakan baris perintah yang kompleks.

• Buat Node EMR Hive

• Buat Node EMR MR

• Buat Node EMR Spark SQL

• Buat Node EMR Spark

• Buat Node EMR Shell

• Buat node EMR Presto

• Buat node EMR Spark Streaming

• Buat Node EMR Kyuubi

• Buat Node EMR Trino

• Buat Tabel EMR

• Buat dan Gunakan Sumber Daya EMR

• Buat Fungsi EMR

Anda dapat menggunakan node umum dan node jenis mesin komputasi tertentu di DataWorks untuk memproses logika yang kompleks.

DataWorks mendukung jenis node umum berikut:

• Node beban nol yang digunakan untuk mengelola alur kerja

• Node Pemicu HTTP yang digunakan dalam skenario di mana sistem penjadwalan eksternal digunakan untuk memicu penjadwalan node di DataWorks, node pemeriksaan objek OSS, dan node Pemeriksaan FTP

• Node penugasan yang digunakan untuk melewati parameter input dan output untuk node, dan node parameter

• Node do-while yang digunakan untuk mengeksekusi kode node dalam loop, node for-each yang digunakan untuk melintasi output node penugasan dalam loop dan menilai output tersebut, dan node cabang

• Node lainnya, seperti node Shell umum dan node database MySQL

• Buat dan Gunakan Node Beban Nol

• Buat Node Pemicu HTTP

• Node Pemeriksaan Objek OSS

• Buat Node Pemeriksaan FTP

• Konfigurasikan Node Penugasan

• Buat Node Parameter

• Logika Node do-while

• Logika Node For-Each

• Konfigurasikan Node Cabang

Setelah tugas pada node dikembangkan, Anda dapat melakukan operasi berikut berdasarkan kebutuhan bisnis Anda:

• Konfigurasikan properti penjadwalan untuk node

  Jika Anda ingin mengaktifkan DataWorks untuk menjalankan tugas Anda pada node secara berkala, Anda harus mengonfigurasi properti penjadwalan untuk node tersebut, seperti dependensi penjadwalan dan parameter penjadwalan.

• Debug node

  Untuk memastikan bahwa tugas pada node di lingkungan produksi dijalankan secara efisien dan mencegah pemborosan sumber daya komputasi, kami menyarankan Anda untuk men-debug dan menjalankan tugas sebelum menerapkannya.

• Terapkan node

  Tugas pada node hanya dapat dijadwalkan untuk dijalankan setelah diterapkan ke lingkungan produksi. Oleh karena itu, setelah tugas-tugas tersebut dikembangkan, Anda harus menerapkan tugas-tugas tersebut ke lingkungan produksi. Setelah tugas diterapkan, Anda dapat melihat dan mengelola tugas-tugas tersebut di halaman Auto Triggered Nodes di Operation Center.

• Kelola node

  Anda dapat melakukan berbagai operasi pada tugas-tugas di node, seperti menerapkan dan menonaktifkan tugas, serta memodifikasi properti penjadwalan untuk beberapa tugas sekaligus.

• Lakukan manajemen proses

  DataWorks menyediakan kontrol proses untuk pengembangan dan penerapan tugas untuk memastikan akurasi dan keamanan operasi yang dilakukan pada tugas. Misalnya, DataWorks menyediakan fitur tinjauan kode, pengujian asap paksa, dan logika kustomisasi tinjauan kode.

• Ikhtisar

• Prosedur Debugging

• Terapkan Node

• Lakukan Operasi Batch

• Manajemen Proses

Pusat Operasi

Pusat Operasi merupakan platform pemantauan dan O&M big data ujung ke ujung. Platform ini memungkinkan Anda melihat status tugas serta melakukan operasi O&M pada tugas yang mengalami pengecualian, seperti diagnosis cerdas dan menjalankan ulang tugas. Pusat Operasi juga menyediakan fitur baseline cerdas untuk membantu menyelesaikan masalah seperti waktu output yang tidak terkendali dari tugas penting dan kesulitan dalam pemantauan tugas massal, sehingga memastikan ketepatan waktu output tugas.

Lakukan Operasi O&M Dasar pada Node Pemicu Otomatis

Kualitas Data

Kualitas Data memastikan ketersediaan data untuk proses R&D data ujung ke ujung serta menyediakan data yang andal bagi bisnis Anda secara efisien. Kualitas Data membantu mengidentifikasi masalah kualitas data sedini mungkin dan mencegah eskalasi masalah tersebut melalui pemeriksaan kualitas berbasis aturan pemantauan yang efektif, dikombinasikan dengan proses penjadwalan tugas.

Ikhtisar Kualitas Data

Modul

Deskripsi

Referensi

Peta Data

Peta Data adalah platform manajemen data tingkat perusahaan yang menyediakan kemampuan manajemen, pengurutan, pencarian cepat, dan pemahaman mendalam untuk objek data berdasarkan layanan metadata terpadu tingkat bawah.

Ikhtisar Peta Data

Pusat Keamanan

Penjaga Keamanan Data

Pusat Persetujuan

Pusat Keamanan adalah platform tata kelola keamanan data ujung ke ujung yang mencakup klasifikasi aset data, identifikasi data sensitif, manajemen otorisasi terkait data, masking data sensitif, audit akses ke data sensitif, dan identifikasi serta respons risiko. Pusat Keamanan membantu Anda menentukan masalah tata kelola keamanan data.

• Ikhtisar Pusat Keamanan

• Ikhtisar Penjaga Keamanan Data

• Ikhtisar Pusat Persetujuan

Pusat Tata Kelola Data

Pusat Tata Kelola Data secara otomatis mengidentifikasi item yang perlu dikelola untuk berbagai bidang tata kelola berdasarkan aturan yang berasal dari pengalaman di bidang terkait data, dan menyediakan solusi tata kelola dan optimasi yang mencakup pencegahan masalah pra-kejadian dan resolusi masalah pasca-kejadian. Pusat Tata Kelola Data dapat membantu Anda menyelesaikan tata kelola data secara aktif dan sistematis.

Ikhtisar Pusat Tata Kelola Data

Modul

Deskripsi

Referensi

DataAnalysis

Modul DataAnalysis dari DataWorks membantu Anda melakukan analisis berbasis SQL secara online, memahami persyaratan bisnis, dan mengedit serta berbagi data, serta memungkinkan Anda menyimpan hasil kueri sebagai kartu grafik dan dengan cepat menghasilkan laporan data visual berdasarkan kartu grafik tersebut untuk pelaporan harian.

Untuk informasi lebih lanjut, lihat Ikhtisar DataAnalysis.

DataService Studio

DataService Studio dirancang untuk menyediakan kemampuan layanan data dan berbagi data yang komprehensif bagi perusahaan dan membantu perusahaan mengelola layanan API untuk sistem internal dan eksternal secara terpusat.

Untuk informasi lebih lanjut, lihat Ikhtisar DataService Studio.

Item

Deskripsi

Referensi

OpenAPI

Modul OpenAPI memungkinkan Anda memanggil operasi API DataWorks sehingga Anda dapat mengintegrasikan aplikasi Anda dengan DataWorks. Ini dapat membantu memfasilitasi pemrosesan big data, mengurangi operasi manual dan operasi O&M, meminimalkan risiko data, dan mengurangi biaya untuk perusahaan.

OpenAPI

OpenEvent

Modul OpenEvent memungkinkan Anda berlangganan peristiwa perubahan DataWorks yang terkait dengan aplikasi Anda sehingga Anda dapat mendeteksi dan merespons perubahan tersebut sedini mungkin.

Ikhtisar OpenEvent

Ekstensi

Anda dapat menggunakan modul OpenEvent untuk berlangganan pesan peristiwa yang dihasilkan di ruang kerja DataWorks Anda. Anda dapat menggunakan modul Ekstensi untuk mendaftarkan program lokal Anda sebagai ekstensi untuk mengelola titik peristiwa ekstensi dan proses.

Ikhtisar Ekstensi