DataWorks：Catatan penggunaan untuk pengembangan tugas Hologres di DataWorks

Biaya

Deskripsi

Biaya untuk Edisi DataWorks yang Digunakan

Anda harus mengaktifkan DataWorks sebelum mengembangkan tugas di platform ini. Jika Anda menggunakan DataWorks Edisi Standar, Edisi Profesional, atau Edisi Perusahaan, Anda akan dikenakan biaya sesuai dengan edisi yang dipilih saat pembelian.

Biaya untuk Sumber Daya Penjadwalan

Setelah tugas dikembangkan, sumber daya penjadwalan diperlukan untuk menjalankan tugas secara berkala. Anda dapat membeli grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk penjadwalan, dan membayar sesuai dengan kebutuhan. Kami merekomendasikan penggunaan grup sumber daya serverless.

Biaya untuk Sumber Daya Sinkronisasi Data

Tugas sinkronisasi data memerlukan sumber daya penjadwalan dan sumber daya sinkronisasi. Anda dapat membeli grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk Data Integration, dan membayar sesuai dengan kebutuhan. Kami merekomendasikan penggunaan grup sumber daya serverless.

Biaya

Deskripsi

Biaya database

Saat Anda menjalankan tugas sinkronisasi data untuk membaca data dari dan menulis data ke database, biaya database mungkin dihasilkan.

Biaya komputasi dan penyimpanan

Saat Anda menjalankan tugas jenis mesin komputasi tertentu, biaya komputasi dan penyimpanan jenis mesin komputasi ini mungkin dihasilkan. Misalnya, jika Anda membuat dan menjalankan tugas SQL Hologres untuk menanyakan data Hologres, Anda mungkin dikenakan biaya untuk sumber daya komputasi dan penyimpanan mesin komputasi Hologres.

Biaya layanan jaringan

Saat Anda membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, biaya layanan jaringan mungkin dihasilkan. Misalnya, jika Anda menggunakan layanan seperti Express Connect, Elastic IP Address (EIP), dan Internet Shared Bandwidth untuk membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, Anda mungkin dikenakan biaya layanan jaringan.

Item

Deskripsi

Referensi

Pilih edisi DataWorks

DataWorks Edisi Dasar memungkinkan Anda melakukan operasi dasar berikut selama pengembangan data Hologres: migrasi data ke cloud, pengembangan data, penjadwalan tugas Hologres, dan tata kelola data. Jika Anda ingin menggunakan solusi tata kelola data dan keamanan data yang lebih canggih, Anda dapat membeli DataWorks Edisi Standar, DataWorks Edisi Profesional, atau DataWorks Edisi Perusahaan.

Perbandingan antara DataWorks Edisi Dasar dan DataWorks edisi lanjutan serta deskripsi peningkatan edisi

Pilih grup sumber daya

• Grup sumber daya serverless (direkomendasikan): Anda dapat menggunakan satu grup sumber daya serverless dalam sinkronisasi data, penjadwalan, dan DataService Studio pada saat yang sama. Anda dapat merencanakan dan mengalokasikan sumber daya berdasarkan kebutuhan bisnis Anda.

• Grup sumber daya versi lama (grup sumber daya eksklusif atau grup sumber daya bersama): Kebutuhan penjadwalan dasar dapat dipenuhi. Grup sumber daya versi lama akan dihentikan di masa mendatang.

Ikhtisar

Item

Deskripsi

Referensi

Siapkan lingkungan sinkronisasi data

Sebelum Anda menjalankan tugas sinkronisasi Hologres di DataWorks untuk mensinkronkan data dari atau ke Hologres, Anda harus menambahkan instance Hologres ke ruang kerja DataWorks sebagai sumber data. Anda dapat mengonfigurasi tugas sinkronisasi untuk sumber data hanya setelah sumber data ditambahkan.

Tambahkan sumber data Hologres

Siapkan lingkungan untuk pengembangan dan analisis data

Sebelum Anda menggunakan DataWorks untuk menjadwalkan tugas Hologres, Anda harus menambahkan instance Hologres ke ruang kerja DataWorks sebagai sumber data dan mengaitkan sumber data dengan DataStudio. Kemudian, Anda dapat melakukan operasi seperti pengembangan data, analisis data, dan penjadwalan tugas periodik berdasarkan sumber data.

• Tambahkan sumber data Hologres

• Persiapan sebelum pengembangan data: Mengaitkan sumber daya komputasi atau kluster dengan DataStudio

Siapkan lingkungan pengembangan kolaboratif

Untuk memastikan bahwa pengguna RAM dapat berkolaborasi satu sama lain untuk mengembangkan data dalam ruang kerja, Anda harus melakukan operasi berikut:

• Tambahkan pengguna RAM ke ruang kerja sebagai anggota dan tetapkan peran Pengembangan kepada pengguna RAM di ruang kerja.

• Tambahkan anggota ruang kerja ke instance mesin komputasi Hologres dan ke sumber data Hologres yang Anda kaitkan dengan ruang kerja DataWorks, dan berikan izin yang diperlukan pada database kepada pengguna RAM yang Anda gunakan untuk menjalankan tugas dalam lingkungan produksi.

• Tambahkan anggota ke ruang kerja

• Konfigurasikan izin pada mesin komputasi Hologres untuk anggota ruang kerja

Modul

Deskripsi

Referensi

Pemodelan Data

Pemodelan Data adalah langkah pertama untuk tata kelola data ujung ke ujung. Pemodelan Data menggunakan metodologi pemodelan dari Alibaba data mid-end, menginterpretasikan data bisnis perusahaan dari perspektif bisnis dengan menggunakan perencanaan gudang data, standar data, pemodelan dimensional, dan modul data metrik, serta memungkinkan personel di dalam perusahaan untuk dengan cepat memahami dan berbagi gagasan tentang pengukuran dan interpretasi data bisnis sesuai dengan spesifikasi gudang data.

Ikhtisar Pemodelan Data

DataStudio

DataWorks mengemas kemampuan mesin komputasi Hologres dan memungkinkan Anda menjalankan tugas sinkronisasi data Hologres dan tugas pengembangan data Hologres.

• Sinkronisasi data: Anda dapat menyinkronkan data antara sumber data Hologres dan jenis sumber data lainnya. DataStudio hanya mendukung beberapa skenario sinkronisasi batch dan sinkronisasi real-time. Untuk informasi lebih lanjut tentang skenario sinkronisasi data, lihat Data Integration.

• Pengembangan data: Anda dapat mengembangkan dan memungkinkan sistem untuk menjadwalkan secara berkala berbagai jenis tugas di DataWorks tanpa perlu menggunakan baris perintah yang kompleks.

• Untuk informasi tentang definisi kode suatu node, lihat Standar Pengembangan Hologres.

• Buat Node SQL Hologres

• Buat Node untuk Menyinkronkan Skema Tabel MaxCompute

• Buat Node untuk Menyinkronkan Data MaxCompute dengan Beberapa Klik

Anda dapat menggunakan node umum dan node jenis mesin komputasi tertentu di DataWorks untuk memproses logika yang kompleks.

DataWorks mendukung jenis-jenis node umum berikut:

• Node beban nol yang digunakan untuk mengelola alur kerja

• Node HTTP Trigger yang digunakan dalam skenario di mana sistem penjadwalan eksternal digunakan untuk memicu penjadwalan node di DataWorks, node pemeriksaan objek OSS, dan node FTP Check

• Node penugasan yang digunakan untuk meneruskan parameter input dan output untuk node, dan node parameter

• Node Do-while yang digunakan untuk mengeksekusi kode node dalam loop, node for-each yang digunakan untuk melintasi output node penugasan dalam loop dan menilai output tersebut, dan node cabang

• Node lainnya, seperti node Shell umum dan node database MySQL

• Buat Node Shell

• Buat dan Gunakan Node Beban Nol

• Konfigurasikan Node Penugasan

• Buat Node Parameter

• Konfigurasikan Node For-Each

• Konfigurasikan Node Do-While

• Konfigurasikan Node Gabungan

• Node Cabang

• Konfigurasikan Node Pemeriksaan

• Node SSH

• Buat Node FTP Check

• Buat Node HTTP Trigger

• Buat dan Gunakan Node Data Lake Analytics

• Buat dan Gunakan Node Function Compute

• Buat dan Gunakan Node Pemantauan Kualitas Data

Setelah tugas pada node dikembangkan, Anda dapat melakukan operasi berikut berdasarkan kebutuhan bisnis Anda:

• Konfigurasikan properti penjadwalan untuk node

  Jika Anda ingin DataWorks menjalankan tugas pada node secara berkala, Anda harus mengonfigurasi properti penjadwalan untuk node tersebut, seperti dependensi penjadwalan dan parameter penjadwalan.

• Debug node

  Untuk memastikan bahwa tugas pada node di lingkungan produksi dijalankan secara efisien dan mencegah pemborosan sumber daya komputasi, kami sarankan Anda melakukan debug dan menjalankan tugas sebelum menerapkan tugas tersebut.

• Terapkan node

  Tugas pada node hanya dapat dijadwalkan untuk dijalankan setelah diterapkan ke lingkungan produksi. Oleh karena itu, setelah tugas dikembangkan, Anda harus menerapkan tugas tersebut ke lingkungan produksi. Setelah tugas diterapkan, Anda dapat melihat dan mengelola tugas tersebut di halaman Auto Triggered Nodes di Operation Center.

• Kelola node

  Anda dapat melakukan berbagai operasi pada tugas di node, seperti menerapkan dan mencopot penerapan tugas, serta memodifikasi properti penjadwalan untuk beberapa tugas sekaligus.

• Lakukan manajemen proses

  DataWorks menyediakan kontrol proses untuk pengembangan dan penerapan tugas untuk memastikan akurasi dan keamanan operasi yang dilakukan pada tugas. Misalnya, DataWorks menyediakan fitur tinjauan kode, pengujian asap paksa, dan penyesuaian logika tinjauan kode.

• Ikhtisar

• Prosedur Debugging

• Terapkan Node

• Lakukan Operasi Massal

• Manajemen Proses

Operation Center

Operation Center adalah platform O&M dan pemantauan big data ujung ke ujung. Operation Center memungkinkan Anda melihat status tugas dan melakukan operasi O&M pada tugas yang mengalami pengecualian. Misalnya, Anda dapat melakukan diagnosis cerdas dan menjalankan ulang tugas di Operation Center. Operation Center menyediakan fitur baseline cerdas yang dapat Anda gunakan untuk menyelesaikan masalah seperti waktu output yang tidak terkendali dari tugas penting dan kesulitan dalam pemantauan tugas dalam jumlah besar. Fitur ini membantu Anda memastikan ketepatan waktu output tugas.

Lakukan Operasi O&M Dasar pada Node yang Dipicu Otomatis

Kualitas Data

Kualitas Data memastikan ketersediaan data untuk proses R&D data ujung ke ujung dan menyediakan data yang andal untuk bisnis Anda secara efisien. Kualitas Data dapat membantu Anda mengidentifikasi masalah kualitas data pada kesempatan pertama dan mencegah masalah kualitas data meningkat melalui pemeriksaan kualitas berbasis aturan pemantauan yang efektif dan kombinasi aturan pemantauan dengan proses penjadwalan tugas.

Ikhtisar Kualitas Data

Modul

Deskripsi

Referensi

Peta Data

Peta Data adalah platform manajemen data tingkat perusahaan yang menyediakan kemampuan manajemen, pengurutan, pencarian cepat, dan pemahaman mendalam tentang objek data berdasarkan layanan metadata terpadu di tingkat bawah.

Ikhtisar Peta Data

Pusat Keamanan

Penjaga Keamanan Data

Pusat Persetujuan

Pusat Keamanan adalah platform tata kelola keamanan data ujung-ke-ujung yang mencakup klasifikasi aset data, identifikasi data sensitif, manajemen otorisasi terkait data, masking data sensitif, audit akses ke data sensitif, serta identifikasi dan penanganan risiko. Pusat Keamanan membantu Anda menentukan masalah tata kelola keamanan data.

• Ikhtisar Pusat Keamanan

• Ikhtisar Penjaga Keamanan Data

• Ikhtisar Pusat Persetujuan

Pusat Tata Kelola Data

Pusat Tata Kelola Data secara otomatis mengidentifikasi item yang perlu dikelola untuk beberapa bidang tata kelola berdasarkan aturan yang berasal dari pengalaman di bidang-bidang terkait data, dan menyediakan solusi tata kelola serta optimasi yang mencakup pencegahan masalah sebelum kejadian dan resolusi masalah setelah kejadian. Pusat Tata Kelola Data dapat membantu Anda menyelesaikan tata kelola data secara aktif dan sistematis.

Ikhtisar Pusat Tata Kelola Data

Modul

Deskripsi

Referensi

DataAnalysis

Modul DataAnalysis dari DataWorks membantu Anda melakukan analisis berbasis SQL secara online, memahami kebutuhan bisnis, serta mengedit dan berbagi data, dan memungkinkan Anda menyimpan hasil kueri sebagai kartu grafik dan dengan cepat menghasilkan laporan data visual berdasarkan kartu grafik untuk pelaporan harian.

Untuk informasi lebih lanjut, lihat Ikhtisar DataAnalysis.

DataService Studio

DataService Studio dirancang untuk menyediakan kemampuan layanan dan berbagi data secara komprehensif bagi perusahaan serta membantu perusahaan mengelola layanan API untuk sistem internal dan eksternal secara terpusat.

Untuk informasi lebih lanjut, lihat Ikhtisar DataService Studio.

Item

Deskripsi

Referensi

OpenAPI

Modul OpenAPI memungkinkan Anda memanggil operasi API DataWorks sehingga Anda dapat mengintegrasikan aplikasi Anda dengan DataWorks. Hal ini dapat membantu memfasilitasi pemrosesan data besar, mengurangi operasi manual dan operasi O&M, meminimalkan risiko data, serta mengurangi biaya bagi perusahaan.

OpenAPI

OpenEvent

Modul OpenEvent memungkinkan Anda untuk berlangganan peristiwa perubahan DataWorks yang terkait dengan aplikasi Anda sehingga Anda dapat mendeteksi dan merespons perubahan tersebut secepat mungkin.

Ikhtisar OpenEvent

Ekstensi

Anda dapat menggunakan modul OpenEvent untuk berlangganan pesan peristiwa yang dihasilkan di ruang kerja DataWorks Anda. Anda dapat menggunakan modul Ekstensi untuk mendaftarkan program lokal Anda sebagai ekstensi guna mengelola titik ekstensi peristiwa dan proses.

Ikhtisar Ekstensi