DataWorks：Catatan Penggunaan untuk Pengembangan Tugas MaxCompute di DataWorks

Biaya

Deskripsi

Biaya untuk Edisi DataWorks yang Digunakan

Anda harus mengaktifkan DataWorks sebelum mengembangkan tugas di DataWorks. Jika Anda menggunakan DataWorks Edisi Standar, Edisi Profesional, atau Edisi Perusahaan, Anda akan dikenakan biaya sesuai dengan edisi tersebut saat pembelian.

Biaya untuk Sumber Daya Penjadwalan

Setelah tugas dikembangkan, sumber daya penjadwalan diperlukan untuk menjalankan tugas tersebut. Anda dapat membeli grup sumber daya serverless atau eksklusif versi lama untuk penjadwalan. Kami merekomendasikan penggunaan grup sumber daya serverless.

Biaya untuk Sumber Daya Sinkronisasi Data

Tugas sinkronisasi data memerlukan sumber daya penjadwalan dan sinkronisasi. Anda dapat membeli grup sumber daya serverless atau eksklusif versi lama untuk Data Integration, dan membayar untuk grup sumber daya tersebut. Kami merekomendasikan penggunaan grup sumber daya serverless.

Biaya

Deskripsi

Biaya Database

Saat Anda menjalankan tugas sinkronisasi data untuk membaca data dari dan menulis data ke database, biaya database mungkin timbul.

Biaya Komputasi dan Penyimpanan

Saat Anda menjalankan tugas jenis mesin komputasi tertentu, biaya komputasi dan penyimpanan jenis mesin komputasi tersebut mungkin timbul. Sebagai contoh, jika Anda menjalankan tugas pada node ODPS SQL untuk membuat tabel MaxCompute dan menulis data ke tabel MaxCompute, Anda mungkin dikenakan biaya untuk sumber daya komputasi dan penyimpanan mesin komputasi MaxCompute.

Biaya Layanan Jaringan

Saat Anda membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, biaya layanan jaringan mungkin timbul. Sebagai contoh, jika Anda menggunakan layanan seperti Express Connect, Elastic IP Address (EIP), dan Bandwidth Internet Bersama, untuk membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, Anda mungkin dikenakan biaya layanan jaringan.

Item

Deskripsi

Referensi

Pilih Edisi DataWorks

DataWorks Edisi Dasar memungkinkan Anda melakukan operasi dasar berikut selama pengembangan data MaxCompute: migrasi data ke cloud, pengembangan data, penjadwalan tugas MaxCompute, dan tata kelola data. Jika Anda ingin menggunakan solusi tata kelola data dan keamanan data yang lebih canggih, Anda dapat membeli DataWorks edisi lanjutan, seperti DataWorks Edisi Standar, DataWorks Edisi Profesional, atau DataWorks Edisi Perusahaan.

Perbandingan antara DataWorks Edisi Dasar dan DataWorks Edisi Lanjutan serta deskripsi peningkatan edisi

Pilih Grup Sumber Daya

• Grup sumber daya serverless (direkomendasikan): Anda dapat menggunakan satu grup sumber daya serverless dalam sinkronisasi data, penjadwalan, dan DataService Studio pada saat yang bersamaan. Anda dapat merencanakan dan mengalokasikan sumber daya berdasarkan kebutuhan bisnis Anda.

• Grup sumber daya versi lama (grup sumber daya eksklusif atau grup sumber daya bersama): Kebutuhan penjadwalan dasar dapat dipenuhi. Grup sumber daya versi lama akan dihentikan di masa depan.

Ikhtisar

Item

Deskripsi

Referensi

Persiapkan Lingkungan Sinkronisasi Data

Sebelum Anda mengembangkan tugas sinkronisasi data MaxCompute di DataWorks, Anda harus menambahkan proyek MaxCompute ke ruang kerja DataWorks sebagai sumber data. Anda dapat mengonfigurasi tugas sinkronisasi untuk sumber data tersebut hanya setelah sumber data ditambahkan.

Tambahkan Sumber Data MaxCompute

Persiapkan Lingkungan untuk Pengembangan dan Analisis Data

Sebelum Anda menjadwalkan tugas MaxCompute di DataWorks, Anda harus menambahkan proyek MaxCompute ke ruang kerja DataWorks sebagai sumber data dan mengaitkan sumber data tersebut dengan DataStudio. Kemudian, Anda dapat menggunakan sumber data tersebut untuk melakukan operasi seperti pengembangan data, analisis data, dan penjadwalan tugas periodik.

• Tambahkan Sumber Data MaxCompute

• Persiapan sebelum pengembangan data: Mengaitkan sumber daya komputasi atau kluster dengan DataStudio

Persiapkan Lingkungan Pengembangan Kolaboratif

Untuk memastikan bahwa pengguna RAM dapat berkolaborasi satu sama lain untuk mengembangkan data dalam ruang kerja, Anda harus menambahkan pengguna RAM ke ruang kerja sebagai anggota dan memberikan peran Pengembangan kepada pengguna RAM di ruang kerja.

Tambahkan Pengguna RAM ke Ruang Kerja sebagai Anggota dan Tetapkan Peran kepada Anggota

Modul

Deskripsi

Referensi

Pemodelan Data

Pemodelan Data merupakan langkah awal dalam tata kelola data ujung-ke-ujung. Modul ini menggunakan metodologi pemodelan mid-end data dari Alibaba untuk menginterpretasikan data bisnis perusahaan dari perspektif bisnis. Pemodelan mencakup modul perencanaan gudang data, standar data, pemodelan dimensional, dan metrik data, memungkinkan personel internal memahami serta berbagi gagasan terkait pengukuran dan interpretasi data sesuai spesifikasi gudang data.

Ikhtisar Pemodelan Data

DataStudio

DataWorks mengintegrasikan kemampuan komputasi MaxCompute, sehingga Anda dapat menjalankan tugas sinkronisasi data dan pengembangan tanpa perlu menulis kode kompleks.

• Sinkronisasi Data: Memungkinkan transfer data antara sumber data MaxCompute dan jenis sumber data lain. DataStudio mendukung skenario sinkronisasi batch dan real-time tertentu. Untuk detail lebih lanjut, lihat Integrasi Data.

• Pengembangan Data: Anda dapat membuat dan menjadwalkan berbagai tugas di DataWorks tanpa perlu menggunakan baris perintah yang rumit.

• Definisi Kode Node: MaxCompute Syntax

• Buat dan Kelola Tabel MaxCompute

• Mengembangkan Tugas SQL MaxCompute

• Merujuk pada Template Skrip

• Mengembangkan Tugas MaxCompute Spark

• Kembangkan Tugas PyODPS 2

• Kembangkan Tugas PyODPS 3

• Kembangkan Tugas Skrip MaxCompute

• Kembangkan Tugas MR MaxCompute

• Buat dan Gunakan Sumber Daya MaxCompute

• Buat dan Gunakan UDF MaxCompute

Anda dapat menggunakan node umum dan node mesin komputasi tertentu di DataWorks untuk memproses logika kompleks.

Jenis node umum yang didukung oleh DataWorks meliputi:

• Node beban nol untuk manajemen alur kerja.

• Node HTTP Trigger untuk skenario penjadwalan eksternal, inspeksi objek OSS, dan FTP Check.

• Node penugasan untuk meneruskan parameter input-output dan node parameter.

• Node do-while, for-each, dan cabang untuk logika iteratif dan evaluasi output.

• Node lainnya seperti Shell umum dan database MySQL.

• Buat dan Gunakan Node Beban Nol

• Buat Node HTTP Trigger

• Node Inspeksi Objek OSS

• Buat Node FTP Check

• Konfigurasikan Node Penugasan

• Buat Node Parameter

• Logika Node Do-While

• Logika Node For-Each

• Konfigurasikan Node Cabang

Setelah tugas pada node dikembangkan, Anda dapat melakukan operasi berikut sesuai kebutuhan bisnis:

• Konfigurasikan properti penjadwalan untuk node.

  Untuk menjalankan tugas secara berkala, konfigurasikan dependensi dan parameter penjadwalan.

• Debug node.

  Lakukan debugging sebelum menerapkan tugas ke lingkungan produksi untuk memastikan efisiensi dan menghindari pemborosan sumber daya.

• Terapkan node.

  Tugas hanya dapat dijalankan setelah diterapkan ke lingkungan produksi. Setelah diterapkan, tugas dapat dikelola di halaman Auto Triggered Nodes di Operation Center.

• Kelola node.

  Lakukan operasi seperti penerapan, pencabutan, dan modifikasi properti penjadwalan secara massal.

• Lakukan manajemen proses

  DataWorks menyediakan kontrol proses untuk pengembangan dan penyebaran tugas untuk memastikan akurasi dan keamanan operasi yang dilakukan pada tugas. Sebagai contoh, DataWorks menyediakan fitur tinjauan kode, pengujian asap paksa, dan penyesuaian logika tinjauan kode.

• Ikhtisar

• Prosedur Debugging

• Terapkan Node

• Lakukan Operasi Massal

• Manajemen Proses

Pusat Operasi

Pusat Operasi adalah platform O&M dan pemantauan big data end-to-end. Platform ini memungkinkan Anda memantau status tugas, melakukan operasi O&M pada tugas yang bermasalah, serta menggunakan fitur baseline cerdas untuk memastikan ketepatan waktu keluaran tugas penting.

Lakukan Operasi O&M Dasar pada Node Dipicu Otomatis

Kualitas Data

Kualitas Data memastikan ketersediaan data untuk proses R&D ujung-ke-ujung dan menyediakan data yang andal bagi bisnis Anda. Fitur ini membantu mengidentifikasi masalah kualitas data secara dini dan mencegah eskalasi masalah melalui pemeriksaan kualitas berbasis aturan pemantauan yang efektif.

Ikhtisar Kualitas Data

Modul

Deskripsi

Referensi

Peta Data

Peta Data adalah platform manajemen data tingkat perusahaan yang menyediakan kemampuan manajemen, pengurutan, pencarian cepat, dan pemahaman mendalam terhadap objek data berdas

Ikhtisar Peta Data

Pusat Keamanan

Penjaga Keamanan Data

Pusat Persetujuan

Pusat Keamanan adalah platform tata kelola keamanan data ujung-ke-ujung yang mencakup klasifikasi aset data, identifikasi data sensitif, manajemen otorisasi terkait data, masking data sensitif, audit akses ke data sensitif, dan identifikasi serta respons risiko. Pusat Keamanan membantu Anda menentukan masalah tata kelola keamanan data.

• Ikhtisar Pusat Keamanan

• Ikhtisar Penjaga Keamanan Data

• Ikhtisar Pusat Persetujuan

Pusat Tata Kelola Data

Pusat Tata Kelola Data secara otomatis mengidentifikasi item yang perlu dikelola untuk berbagai bidang tata kelola berdasarkan aturan yang berasal dari pengalaman di bidang terkait data, dan menyediakan solusi tata kelola dan optimasi yang mencakup pencegahan masalah sebelum kejadian dan penyelesaian masalah setelah kejadian. Pusat Tata Kelola Data dapat membantu Anda secara aktif dan sistematis menyelesaikan tata kelola data.

Ikhtisar Pusat Tata Kelola Data

Modul

Deskripsi

Referensi

DataAnalysis

Modul DataAnalysis dari DataWorks membantu Anda melakukan analisis berbasis SQL secara online, memahami kebutuhan bisnis, serta mengedit dan berbagi data, dan memungkinkan Anda menyimpan hasil kueri sebagai kartu grafik dan dengan cepat menghasilkan laporan data visual berdasarkan kartu grafik tersebut untuk pelaporan harian.

Untuk informasi lebih lanjut, lihat Ikhtisar DataAnalysis.

DataService Studio

DataService Studio dirancang untuk menyediakan kemampuan layanan data dan berbagi data secara komprehensif bagi perusahaan dan membantu perusahaan mengelola layanan API untuk sistem internal dan eksternal secara terpusat.

Untuk informasi lebih lanjut, lihat Ikhtisar DataService Studio.

Item

Deskripsi

Referensi

OpenAPI

Modul OpenAPI memungkinkan Anda memanggil operasi API DataWorks sehingga Anda dapat mengintegrasikan aplikasi Anda dengan DataWorks. Ini dapat membantu memfasilitasi pemrosesan big data, mengurangi operasi manual dan operasi O&M, meminimalkan risiko data, dan mengurangi biaya untuk perusahaan.

OpenAPI

OpenEvent

Modul OpenEvent memungkinkan Anda berlangganan peristiwa perubahan DataWorks yang terkait dengan aplikasi Anda sehingga Anda dapat mendeteksi dan merespons perubahan tersebut pada kesempatan pertama.

Ikhtisar OpenEvent

Ekstensi

Anda dapat menggunakan modul OpenEvent untuk berlangganan pesan peristiwa yang dihasilkan di ruang kerja DataWorks Anda. Anda dapat menggunakan modul Ekstensi untuk mendaftarkan program lokal Anda sebagai ekstensi untuk mengelola peristiwa titik ekstensi dan proses.

Ikhtisar Ekstensi