Di DataWorks, tugas pengembangan data dibuat sebagai node, masing-masing membungkus satu tugas untuk mesin komputasi tertentu. DataStudio juga memungkinkan Anda mengembangkan tugas kompleks dengan menggunakan resource, fungsi, dan berbagai node pemrosesan logis. Topik ini memandu Anda melalui alur kerja pengembangan data yang umum.
Prasyarat
-
Sumber data yang diperlukan harus telah diikat. Untuk informasi selengkapnya, lihat Persiapan pengembangan data: Ikat resource komputasi atau kluster.
-
Anda harus memiliki peran Development. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Tambahkan anggota ruang kerja dan kelola izin peran anggota.
Buka DataStudio
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Prosedur berikut menjelaskan cara membuat dan mengelola task di DataStudio.
Alur kerja pengembangan
Gambar berikut menunjukkan alur kerja pengembangan data yang umum.
|
Langkah |
Deskripsi |
Dokumentasi terkait |
|
Langkah 1: Buat alur kerja |
Di DataWorks, semua tugas pengembangan dan kode diorganisasi ke dalam alur kerja. |
|
|
Langkah 2: Buat tabel |
DataWorks menyediakan antarmuka visual untuk membuat dan mengelola tabel, yang ditampilkan dalam struktur direktori. Sebelum memulai pengembangan data, buat tabel di mesin komputasi untuk menyimpan data mentah dan hasil pembersihan. Jenis tabel yang Anda buat bergantung pada kasus penggunaan Anda. |
Buat dan gunakan tabel: Lihat dan kelola tabel: |
|
Langkah 3: Buat dan unggah resource (Opsional) |
Jika proses pengembangan Anda memerlukan resource seperti file teks atau paket JAR, unggah dan kelola resource tersebut di DataWorks untuk digunakan dengan mesin komputasi tertentu. Catatan
Mesin komputasi dan jenis resource yang didukung ditampilkan di UI DataWorks. |
|
|
Langkah 4: Buat node penjadwalan |
Di DataWorks, tugas dibungkus sebagai node, dengan setiap jenis node sesuai dengan mesin komputasi tertentu. Pilih jenis node yang sesuai dengan mesin dan kebutuhan bisnis Anda. DataWorks juga menyediakan operasi manajemen node seperti mengkloning node secara batch dengan kelompok node dan memulihkan node yang dihapus dari Keranjang daur ulang. |
DataWorks mendukung beberapa mesin, termasuk: Jenis node yang berbeda tersedia untuk tugas yang berbeda di setiap mesin. Untuk daftar lengkap jenis node yang didukung, lihat Jenis node yang didukung. Untuk informasi selengkapnya tentang manajemen node, lihat topik berikut: |
|
Langkah 5: Referensikan resource di dalam node (Opsional) |
Untuk menggunakan resource di dalam node, muat resource tersebut ke dalam lingkungan runtime node terlebih dahulu. |
|
|
Langkah 6: Daftarkan fungsi (Opsional) |
Jika proses pengembangan Anda memerlukan fungsi, daftarkan fungsi tersebut melalui antarmuka visual DataWorks. Sebelum mendaftarkan fungsi, unggah resource yang diperlukan ke DataWorks. Catatan
Mesin komputasi yang mendukung pendaftaran fungsi ditampilkan di UI DataWorks. |
|
|
Langkah 7: Edit kode node |
Di halaman editor node, tulis kode bisnis menggunakan sintaks mesin komputasi dan database yang sesuai. Sintaks dapat berbeda-beda tergantung jenis node. Catatan
Setelah selesai mengedit kode, segera simpan ( |
Untuk daftar lengkap jenis node yang didukung, lihat Jenis node yang didukung. Catatan penggunaan untuk mesin umum: |
) untuk mencegah kehilangan data.Langkah selanjutnya
Setelah mengembangkan sebuah tugas, lakukan operasi berikut sesuai kebutuhan:
-
Debug kode: Jalankan satu tugas atau seluruh alur kerja untuk debugging. Untuk informasi selengkapnya, lihat Proses debugging tugas.
-
Konfigurasikan penjadwalan: Atur properti penjadwalan untuk node agar dijalankan secara berkala. Untuk informasi selengkapnya, lihat Konfigurasikan penjadwalan untuk sebuah node.
-
Commit dan deploy node: Setelah pengembangan selesai, commit node ke lingkungan target untuk eksekusi terjadwal. Jika Anda menggunakan ruang kerja dalam mode standar, setelah commit berhasil, Anda juga harus melakukan deploy node dengan mengklik Deploy di pojok kanan atas. Untuk informasi selengkapnya, lihat Deploy sebuah node.
-
Lakukan operasi O&M: Setelah node di-deploy, node tersebut secara default muncul di Operation Center untuk lingkungan produksi. Buka Operation Center untuk melihat status eksekusi node dan melakukan tugas O&M. Untuk informasi selengkapnya, lihat Ikhtisar Operation Center.