DataWorks mengenkapsulasi tugas mesin komputasi dengan berbagai jenis ke dalam node yang sesuai dan memungkinkan Anda membuat node untuk menghasilkan tugas pengembangan data. DataWorks juga mendukung penggunaan sumber daya, fungsi, dan node pemrosesan logika yang berbeda untuk mengembangkan tugas kompleks. Topik ini menjelaskan proses pengembangan umum dari tugas pengembangan data.
Prasyarat
Sumber data yang diinginkan telah terhubung dengan DataStudio. Untuk informasi lebih lanjut, lihat Persiapan Sebelum Pengembangan Data: Hubungkan Sumber Data atau Kluster dengan DataStudio.
Anda telah diberikan izin untuk peran Development. Untuk informasi lebih lanjut, lihat Tambahkan Pengguna RAM ke Ruang Kerja sebagai Anggota dan Tetapkan Peran kepada Anggota Tersebut.
Pergi ke halaman DataStudio
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Setelah itu, Anda dapat membuat node yang diinginkan dengan mengikuti langkah-langkah yang dijelaskan di bagian berikutnya.
Proses pengembangan
Gambar dan tabel berikut menunjukkan proses pengembangan umum dari tugas pengembangan data.
Langkah | Deskripsi | Referensi |
Langkah 1: Buat Alur Kerja | Pengembangan data di DataWorks dilakukan berdasarkan alur kerja dan kode. Sebelum melakukan operasi pengembangan, Anda harus membuat alur kerja. | |
Langkah 2: Buat Tabel | DataWorks memungkinkan Anda membuat tabel di Konsol DataWorks dan menampilkannya dalam struktur direktori. Anda dapat mengelola tabel di Konsol DataWorks. Sebelum mengembangkan data di ruang kerja Anda, Anda harus membuat tabel untuk menyimpan data mentah dan tabel untuk hasil pembersihan data di mesin komputasi yang terhubung dengan ruang kerja Anda. Jenis tabel yang diperlukan dapat ditentukan berdasarkan mesin komputasi yang digunakan. | Buat dan Gunakan Tabel: Lihat dan Kelola Tabel: |
Langkah 3: (Opsional) Buat dan Unggah Sumber Daya | DataWorks memungkinkan Anda mengunggah berbagai jenis sumber daya seperti file teks dan paket JAR ke mesin komputasi yang ditentukan dan menggunakan sumber daya tersebut saat mengembangkan data. Jika Anda perlu menggunakan beberapa sumber daya yang ada untuk pengembangan data, Anda dapat mengunggah sumber daya tersebut melalui operasi di Konsol DataWorks dan kemudian mengelolanya di konsol. Catatan Anda dapat melihat mesin komputasi yang mendukung pembuatan sumber daya serta jenis sumber daya yang didukung oleh mesin komputasi di Konsol DataWorks. | |
Langkah 4: Buat Node Penjadwalan | Pengembangan data di DataWorks didasarkan pada node, dan tugas dari berbagai jenis mesin komputasi dienkapsulasi menjadi berbagai jenis node di DataWorks. Anda dapat memilih jenis node untuk mengembangkan node berdasarkan kebutuhan bisnis Anda. Anda juga dapat melakukan operasi manajemen pada node dengan mudah. Misalnya, Anda dapat menggunakan grup node untuk mengkloning beberapa node sekaligus atau memulihkan node yang dihapus dari tempat sampah. | DataWorks mendukung jenis mesin komputasi berikut: Anda dapat memilih jenis node yang berbeda untuk tugas dari berbagai jenis mesin komputasi. Untuk informasi tentang berbagai jenis node DataWorks, lihat Jenis Node yang Didukung. Untuk informasi tentang operasi manajemen yang dapat Anda lakukan pada node, lihat topik-topik berikut: |
Langkah 5: (Opsional) Referensikan Sumber Daya di Node | Sebelum menggunakan sumber daya di node DataWorks, Anda harus memuat sumber daya ke lingkungan pengembangan node. | |
Langkah 6: (Opsional) Daftarkan Fungsi | Sebelum menggunakan fungsi untuk mengembangkan data, Anda harus mendaftarkan fungsi di Konsol DataWorks. Sebelum mendaftarkan fungsi, Anda harus mengunggah sumber daya yang diperlukan oleh fungsi ke DataWorks. Catatan Anda dapat melihat mesin komputasi untuk mana Anda dapat mendaftarkan fungsi di Konsol DataWorks. | |
Langkah 7: Tulis Kode Node | Anda dapat menulis kode untuk node yang sesuai dengan tugas jenis mesin komputasi tertentu di tab konfigurasi node berdasarkan sintaks yang didukung oleh mesin komputasi dan database terkait. Sintaks yang digunakan untuk menulis kode node bervariasi berdasarkan jenis node. Catatan Setelah menulis kode, klik ikon | Untuk informasi tentang berbagai jenis node DataWorks, lihat Jenis Node yang Didukung. Catatan Penggunaan Mesin Komputasi Umum: |
untuk menyimpan kode sesegera mungkin guna mencegah hilangnya kode.Langkah selanjutnya: Debug kode dan konfigurasikan properti penjadwalan
Setelah kode node dikembangkan, Anda dapat melakukan operasi berikut berdasarkan kebutuhan bisnis Anda:
Debug Kode: Debug dan jalankan satu node atau seluruh alur kerja tempat node tersebut termasuk berdasarkan kebutuhan bisnis Anda. Anda dapat melihat hasil debugging setelah debugging selesai. Untuk informasi lebih lanjut, lihat Prosedur Debugging.
Konfigurasikan Parameter Penjadwalan: Konfigurasikan parameter penjadwalan untuk node. Node dijadwalkan secara berkala berdasarkan konfigurasi parameter penjadwalan. Untuk informasi lebih lanjut, lihat Konfigurasikan Properti Dasar.
Commit dan Deploy Node: Setelah node dikembangkan, Anda harus commit ke lingkungan terkait untuk penjadwalan dan pelaksanaan. Jika Anda menggunakan ruang kerja dalam mode standar, setelah Anda commit node, Anda harus klik Deploy di sudut kanan atas tab konfigurasi node untuk mendeploy node. Untuk informasi lebih lanjut, lihat Deploy Node.
Lakukan Operasi O&M pada Node: Setelah node dideploy, node akan ditampilkan di Operation Center di lingkungan produksi secara default. Anda dapat pergi ke Operation Center di lingkungan produksi untuk melihat status pelaksanaan node dan melakukan operasi O&M pada node. Untuk informasi lebih lanjut, lihat Ikhtisar.