Pelajari cara membuat alur kerja, menambahkan node, dan mengonfigurasi dependensinya. Anda kemudian dapat menggunakan fitur pengembangan data untuk menganalisis dan menghitung data di ruang kerja Anda.
Prasyarat
Sebelum memulai, buat tabel data bisnis bank_data dan tabel sink result_table di ruang kerja Anda. Tabel data bisnis harus berisi data. Untuk informasi selengkapnya, lihat Buat tabel dan unggah data.
Latar Belakang
Di DataWorks, Anda dapat mengonfigurasi dependensi antar node dalam suatu alur kerja secara visual. Alur kerja memungkinkan Anda memproses data dan menentukan dependensinya. Anda dapat membuat beberapa alur kerja dalam satu ruang kerja. Untuk informasi selengkapnya, lihat Buat alur kerja.
Buat alur kerja
-
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Pada halaman Data Studio, arahkan pointer ke ikon
lalu klik Create Workflow. -
Di kotak dialog Create Workflow, masukkan Business Name dan Description.
-
Klik Create.
Buat node dan konfigurasikan dependensi
Buat node beban nol (start) dan node ODPS SQL (insert_data) dalam alur kerja. Kemudian, konfigurasikan dependensi sehingga node insert_data bergantung pada node start.
-
Node beban nol adalah node kontrol yang tidak memproses data. Node ini hanya mengelola node downstream-nya.
-
Jika Anda secara manual mengatur status node beban nol menjadi gagal selama tugas O&M, node downstream-nya yang belum dieksekusi tidak akan dipicu. Fitur ini membantu mencegah penyebaran data yang salah dari sumber upstream.
-
Node induk dari node beban nol biasanya adalah node root ruang kerja. Nama node root ruang kerja mengikuti format
WorkspaceName_root. -
DataWorks secara otomatis menambahkan output untuk setiap node dengan nama WorkspaceName.NodeName. Jika dua node dalam ruang kerja yang sama memiliki nama yang sama, Anda harus mengganti nama output salah satu node tersebut.
Kami merekomendasikan membuat node beban nol sebagai node root alur kerja Anda. Node ini dapat mengontrol eksekusi seluruh alur kerja. Untuk merancang alur kerja, ikuti langkah-langkah berikut:
-
Klik ganda nama alur kerja untuk membuka panel pengembangan. Klik General>Zero Load Node.
Anda juga dapat menyeret Zero Load Node ke panel pengembangan di sebelah kanan.
-
Di kotak dialog Create Node, pilih Path, masukkan start untuk Node Name, lalu klik OK.
-
Ulangi langkah-langkah sebelumnya untuk membuat node ODPS SQL bernama insert_data.
-
Seret garis dari node start ke node insert_data untuk menetapkan start sebagai node induk dari insert_data.
Konfigurasikan dependensi upstream node beban nol
Node beban nol umumnya mengontrol seluruh alur kerja dan bertindak sebagai node induk utama bagi semua node lainnya.
Umumnya, tetapkan Add Root Node sebagai Parent Nodes untuk node beban nol:
-
Klik ganda nama node beban nol untuk membuka editor-nya.
-
Di panel kanan, klik Scheduling.
-
Di bagian Scheduling Dependencies, klik Add Root Node untuk menetapkan node root ruang kerja sebagai node induk dari node beban nol.
-
Simpan dan komit node tersebut.
PentingAnda harus mengonfigurasi properti Rerun attribute dan Parent Nodes sebelum dapat mengommit node tersebut.
-
Di bilah alat, klik ikon
untuk menyimpan node. -
Di bilah alat, klik ikon
. -
Di kotak dialog Submit, masukkan Change Description.
-
Klik OK.
-
Edit dan jalankan node ODPS SQL
Bagian ini menjelaskan cara menggunakan kode SQL di node ODPS SQL insert_data untuk mengkueri jumlah individu lajang yang memiliki pinjaman rumah, dikelompokkan berdasarkan tingkat pendidikan, serta menyimpan hasilnya untuk analisis atau presentasi lebih lanjut oleh node downstream.
-
Buka editor untuk node ODPS SQL dan masukkan kode berikut.
Untuk informasi selengkapnya tentang sintaksis, lihat SQL overview.
INSERT OVERWRITE TABLE result_table --Masukkan data ke tabel result_table. SELECT education , COUNT(marital) AS num FROM bank_data WHERE housing = 'yes' AND marital = 'single' GROUP BY education; -
Klik kanan bank_data dalam kode lalu pilih Delete Input.
Tabel bank_data, yang dibuat dalam Buat tabel dan unggah data, tidak dihasilkan oleh node terjadwal. Jika suatu node membaca dari tabel semacam itu, Anda dapat mengklik kanan nama tabel di editor kode untuk menghapus dependensi yang diurai secara otomatis. Atau, Anda dapat menambahkan komentar khusus di awal kode untuk mencegah pembuatan dependensi tersebut.
CatatanDependensi penjadwalan di DataWorks memastikan bahwa node downstream dapat mengakses data dari node upstream yang diperbarui secara berkala. Platform tidak dapat memantau tabel yang tidak diperbarui oleh node terjadwal di dalam DataWorks. Jika suatu node memilih data dari tabel yang tidak dihasilkan oleh tugas terjadwal, Anda harus menghapus secara manual dependensi yang secara otomatis dibuat oleh DataWorks.
-
Klik ikon
di bilah alat untuk menyimpan kode Anda. -
Klik ikon
untuk menjalankan kode.Setelah eksekusi selesai, Anda dapat melihat log eksekusi dan hasilnya di bagian bawah halaman.
Komit alur kerja
-
Setelah menjalankan dan men-debug node ODPS SQL insert_data, kembali ke kanvas alur kerja.
-
Klik ikon
di bilah alat. -
Di kotak dialog Submit, pilih node yang ingin Anda komit, masukkan Change Description, dan pilih Ignore I/O Inconsistency Alerts .
-
Klik OK.
Setelah Anda mengommit alur kerja, Anda dapat memeriksa status komit setiap node di daftar node di bawah Workflow. Ikon
di sebelah kiri nama node menunjukkan bahwa node tersebut memiliki perubahan yang belum dikomit. Jika tidak ada ikon
tersebut, artinya node tidak memiliki perubahan yang belum dikomit.
Langkah berikutnya
Sekarang Anda telah membuat dan mengommit alur kerja, lanjutkan ke tutorial berikutnya untuk mempelajari cara membuat tugas sinkronisasi guna menulis data kembali ke berbagai jenis sumber data. Untuk informasi selengkapnya, lihat Buat tugas sinkronisasi.