DataWorks memungkinkan Anda menggunakan workflows untuk mengatur node di DataStudio sesuai dengan kebutuhan bisnis. DataWorks menyediakan dua jenis alur kerja: auto triggered workflows dan manually triggered workflows. Node dalam alur kerja yang dipicu otomatis dijadwalkan untuk berjalan secara berkala, sedangkan node dalam alur kerja yang dipicu secara manual dijalankan secara manual. Topik ini menjelaskan cara membuat, merancang, menyerahkan, dan melihat alur kerja serta cara memodifikasi atau menghapus beberapa node dalam alur kerja sekaligus.
Informasi latar belakang
Sebuah ruang kerja mendukung berbagai jenis mesin komputasi, seperti MaxCompute, Hologres, dan E-MapReduce (EMR), serta dapat berisi beberapa alur kerja. Alur kerja adalah kumpulan dari berbagai jenis objek, termasuk node untuk Data Integration dan node untuk mesin komputasi. Sebagai contoh, objek tersebut bisa berupa node ODPS SQL atau node yang digunakan untuk menyinkronkan skema tabel MaxCompute.
Setiap jenis objek sesuai dengan folder independen. Anda dapat membuat subfolder di dalam folder tersebut. Untuk pengelolaan objek yang efisien, kami merekomendasikan agar Anda membuat hingga empat tingkat subfolder. Jika Anda membuat lebih dari empat tingkat subfolder, alur kerja Anda menjadi terlalu kompleks. Dalam hal ini, kami merekomendasikan agar Anda membagi alur kerja Anda menjadi dua atau lebih alur kerja dan menambahkannya ke solusi yang sama untuk meningkatkan efisiensi kerja.
Alur kerja yang dipicu otomatis dan alur kerja yang dipicu secara manual
DataWorks menyediakan dua jenis alur kerja: auto triggered workflows dan manually triggered workflows. Node dalam alur kerja yang dipicu otomatis dijadwalkan untuk berjalan secara berkala, sedangkan node dalam alur kerja yang dipicu secara manual dijalankan secara manual. Anda dapat menggunakan kedua jenis alur kerja ini untuk mengembangkan node di DataStudio. Setelah node dikembangkan, Anda dapat menyerahkan dan menerapkannya ke Pusat Operasi di lingkungan produksi. Tabel berikut menjelaskan perbedaan antara alur kerja yang dipicu otomatis dan alur kerja yang dipicu secara manual.
Item | Alur kerja yang dipicu otomatis | Alur kerja yang dipicu secara manual |
Skenario penggunaan | Anda ingin semua node dalam alur kerja berjalan sesuai jadwal secara berkala. | Anda ingin semua node dalam alur kerja dijalankan secara manual. |
Mode operasi | Alur kerja dijalankan sesuai jadwal secara berkala. | Alur kerja dijalankan secara manual. |
Konfigurasi untuk pengembangan node | Anda harus mengonfigurasi parameter berikut untuk node dalam alur kerja: parameter Run At dan parameter dalam bagian Dependencies tab Properties. | Anda tidak perlu mengonfigurasi parameter yang terkait dengan alur kerja yang dipicu otomatis, seperti Parent Nodes, Output, dan Run At. Catatan Konfigurasi node dalam alur kerja yang dipicu secara manual sama dengan konfigurasi node dalam alur kerja yang dipicu otomatis kecuali parameter yang tidak perlu Anda konfigurasikan. Topik ini menjelaskan konfigurasi node dalam alur kerja yang dipicu otomatis. |
Titik masuk |
|
|
Jika Anda tidak dapat menemukan titik masuk di panel navigasi sisi kiri DataStudio, Anda dapat mengonfigurasi modul yang ingin Anda tampilkan di DataStudio. Untuk informasi lebih lanjut, lihat Sesuaikan Modul DataStudio yang Ditampilkan.
Buat alur kerja yang dipicu otomatis
Di DataStudio, Anda dapat menerapkan pengembangan data menggunakan komponen dalam alur kerja, seperti node. Sebelum membuat node, Anda harus membuat alur kerja. Setelah alur kerja dibuat, Anda dapat merancangnya sesuai dengan kebutuhan bisnis. Untuk informasi lebih lanjut, lihat Rancang Alur Kerja. Untuk membuat alur kerja yang dipicu otomatis, ikuti langkah-langkah berikut:
Pergi ke halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di halaman DataStudio, gerakkan pointer di atas ikon
dan pilih Create Workflow.
Dalam kotak dialog Create Workflow, konfigurasikan parameter Workflow Name dan Description.
Klik Create.
Setelah alur kerja dibuat, Anda dapat melakukan operasi berikut:
Kembangkan node mesin komputasi dalam alur kerja. Untuk informasi lebih lanjut, lihat Rancang Logika Bisnis.
Serahkan alur kerja untuk menyerahkan dan menerapkan node yang telah Anda kembangkan dalam alur kerja ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Serahkan Alur Kerja.
Kelola alur kerja. Untuk informasi lebih lanjut, lihat Lihat Semua Alur Kerja, Hapus Node dari Alur Kerja, Ekspor Alur Kerja Umum untuk Replikasi, dan Ekspor Beberapa Alur Kerja dari Ruang Kerja DataWorks Sekaligus dan Impor ke Ruang Kerja DataWorks Lainnya atau Mesin Open Source.
Rancang alur kerja
Pengembangan kode dilakukan dalam alur kerja. Untuk mengembangkan kode dalam alur kerja, Anda dapat membuat node di bawah folder tipe mesin komputasi dalam pohon direktori. Anda juga dapat mengklik dua kali alur kerja. Pada tab konfigurasi alur kerja, seret komponen termasuk node dari berbagai tipe mesin komputasi ke kanvas dan hubungkan komponen untuk membentuk grafik asiklik terarah (DAG). 
Saat merancang alur kerja, perhatikan item berikut:
Jika sejumlah besar node dibuat dalam alur kerja, pelaksanaan alur kerja mungkin terpengaruh. Kami merekomendasikan agar Anda membuat tidak lebih dari 100 node dalam alur kerja.
CatatanAnda dapat membuat maksimal 1.000 node dalam alur kerja.
Dalam DAG, Anda dapat menggambar garis antara dua node untuk mengonfigurasi dependensi antara dua node. Anda juga dapat membuka panel Properties pada tab konfigurasi node dan mengonfigurasi dependensi node di panel tersebut. Untuk informasi lebih lanjut, lihat Panduan Konfigurasi Dependensi Penjadwalan.
Jika Anda membuat node dalam pohon direktori alur kerja, dependensi node dapat dikonfigurasi berdasarkan garis keturunan dalam kode. Untuk informasi lebih lanjut, lihat Panduan Konfigurasi Dependensi Penjadwalan.
Rancang logika bisnis
DataWorks mengenkapsulasi kemampuan mesin komputasi yang berbeda dalam berbagai jenis node. Anda dapat menggunakan node dari berbagai tipe mesin komputasi untuk mengembangkan data tanpa perlu menjalankan perintah kompleks pada mesin komputasi. Anda juga dapat menggunakan node umum DataWorks untuk merancang logika yang kompleks.
Anda dapat mengonfigurasi node dalam alur kerja, seperti node untuk Data Integration dan node untuk mesin komputasi.
Anda dapat mengonfigurasi node untuk Data Integration untuk menyinkronkan data, seperti node sinkronisasi batch dan node sinkronisasi real-time.
Anda dapat melakukan pembersihan data berdasarkan node untuk mesin komputasi dalam alur kerja, seperti node ODPS SQL untuk mesin komputasi MaxCompute. Jika Anda ingin menggunakan sumber daya atau fungsi saat mengembangkan kode, DataWorks memungkinkan Anda membuat sumber daya dan fungsi secara visual.
Untuk informasi lebih lanjut tentang jenis node yang didukung yang mengenkapsulasi kemampuan mesin komputasi yang berbeda dan fitur yang didukung untuk pengembangan di DataWorks, lihat DataStudio (versi lama).
Untuk informasi lebih lanjut tentang cara mengonfigurasi dependensi penjadwalan dan properti dasar, lihat Konfigurasikan Properti Dasar.
Serahkan alur kerja
Dalam ruang kerja dalam mode standar, halaman DataStudio hanya memungkinkan Anda mengembangkan dan menguji node dalam lingkungan pengembangan. Untuk menyerahkan kode ke lingkungan produksi, Anda dapat menyerahkan beberapa node dalam alur kerja sekaligus dan menerapkannya di halaman Deploy.
Setelah merancang alur kerja, klik ikon
di bilah alat.Dalam kotak dialog Commit, pilih node yang ingin Anda serahkan dan masukkan komentar Anda di bidang Change Description. Kemudian, tentukan apakah akan memilih Ignore I/O Inconsistency Alerts berdasarkan kebutuhan bisnis Anda. Jika Anda tidak memilih Abaikan I/O Inconsistency Alerts, pesan kesalahan akan ditampilkan jika sistem menentukan bahwa input dan output yang Anda konfigurasikan tidak cocok dengan input dan output yang diidentifikasi dalam analisis garis keturunan kode. Untuk informasi lebih lanjut, lihat Ketika saya menyerahkan node, sistem melaporkan kesalahan bahwa input dan output node tidak konsisten dengan garis keturunan data dalam kode yang dikembangkan untuk node tersebut. Apa yang harus saya lakukan?
Klik Confirm.
CatatanJika Anda belum memodifikasi kode atau properti sebuah node dan Anda telah melakukan commit pada tab konfigurasi node tersebut, Anda tidak dapat memilih node tersebut di kotak dialog Commit. Jika Anda telah memodifikasi kode atau properti sebuah node tetapi belum melakukan commit pada tab konfigurasi node tersebut, Anda dapat memilih node tersebut di kotak dialog Commit. Kemudian, Anda dapat memasukkan komentar Anda di bidang Change Description dan klik Confirm. Modifikasi terhadap kode atau properti node tersebut akan dicommit.
Terapkan node dalam alur kerja. Untuk informasi lebih lanjut, lihat Terapkan Node dalam Ruang Kerja yang Berada dalam Mode Standar.
Lihat riwayat operasi
Anda dapat pergi ke panel Riwayat Operasi halaman DataStudio untuk melihat catatan semua node yang dijalankan dalam tiga hari terakhir dalam akun login Anda saat ini.
Setelah Anda menjalankan node di DataStudio, node tersebut diterbitkan ke instance mesin komputasi yang sesuai. Bahkan jika Anda secara tidak sengaja menutup node selama proses berjalannya node, node tersebut tetap berjalan. Anda dapat pergi ke panel Riwayat Operasi untuk melihat log operasi node atau menghentikan node.
Lihat semua alur kerja
Di panel Scheduled Workflow, klik kanan Business Flow dan pilih All Workflows untuk melihat semua alur kerja dalam ruang kerja saat ini.
Klik kartu alur kerja. Tab konfigurasi alur kerja muncul.
Kelola alur kerja dengan menggunakan fitur solusi
Anda dapat menyertakan satu atau lebih alur kerja dalam solusi. Solusi memiliki manfaat berikut:
Solusi dapat berisi beberapa alur kerja.
Alur kerja dapat ditambahkan ke beberapa solusi.
Anggota ruang kerja dapat berkolaborasi dalam pengembangan dan pengelolaan semua solusi dalam ruang kerja.
Jika Anda mengelola alur kerja dengan menggunakan solusi, Anda dapat melakukan operasi berikut:
Di bagian bawah panel navigasi sisi kiri halaman DataStudio, klik ikon
. Tab Personal Settings halaman Settings muncul. Di bagian File Management tab Pengaturan Pribadi, pilih Show Solution.
Tambahkan beberapa alur kerja ke solusi sekaligus. Untuk melakukannya, klik kanan solusi, pilih Edit, dan kemudian ubah parameter Alur Kerja dalam kotak dialog Ubah Solusi.
Hapus node dari alur kerja
Hapus node dengan menggunakan fitur Operasi Batch
Anda dapat menggunakan fitur Operasi Batch untuk memodifikasi properti penjadwalan untuk beberapa node sekaligus. Sebagai contoh, Anda dapat memodifikasi grup sumber daya yang digunakan oleh beberapa node sekaligus. Anda juga dapat menggunakan fitur ini untuk menyerahkan beberapa node untuk tinjauan sekaligus. Anda dapat memfilter node berdasarkan tipe node, alur kerja, dan grup sumber daya untuk penjadwalan.
Anda dapat memodifikasi properti penjadwalan untuk beberapa node dalam lingkungan pengembangan sekaligus. Jika Anda ingin modifikasi tersebut berlaku di lingkungan produksi, Anda harus menerapkan node ke lingkungan produksi.
Di halaman DataStudio, klik ikon
di sebelah kanan Scheduled Workflow untuk pergi ke tab Node.
Modifikasi atau hapus node.
Konfigurasikan kondisi filter, seperti nama node, node ID, node type, dan workflow, untuk menemukan node yang ingin Anda modifikasi atau hapus.
Pilih node tertentu atau semua node.
Ubah atau hapus node.
Memodifikasi node: Anda hanya dapat memodifikasi pemilik dan grup sumber daya untuk penjadwalan beberapa node sekaligus. Anda dapat mengklik Change Owner atau Change Resource Group for Scheduling di bagian bawah tab Node untuk memodifikasi pemilik atau grup sumber daya untuk penjadwalan beberapa node sekaligus.
Dalam kotak dialog yang muncul, Anda dapat memodifikasi semua node yang dipilih jika Anda menetapkan parameter Forcibly Modify ke Yes. Jika Anda menetapkan parameter ini ke No, Anda hanya dapat memodifikasi node yang Anda kunci.
Menghapus node: Untuk menghapus node yang dipilih, pilih di bagian bawah tab Node.
Dalam kotak dialog Delete Node, Anda dapat menghapus semua node yang dipilih jika Anda menetapkan parameter Forcibly Delete ke Yes. Jika Anda menetapkan parameter ini ke No, Anda hanya dapat menghapus node yang Anda kunci.
Hapus node dengan menggunakan grup node
Anda dapat membuat, merujuk, membagi, dan menghapus grup node. Untuk informasi lebih lanjut, lihat Buat dan Kelola Grup Node.
Ekspor alur kerja umum untuk replikasi
Anda dapat menggunakan fitur grup node untuk dengan cepat mengelompokkan semua node dalam alur kerja sebagai grup node dan kemudian merujuk grup node tersebut dalam alur kerja baru. Untuk informasi lebih lanjut, lihat Buat dan Kelola Grup Node.
Ekspor beberapa alur kerja dari ruang kerja DataWorks sekaligus dan impor ke ruang kerja DataWorks lainnya atau mesin open source
Jika Anda ingin mengekspor beberapa alur kerja dalam ruang kerja sekaligus dan mengimpor alur kerja tersebut ke ruang kerja lain, Anda dapat menggunakan layanan Migration Assistant dari DataWorks. Untuk informasi lebih lanjut, lihat Migration Assistant.