Di DataWorks, Workflow membantu Anda mengorganisasi tugas pengembangan data dari perspektif bisnis. Anda dapat membuat auto triggered workflow untuk tugas yang memerlukan penjadwalan berkala atau Manually Triggered Workflows untuk tugas sesuai permintaan. Topik ini menjelaskan cara membuat, merancang, melakukan commit, dan melihat workflow, serta cara memodifikasi atau menghapus node secara massal.
Latar Belakang
Satu ruang kerja dapat mendukung berbagai jenis mesin komputasi dan berisi beberapa workflow. Workflow merupakan kumpulan berbagai objek, termasuk node untuk mesin yang berbeda seperti Data Integration, MaxCompute, Hologres, dan E-MapReduce (EMR). Contohnya adalah node SQL MaxCompute dan node tabel MaxCompute.
Setiap jenis objek memiliki folder tersendiri, dan Anda dapat membuat subfolder di dalamnya. Untuk memastikan kemudahan pengelolaan, kami menyarankan kedalaman subfolder tidak lebih dari empat tingkat. Jika struktur Anda melebihi batas tersebut, pertimbangkan untuk membagi workflow menjadi dua atau lebih workflow yang lebih kecil. Anda kemudian dapat mengelompokkan workflow terkait tersebut ke dalam satu solusi guna meningkatkan efisiensi.
Workflow dengan pemicu otomatis dan manual
DataWorks menyediakan dua jenis workflow: auto triggered workflow dan Manually Triggered Workflows. Kedua jenis ini melayani skenario eksekusi berkala dan sesuai permintaan. Anda dapat mengembangkan tugas untuk kedua jenis workflow di DataStudio, lalu melakukan commit ke Operation Center untuk dijalankan di lingkungan produksi. Tabel berikut membandingkan kedua jenis tersebut.
Item perbandingan | Auto triggered workflow | Manually triggered workflow |
Kasus penggunaan | Untuk tugas yang dijalankan secara otomatis sesuai jadwal berulang. | Untuk tugas yang dipicu secara manual sesuai permintaan. |
Metode eksekusi | Berjalan secara otomatis sesuai jadwal. | Dipicu secara manual. |
Poin konfigurasi utama dalam pengembangan tugas | Anda harus mengonfigurasi parameter penjadwalan berkala, seperti waktu terjadwal dan dependensi node. | Karena tugas dipicu secara manual, Anda tidak perlu mengonfigurasi parameter terkait penjadwalan, seperti dependensi node induk, output node, atau waktu eksekusi terjadwal. Catatan Kecuali parameter penjadwalan ini, konfigurasinya identik dengan auto triggered workflow. Contoh pengembangan tugas dalam topik ini didasarkan pada auto triggered workflow. Langkah konfigurasi untuk parameter bersama sama untuk kedua jenis workflow. |
Cara membuat | Di panel navigasi sebelah kiri, klik DataStudio. Di halaman DataStudio, klik + New di pojok kanan atas dan pilih New Workflow dari daftar drop-down. | Di panel navigasi sebelah kiri, pilih Manually Triggered Workflow. Klik + New di pojok kanan atas dan pilih New Workflow dari daftar drop-down. |
Jika Anda tidak dapat menemukan titik masuk yang sesuai di panel navigasi sebelah kiri, lihat Sesuaikan tampilan modul di DataStudio untuk mengonfigurasi modul yang ditampilkan di DataStudio.
Buat auto triggered workflow
Di DataStudio, seluruh pengembangan dilakukan dalam suatu workflow. Oleh karena itu, Anda harus membuat workflow sebelum dapat membuat node. Sebelum membuat workflow, Anda dapat merujuk ke bagian Rancang workflow untuk merencanakan workflow yang sesuai kebutuhan bisnis Anda. Langkah-langkah berikut menjelaskan cara membuat auto triggered workflow.
-
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Arahkan kursor ke ikon
dan klik Create Workflow.Di kotak dialog Create Workflow, masukkan Workflow Name dan Description.
Klik Create.
Setelah workflow dibuat:
Anda dapat mulai mengembangkan tugas di bawah mesin yang sesuai dalam workflow tersebut. Untuk panduan pengembangan umum, lihat Kembangkan logika bisnis.
Setelah selesai mengembangkan tugas, Anda dapat melakukan commit workflow untuk menerapkan tugas ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Lakukan commit workflow.
Anda juga dapat mengelola workflow dari berbagai halaman. Untuk informasi lebih lanjut, lihat Lihat semua workflow, Hapus node dalam workflow, Salin workflow dengan cepat, dan Impor dan ekspor beberapa workflow secara cepat ke ruang kerja DataWorks lain atau mesin open-source.
Rancang workflow
Seluruh pengembangan kode dilakukan dalam suatu workflow. Anda dapat mengembangkan node dengan dua cara: membuat node dari pohon direktori dalam tampilan daftar, atau klik ganda workflow untuk membuka canvas-nya dan mengatur tugas multi-mesin secara visual menggunakan antarmuka drag-and-drop berbasis DAG. DataWorks menggunakan struktur hirarkis untuk pengembangan data: solution mengelompokkan serangkaian workflow terkait, dan Anda dapat klik ganda workflow untuk membuka workflow canvas-nya. Pohon direktori workflow berisi kategori seperti Data Integration, DataStudio, table, resource, function, algorithm, Data Service, dan control, sehingga memungkinkan Anda mengorganisasi kode secara visual. Di canvas workflow, Anda dapat menyeret komponen pengembangan (node) untuk memvisualisasikan dan mengembangkan logika bisnis Anda. Saat merancang workflow:
Jumlah node yang terlalu banyak dalam satu workflow dapat menurunkan performa. Kami menyarankan membatasi satu workflow maksimal 100 node.
CatatanAnda dapat membuat maksimal 1.000 node dalam satu workflow.
Dalam mode DAG, Anda dapat menyeret garis dependensi untuk mengonfigurasi dependensi penjadwalan antar-node. Anda juga dapat membuka panel konfigurasi penjadwalan untuk suatu node guna mengedit dependensinya secara manual. Untuk informasi lebih lanjut, lihat Konfigurasi dependensi penjadwalan.
Untuk node yang dibuat dalam mode daftar, Anda dapat mengonfigurasi dependensi penjadwalan berdasarkan code lineage. Untuk informasi lebih lanjut, lihat Konfigurasi dependensi penjadwalan.
Kembangkan logika bisnis
DataWorks mengenkapsulasi kemampuan mesin, memungkinkan Anda mengembangkan data menggunakan node mesin tanpa berinteraksi langsung dengan command line mesin yang kompleks. Anda juga dapat menggunakan node umum platform untuk menangani logika yang kompleks.
Dalam suatu workflow, Anda dapat mengembangkan logika bisnis menggunakan node sinkronisasi dan node mesin komputasi.
Di folder Data Integration, Anda dapat menggunakan node komponen sinkronisasi batch dan sinkronisasi real-time untuk menyinkronkan data dari satu database ke database lain.
Anda dapat membersihkan data menggunakan node pengembangan data di bawah grup mesin yang sesuai dalam workflow. Contohnya adalah node ODPS SQL untuk mesin MaxCompute. Jika Anda perlu menggunakan resource atau fungsi selama pengembangan kode, DataWorks memungkinkan Anda membuat node resource dan node fungsi melalui antarmuka visual.
Untuk informasi lebih lanjut tentang kemampuan mesin yang dienkapsulasi DataWorks dan kemampuan pengembangan yang didukung produk, lihat DataStudio (Legacy).
Untuk informasi tentang dependensi penjadwalan node dan konfigurasi properti, lihat Konfigurasi penjadwalan.
Lakukan commit workflow
Di ruang kerja dalam mode standar, antarmuka DataStudio berfungsi sebagai lingkungan pengembangan dan pengujian untuk tugas node. Untuk menerbitkan kode Anda ke lingkungan produksi, Anda perlu melakukan commit node dalam workflow, lalu menerbitkannya secara massal dari halaman deployment.
Setelah merancang dan menguji workflow, klik ikon
di bilah alat.Di kotak dialog Submission, pilih node yang ingin Anda commit, masukkan Remarks, dan pilih apakah akan Ignore I/O Inconsistency Alerts sesuai kebutuhan bisnis Anda. Jika konten input dan output Anda tidak sesuai dengan analisis code lineage dan Anda tidak memilih Ignore I/O Inconsistency Alerts, maka alert akan dipicu. Untuk informasi lebih lanjut, lihat Alert yang menunjukkan ketidaksesuaian antara I/O dan code lineage dilaporkan saat saya melakukan commit node.
Klik Submission.
CatatanJika suatu node telah di-commit dan isinya tidak berubah, node tersebut tidak dapat dipilih ulang. Dalam kasus ini, masukkan Remarks dan klik Submission. Perubahan pada properti node tetap akan di-commit.
Terbitkan tugas. Untuk informasi lebih lanjut, lihat Proses penerbitan tugas untuk ruang kerja dalam mode standar.
Lihat riwayat operasi
Halaman Operating History di DataStudio menampilkan semua catatan eksekusi tugas akun Anda selama tiga hari terakhir.
Saat Anda menjalankan tugas di DataStudio, DataStudio mengirimkannya ke layanan mesin yang sesuai untuk dieksekusi. Tugas tersebut terus berjalan meskipun Anda tidak sengaja menutup tab tugas. Di halaman Operating History, Anda dapat melihat log eksekusi atau menghentikan tugas yang sedang berjalan.
Lihat semua workflow
Di halaman Data Studio, klik kanan Workflow dan pilih All Workflows untuk melihat semua workflow dalam ruang kerja.
Klik kartu untuk membuka canvas workflow yang sesuai. Halaman ini menampilkan daftar kartu workflow, termasuk titik masuk untuk New Workflow dan kartu untuk workflow yang sudah ada.
Kelola workflow dengan solusi
Anda dapat mengelompokkan workflow ke dalam solusi. Solusi mendukung fitur-fitur berikut:
Satu solusi dapat berisi beberapa workflow.
Workflow yang sama dapat digunakan kembali di berbagai solusi.
Solusi yang dikelompokkan secara kustom memberikan pengalaman pengembangan yang imersif.
Untuk mengelola workflow menggunakan solusi, Anda dapat melakukan operasi berikut:
Di bagian bawah panel navigasi sebelah kiri pada halaman DataStudio, klik ikon
. Di halaman , pilih Show Solution di modul File Management.Tambahkan workflow ke solusi secara massal menggunakan panel edit solusi. Klik kanan node solusi target, misalnya doctest, lalu klik Edit.
Hapus node dalam workflow
Hapus node secara massal
Jika Anda perlu memodifikasi properti penjadwalan tugas, seperti mengubah kelompok sumber daya yang digunakan oleh tugas, atau mengirimkan tugas untuk ditinjau secara massal, Anda dapat menggunakan fitur Batch Operation. Fitur ini memungkinkan Anda memfilter dan memproses node target berdasarkan kriteria seperti jenis node, workflow, dan kelompok sumber daya untuk penjadwalan.
Operasi massal hanya memodifikasi properti tugas di lingkungan pengembangan. Untuk menerapkan perubahan ke lingkungan produksi, Anda harus membuka halaman deployment dan menerbitkannya setelah operasi massal selesai.
Di halaman Data Studio, klik ikon
di sebelah Workflow untuk membuka halaman Tasks. Ini adalah ikon Task List, yang terletak di bilah alat di atas kotak pencarian.Modifikasi atau hapus node target.
Anda dapat memfilter node berdasarkan kriteria seperti node name/ID, Node Type, dan Workflow.
Pilih beberapa atau semua node yang ingin Anda proses.
Modifikasi atau hapus node target.
Modifikasi node target: Anda hanya dapat memodifikasi pemilik dan kelompok sumber daya untuk penjadwalan node target secara massal. Klik Change Owner atau Change Resource Group for Scheduling untuk melakukan perubahan.
Mengatur parameter Forcefully Modify ke Yes di kotak dialog modifikasi memungkinkan Anda memodifikasi semua node yang dipilih. Jika Anda mengatur parameter ini ke No, Anda hanya dapat memodifikasi node yang telah Anda kunci.
Hapus node target: Klik untuk menghapus node yang dipilih.
Di kotak dialog Delete Node, mengatur parameter Force deletion ke Yes memungkinkan Anda menghapus semua node yang dipilih. Jika Anda mengatur parameter ini ke No, Anda hanya dapat menghapus node yang telah Anda kunci.
Hapus node menggunakan grup node
Anda dapat menggunakan grup node untuk membuat, mereferensikan, membagi, dan menghapus grup node. Untuk informasi lebih lanjut, lihat Gunakan grup node.
Salin workflow dengan cepat
Anda dapat menggunakan grup node untuk menggabungkan workflow secara cepat ke dalam satu grup node, lalu mereferensikan grup node tersebut di workflow baru. Untuk informasi lebih lanjut, lihat Gunakan grup node.
Migrasi workflow
Untuk mengekspor beberapa workflow dari satu ruang kerja DataWorks dan mengimpornya ke ruang kerja lain secara cepat, gunakan DataWorks Migration Assistant. Untuk informasi lebih lanjut, lihat Migration Assistant.