Anda dapat membuat tugas yang dipicu secara manual di DataStudio dan mengelolanya di Operation Center. Topik ini menjelaskan cara membuat tugas yang dipicu secara manual dan menerapkannya ke lingkungan produksi.
Catatan penggunaan
-
Jika Anda tidak perlu menerapkan tugas ke lingkungan produksi untuk dijalankan pada compute engine, Anda dapat membuat kueri ad hoc sebagai gantinya.
-
Tugas yang dipicu secara manual hanya dapat dijalankan secara manual dan tidak mendukung penjadwalan otomatis.
-
Anda dapat mengatur urutan eksekusi untuk tugas yang dipicu secara manual dengan menghubungkannya menggunakan garis, tetapi hal ini tidak menciptakan dependensi penjadwalan.
-
Hanya terdapat sedikit perbedaan antara alur kerja yang dipicu secara manual dan alur kerja terjadwal. Untuk mempelajari antarmuka pengguna, lihat Fitur pada halaman DataStudio.
Buka halaman alur kerja yang dipicu secara manual
Buka halaman untuk membuat tugas yang dipicu secara manual.
-
Buka halaman DataStudio.
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Di halaman Data Studio, klik Manually Triggered Workflows di panel navigasi sebelah kiri. Jika item menu ini tidak terlihat, lihat Sesuaikan modul DataStudio yang ditampilkan untuk menambahkannya secara manual.
Buat alur kerja yang dipicu secara manual
Di DataWorks, Anda mengorganisasi tugas pengembangan data dalam sebuah alur kerja. Alur kerja berfungsi sebagai wadah, menyediakan kanvas tempat Anda dapat mengatur node, alat, dan aksi manajemen untuk tujuan bisnis tertentu. Langkah-langkah berikut menjelaskan cara membuat alur kerja:
-
Buat alur kerja dengan salah satu metode berikut:
-
Metode 1: Arahkan kursor ke ikon
lalu klik Create Workflow. -
Metode 2: Di pohon direktori sebelah kiri DataStudio, klik kanan Manually Triggered Workflows lalu pilih Create Workflow.
-
-
Di kotak dialog Create Workflow, masukkan nama dan deskripsi untuk alur kerja tersebut, lalu klik Create.
Untuk informasi lebih lanjut tentang alur kerja, lihat Buat dan kelola alur kerja.
Buat node yang dipicu secara manual
Anda dapat membuat node dari pohon direktori atau kanvas alur kerja.
-
Buat node yang dipicu secara manual.
-
Metode 1: Buat dari pohon direktori.
-
Di pohon direktori di bawah Manually Triggered Workflows, temukan alur kerja yang telah Anda buat di Buat alur kerja yang dipicu secara manual.
-
Klik kanan compute engine yang diperlukan dan pilih jenis node di bawah Create Node.
-
-
Metode 2: Buat dari kanvas alur kerja.
-
Di pohon direktori di bawah Manually Triggered Workflows, temukan alur kerja yang telah Anda buat di Buat alur kerja yang dipicu secara manual.
-
Klik ganda alur kerja tersebut untuk membuka kanvas alur kerja.
-
Di bagian atas kanvas, klik Create Node. Lalu, di panel navigasi sebelah kiri, klik jenis node yang diperlukan atau seret ke kanvas.
-
-
-
Konfigurasikan nama node, instans compute engine, dan informasi lainnya.
-
Definisikan kode tugas.
Tulis logika tugas menggunakan sintaksis untuk compute engine yang dipilih. Untuk pass parameter secara dinamis, definisikan variabel dalam format
${Variable name}. Anda kemudian dapat memberikan nilai default untuk variabel-variabel tersebut di properti node, mirip dengan cara variabel didefinisikan untuk tugas terjadwal.CatatanKonfigurasi parameter penjadwalan bervariasi tergantung jenis node. Misalnya, variabel dalam node Shell harus menggunakan format $1, $2, $3, ... Untuk informasi lebih lanjut, lihat Konfigurasikan parameter penjadwalan untuk berbagai jenis node.
(Opsional) Atur urutan eksekusi
Mendefinisikan urutan eksekusi untuk node dalam alur kerja yang dipicu secara manual bersifat opsional. Namun, Anda dapat menghubungkan node pada kanvas alur kerja untuk mengatur urutan eksekusi hulu ke hilir. Saat Anda menjalankan seluruh alur kerja, node tanpa urutan yang ditentukan akan dipicu secara konkuren, sedangkan node dengan urutan yang ditentukan akan dipicu secara berurutan.
Konfigurasikan properti node
Jika tugas perlu mengakses data dari compute engine di lingkungan produksi, Anda dapat mengonfigurasi properti eksekusinya di panel kanan editor node. Properti ini sama dengan properti untuk tugas terjadwal. Properti berikut tersedia:
|
Property |
Description |
|
Nama node, ID, jenis, dan Pemilik ditampilkan secara otomatis. Tidak diperlukan konfigurasi. Catatan
|
|
|
Menentukan parameter yang digunakan saat node dijalankan. Catatan
DataWorks menyediakan parameter bawaan dan kustom untuk memberikan nilai secara dinamis selama eksekusi tugas. Jika Anda telah mendefinisikan variabel dalam kode Anda, berikan nilai variabel tersebut di bagian ini. |
|
|
Menentukan kelompok sumber daya yang digunakan untuk menjalankan tugas setelah diterapkan ke lingkungan produksi. Anda dapat memilih kelompok sumber daya penjadwalan yang tersedia untuk ruang kerja saat ini. Kami merekomendasikan untuk membeli dan menggunakan kelompok sumber daya serverless DataWorks. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya serverless. |
Debug node yang dipicu secara manual
Anda dapat menggunakan ikon 
dan 
di bilah alat editor node untuk melakukan debug node saat ini. Anda juga dapat mengklik ikon 
Run di kanvas alur kerja untuk melakukan debug seluruh alur kerja yang dipicu secara manual.
Operasi ini dijalankan menggunakan akun Anda dan menggunakan sumber data yang dikonfigurasi untuk lingkungan pengembangan. Untuk melihat atau mengelola sumber data, buka halaman . Untuk informasi lebih lanjut, lihat Kelola sumber data.
(Opsional) Definisikan parameter alur kerja
Jika alur kerja yang dipicu secara manual Anda berisi variabel dengan nama yang sama dan Anda ingin memberikan nilai pada variabel tersebut di satu tempat, Anda dapat mendefinisikan parameter alur kerja di kanvas alur kerja. Setelah parameter didefinisikan, Anda dapat menjalankan alur kerja, memberikan nilai pada parameter tersebut, dan melihat detail eksekusi tugas yang dipicu secara manual dengan nilai-nilai tersebut.
Anda dapat mengatur nilai default untuk parameter alur kerja, atau hanya mendefinisikan nama parameter dan memberikan nilai spesifik setiap kali menjalankan alur kerja di lingkungan produksi.
Commit dan terapkan node
Untuk menjalankan tugas yang dipicu secara manual di lingkungan produksi, Anda harus menyimpan, melakukan commit, dan menerapkan node ke Operation Center. Untuk informasi lebih lanjut, lihat Terapkan node. Pastikan status penerapan akhir karena penerapan dapat gagal.
Setelah tugas diterapkan, buka untuk melihat node yang dipicu secara manual yang telah Anda terapkan.
Jalankan tugas di lingkungan produksi
Untuk menjalankan tugas yang dipicu secara manual, navigasikan ke dan buka halaman Manually Triggered Tasks. Di halaman ini, Anda dapat menemukan dan menjalankan tugas target.
Tugas yang dipicu secara manual dapat berjalan maksimal selama tiga hari. Jika suatu tugas melebihi batas ini, DataWorks akan menghentikannya secara otomatis, dan instans terkait akan gagal.
-
Berikan nilai parameter alur kerja: Jika alur kerja yang dipicu secara manual memiliki parameter alur kerja, Anda dapat memberikan nilai setiap kali menjalankan alur kerja. Tindakan ini memberikan nilai yang sama ke semua variabel dengan nama yang cocok dalam kode node alur kerja tersebut. Opsi ini hanya tersedia untuk alur kerja yang telah mendefinisikan parameter alur kerja.
-
Urutan eksekusi tugas: Urutan eksekusi mengikuti logika yang dijelaskan di bagian '(Opsional) Atur urutan eksekusi untuk node yang dipicu secara manual':
-
Saat Anda menjalankan seluruh alur kerja, tugas tanpa urutan eksekusi yang ditentukan akan dipicu secara konkuren.
-
Tugas dengan urutan eksekusi yang ditentukan dijalankan secara berurutan.
-
Menjalankan tugas yang dipicu secara manual di lingkungan produksi akan menghasilkan instans yang dipicu secara manual. Anda dapat melihat hasil eksekusi di halaman Manually Triggered Instances, yang berada di .