SchedulerX memungkinkan Anda membuat pekerjaan DataWorks dan mengoordinasikannya dengan pekerjaan lain di SchedulerX untuk memproses data.
Prasyarat
-
Masuk ke Konsol DataWorks dan aktifkan DataWorks Edisi Perusahaan.
Prosedur akses client
Gunakan dependensi SDK
Gunakan dependensi klien SDK SchedulerX.
Tingkatkan klien SchedulerX ke versi V1.3.4 atau yang lebih baru.
Saat menghubungkan klien ke DataWorks Edisi Perusahaan, masukkan ID AccessKey dan Rahasia AccessKey Akun Alibaba Cloud Anda ke dalam konfigurasi startup. Pastikan Akun Alibaba Cloud tersebut memiliki izin operasi pada DataWorks Edisi Perusahaan.
# Informasi akun yang digunakan untuk mengakses DataWorks. spring.schedulerx2.aliyunAccessKey=ID AccessKey Akun Alibaba Cloud spring.schedulerx2.aliyunSecretKey=Rahasia AccessKey Akun Alibaba Cloud
Gunakan agent
Jika Anda menggunakan agent untuk akses, deploy agent tersebut dan gunakan agent untuk mengakses DataWorks dengan mengikuti petunjuk dalam Gunakan agent SchedulerX untuk menghubungkan aplikasi ke SchedulerX (pekerjaan Script atau HTTP). Hal-hal berikut diperlukan:
Paket instalasi. Klik tautan ini untuk mengunduhnya.
Tambahkan ID AccessKey dan Rahasia AccessKey Akun Alibaba Cloud yang memiliki izin untuk mengoperasikan DataWorks ke parameter startup dalam file agent.properties.
# Informasi akun yang digunakan untuk mengakses DataWorks. aliyunAccessKey={ALIYUN_ACCESS_KEY} aliyunSecretKey={ALIYUN_SECRET_KEY}-
Image Docker
Pilih image Docker sesuai jaringan dan arsitektur CPU Anda.
Jaringan
x86_64
arm64
(Jaringan publik) Tiongkok (Hangzhou)
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agentilatest-amd64
schedulerx-registry.cn-hangzhou.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
(Jaringan publik) Singapura
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-amd64
schedulerx-registry.ap-southeast-1.cr.aliyuncs.com/schedulerx2/agent:latest-arm64
-
Saat memulai dari image Docker, konfigurasikan variabel lingkungan startup
ALIYUN_ACCESS_KEYdanALIYUN_SECRET_KEY.
Buat pekerjaan DataWorks
Lakukan langkah-langkah berikut di Konsol DataWorks:
Buat alur kerja yang dipicu secara manual. Untuk informasi selengkapnya, lihat Buat alur kerja yang dipicu secara manual.
Buat node tanpa mengonfigurasi dependensi. Untuk informasi selengkapnya, lihat Buat node dan konfigurasikan dependensi node.
Kirim alur kerja tersebut. Untuk informasi selengkapnya, lihat Kirim alur kerja.
-
Lakukan langkah-langkah berikut di Konsol SchedulerX:
-
Buat alur kerja dan tambahkan node DataWorks (pekerjaan) ke dalam alur kerja tersebut. Untuk informasi selengkapnya, lihat Buat alur kerja.
Pada halaman Create Job, konfigurasikan parameter berikut. Untuk Job Type, pilih dataworks. Masukkan Application ID, Workflow Name, Job ID, Project Name, dan Region. Untuk Execution Mode, pilih Standalone. Untuk Priority, pilih Medium. Lalu, klik Next.
Setelah pekerjaan ditambahkan, seret dan lepas titik di kedua ujung pekerjaan tersebut ke titik pekerjaan lain untuk membuat hubungan dependensi sehingga terbentuk alur kerja lengkap.
Konfigurasikan pemicuan terjadwal untuk alur kerja yang telah dibuat. Untuk informasi selengkapnya, lihat Cron.
-
Hasil
Setelah alur kerja dipicu, Anda dapat melihat progres alur kerja dan status setiap node dalam daftar instans alur kerja. Anda juga dapat mengklik kanan sebuah node untuk melihat detail hasil eksekusinya.
Langkah selanjutnya
Di daftar instans pekerjaan SchedulerX, Anda dapat melihat detail eksekusi node pekerjaan, menghentikan tugas, atau menjalankan ulang pekerjaan.
Di Pusat Operasi DataWorks, Anda dapat melakukan kueri informasi tentang instans node DataWorks yang dijadwalkan.