Jadwalkan dan orchestrasi job DataWorks di SchedulerX - Microservices Engine - Alibaba Cloud - Microservices Engine

SchedulerX memungkinkan Anda menjadwalkan pekerjaan DataWorks secara berkala dan mengoordinasikan pekerjaan DataWorks dengan pekerjaan lain di SchedulerX untuk memproses data.

Prasyarat

Masuk ke Konsol DataWorks dan aktifkan DataWorks Edisi Perusahaan.

Prosedur akses client

Gunakan dependensi SDK

Gunakan dependensi client SDK SchedulerX.

Tingkatkan client SchedulerX ke versi V1.3.4 atau yang lebih baru.
Saat menghubungkan client ke DataWorks Edisi Perusahaan, masukkan ID AccessKey dan Rahasia AccessKey Akun Alibaba Cloud Anda ke dalam konfigurasi startup. Pastikan Akun Alibaba Cloud tersebut memiliki izin operasi pada DataWorks Edisi Perusahaan.
```
# Informasi akun yang digunakan untuk mengakses DataWorks.
spring.schedulerx2.aliyunAccessKey=ID AccessKey Akun Alibaba Cloud
spring.schedulerx2.aliyunSecretKey=Rahasia AccessKey Akun Alibaba Cloud
```

Gunakan agent

Jika Anda menggunakan agent untuk akses, lakukan penerapan agent dan gunakan agent tersebut untuk mengakses DataWorks sesuai petunjuk dalam Gunakan agent SchedulerX untuk menghubungkan aplikasi ke SchedulerX (pekerjaan Skrip atau HTTP). Hal-hal berikut diperlukan:

Paket instalasi. Klik tautan ini untuk mengunduhnya.
Tambahkan ID AccessKey dan Rahasia AccessKey Akun Alibaba Cloud yang memiliki izin untuk mengoperasikan DataWorks ke parameter startup dalam file agent.properties.
```
# Informasi akun yang digunakan untuk mengakses DataWorks.
aliyunAccessKey={ALIYUN_ACCESS_KEY}
aliyunSecretKey={ALIYUN_SECRET_KEY}
```

Image Docker

Pilih image Docker berdasarkan jenis jaringan dan arsitektur CPU Anda.

Jenis jaringan	x86_64	arm64
Internet	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64	registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64
Virtual private cloud (VPC) di Tiongkok (Hangzhou)	registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64	registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64

Jika Anda menggunakan image Docker untuk memulai, konfigurasikan variabel lingkungan startup ALIYUN_ACCESS_KEY dan ALIYUN_SECRET_KEY.

Buat pekerjaan DataWorks

Lakukan langkah-langkah berikut di Konsol DataWorks:
1. Buat alur kerja yang dipicu secara manual. Untuk informasi selengkapnya, lihat Buat alur kerja yang dipicu secara manual.
2. Buat node tanpa mengonfigurasi dependensi. Untuk informasi selengkapnya, lihat Buat node dan konfigurasikan dependensi node.
3. Komit alur kerja. Untuk informasi selengkapnya, lihat Komit alur kerja.
Lakukan langkah-langkah berikut di Konsol SchedulerX:
1. Buat alur kerja dan tambahkan node DataWorks ke dalam alur kerja tersebut. Untuk informasi selengkapnya, lihat Buat alur kerja.
  
  Pada halaman Create Job, konfigurasikan parameter berikut: atur job type ke dataworks, execution mode ke standalone, dan priority ke Medium. Untuk job parameters, masukkan schedulerX 2.0. Konfigurasikan parameter yang diperlukan lainnya, seperti Description, application ID, Workflow Name, Job ID, Project Name, dan deployment region. Lalu, klik Next.
2. Setelah pekerjaan ditambahkan, seret dan lepas titik di kedua ujung pekerjaan ke titik pekerjaan lain untuk membuat hubungan dependensi sehingga membentuk alur kerja lengkap.
3. Konfigurasikan pemicuan terjadwal untuk alur kerja yang telah dibuat. Untuk informasi selengkapnya, lihat Cron.

Hasil

Setelah alur kerja dipicu, Anda dapat melihat progres alur kerja dan status setiap node dalam daftar instans alur kerja. Anda juga dapat mengklik kanan sebuah node untuk melihat detail hasil eksekusinya.

Langkah selanjutnya

Di daftar instans pekerjaan SchedulerX, Anda dapat melihat detail eksekusi node pekerjaan, menghentikan pekerjaan, atau menjalankan ulang pekerjaan.
Di Pusat Operasi DataWorks, Anda dapat melakukan kueri informasi mengenai instans node DataWorks yang dijadwalkan.