Saat pipeline data mencakup beberapa sistem, Anda memerlukan satu penjadwal untuk mengoordinasikan semua pekerjaan—termasuk Tugas DataWorks—dalam satu garis waktu. SchedulerX terintegrasi dengan DataWorks sehingga Anda dapat menjadwalkan pekerjaan DataWorks secara berkala dan mengostrasikannya bersama pekerjaan SchedulerX lainnya dalam satu alur kerja terpadu. Misalnya, Anda dapat memicu pekerjaan DataWorks hanya setelah tugas SchedulerX hulu selesai.
Prasyarat
DataWorks Enterprise Edition diaktifkan di Konsol DataWorks
Pasangan AccessKey (ID AccessKey dan Rahasia AccessKey) untuk Akun Alibaba Cloud yang memiliki izin untuk mengoperasikan DataWorks Enterprise Edition
Hubungkan SchedulerX ke DataWorks
Hubungkan SchedulerX ke DataWorks melalui salah satu metode berikut:
| Metode | Kapan digunakan |
|---|---|
| SDK | Anda sudah menjalankan aplikasi Spring Boot dengan SDK SchedulerX |
| Agent | Anda memerlukan proses mandiri, atau workload Anda dijalankan sebagai skrip atau job HTTP |
SDK
Perbarui client SDK SchedulerX ke versi V1.3.4 atau yang lebih baru, lalu tambahkan properti berikut ke konfigurasi startup Spring Boot Anda:
# Pasangan AccessKey untuk akses DataWorks
spring.schedulerx2.aliyunAccessKey=<your-access-key-id>
spring.schedulerx2.aliyunSecretKey=<your-access-key-secret>| Placeholder | Deskripsi |
|---|---|
<your-access-key-id> | ID AccessKey Akun Alibaba Cloud Anda |
<your-access-key-secret> | Rahasia AccessKey Akun Alibaba Cloud Anda |
Agent
Deploy agent SchedulerX dengan mengikuti petunjuk di Gunakan agent SchedulerX untuk menghubungkan aplikasi ke SchedulerX (Skrip atau job HTTP). Anda dapat mendeploy agent dari paket instalasi atau image Docker.
Paket instalasi
Unduh paket instalasi agent.
Tambahkan pasangan AccessKey berikut ke file
agent.properties:Placeholder Deskripsi <your-access-key-id>ID AccessKey Akun Alibaba Cloud Anda <your-access-key-secret>Rahasia AccessKey Akun Alibaba Cloud Anda # Pasangan AccessKey untuk akses DataWorks aliyunAccessKey=<your-access-key-id> aliyunSecretKey=<your-access-key-secret>
Image Docker
Pilih image Docker berdasarkan jenis jaringan dan arsitektur CPU Anda.
Jenis jaringan x86_64 arm64 Internet registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64registry.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64VPC di Tiongkok (Hangzhou) registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-amd64registry-vpc.cn-hangzhou.aliyuncs.com/schedulerx/agent:1.10.13-dataworks-arm64Atur variabel lingkungan
ALIYUN_ACCESS_KEYdanALIYUN_SECRET_KEYsaat menjalankan container Docker.
Buat dan jadwalkan pekerjaan DataWorks
Membuat pekerjaan DataWorks yang dijadwalkan memerlukan langkah di dua konsol: siapkan alur kerja di DataWorks, lalu bangun orkestrasi di SchedulerX.
Langkah 1: Siapkan alur kerja di DataWorks
Buat alur kerja yang dipicu secara manual. Lihat Buat alur kerja yang dipicu secara manual.
Buat node tanpa mengonfigurasi dependensi. Lihat Buat node dan konfigurasikan dependensi node.
Komit alur kerja tersebut. Lihat Komit alur kerja.
Langkah 2: Bangun orkestrasi di SchedulerX
Buat alur kerja dan tambahkan node DataWorks ke dalamnya. Lihat Buat alur kerja.
Tentukan dependensi antar pekerjaan dengan menyeret titik koneksi dari satu pekerjaan ke pekerjaan lainnya.
Konfigurasikan pemicuan terjadwal untuk alur kerja tersebut. Lihat Cron.
Verifikasi alur kerja
Setelah alur kerja dipicu, buka daftar instans alur kerja untuk memeriksa progres alur kerja dan status setiap node. Untuk melihat detail eksekusi suatu node tertentu, klik kanan pada node tersebut.
Langkah selanjutnya
Monitor eksekusi pekerjaan: Di daftar instans pekerjaan SchedulerX, lihat detail eksekusi, hentikan pekerjaan, atau jalankan ulang pekerjaan.
Lacak instans node DataWorks: Di Pusat Operasi DataWorks, kueri informasi mengenai instans node DataWorks yang dijadwalkan melalui SchedulerX.