Menjadwalkan job XIHE SQL secara manual rentan terhadap kesalahan dan sulit diskalakan seiring meningkatnya kompleksitas pipeline. Gunakan Apache DolphinScheduler—platform orkestrasi alur kerja open source terdistribusi dengan editor Directed Acyclic Graph (DAG) visual—untuk mengotomatiskan eksekusi job XIHE SQL dan mengelola alur kerja pemrosesan data skala besar terhadap AnalyticDB for MySQL.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
DolphinScheduler yang telah diinstal. Lihat dokumentasi DolphinScheduler.
Driver MySQL (v8.0.0 atau lebih baru) yang ditempatkan di direktori instalasi DolphinScheduler. Unduh dari mysql-connector-java.
Alamat IP server DolphinScheduler yang telah ditambahkan ke daftar putih alamat IP kluster AnalyticDB for MySQL Anda. Lihat daftar putih alamat IP.
Jadwalkan job XIHE SQL
Ikuti langkah-langkah berikut secara berurutan: buat sumber data, buat proyek, definisikan dan jalankan alur kerja, lalu verifikasi hasil eksekusi.
Langkah 1: Buat sumber data
Buka antarmuka web DolphinScheduler. Pada bilah navigasi atas, klik Datasource.
Klik Create DataSource. Pada kotak dialog Choose DataSource Type, pilih MYSQL.
Pada kotak dialog CreateDataSource, konfigurasikan parameter berikut.
Parameter Wajib Deskripsi DataSource Wajib Pilih MYSQL. Datasource Name Wajib Nama untuk sumber data. IP Wajib Titik akhir kluster AnalyticDB for MySQL. Masuk ke Konsol AnalyticDB for MySQL dan buka halaman Cluster Information untuk menemukan titik akhir tersebut. Port Wajib Nomor port kluster AnalyticDB for MySQL. Atur ke 3306.User Name Wajib Nama akun database kluster AnalyticDB for MySQL. Database Name Wajib Nama database kluster AnalyticDB for MySQL. Untuk daftar lengkap parameter opsional, lihat MySQL datasource.
Klik Test Connect. Setelah pengujian koneksi berhasil, klik Confirm.
Langkah 2: Buat proyek
Pada bilah navigasi atas, klik Project.
Klik Create Project.
Pada kotak dialog Create Project, konfigurasikan Project Name, Owned Users, dan parameter lainnya. Untuk detailnya, lihat Project.
Langkah 3: Buat alur kerja
Klik nama proyek yang telah Anda buat. Di panel navigasi kiri, pilih Workflow > Workflow Definition.
Klik Create Workflow untuk membuka halaman workflow DAG edit.
Pada daftar node di sebelah kiri, pilih SQL dan seret ke kanvas.
Pada kotak dialog Current node settings, konfigurasikan parameter berikut.
Parameter Wajib Deskripsi Datasource types Wajib Pilih MYSQL. Datasource instances Wajib Pilih sumber data yang telah Anda buat di Langkah 1. SQL Type Wajib Jenis job SQL. Nilai yang valid: Query dan Non Query. SQL Statement Wajib Pernyataan SQL yang akan dieksekusi. Klik Confirm.
Di pojok kanan atas halaman, klik Save. Pada kotak dialog Basic Information, atur Workflow Name dan parameter lainnya, lalu klik Confirm.
Langkah 4: Jalankan alur kerja
Temukan alur kerja dalam daftar. Pada kolom Operation, klik ikon
untuk memublikasikan alur kerja.Klik ikon
pada kolom Operation.Pada kotak dialog Please set the parameters before starting, konfigurasikan parameter eksekusi.
Klik Confirm untuk memulai alur kerja.
Langkah 5: Lihat hasil eksekusi
Di panel navigasi kiri, pilih Task > Task Instance.
Temukan task untuk alur kerja Anda. Pada kolom Operation, klik ikon
untuk melihat hasil eksekusi dan log.