Airflow adalah alat sumber terbuka untuk mengoordinasikan dan menjadwalkan alur kerja dalam skenario pengembangan data besar. Alat ini mendukung pengembangan pekerjaan, penjadwalan grafik asiklik terarah (DAG), serta pemantauan pemrosesan batch alur kerja. Airflow memungkinkan Anda menentukan alur kerja menggunakan kode Python, dan plugin Python-nya memungkinkan integrasi fleksibel dengan sebagian besar teknologi atau sistem eksternal.
Skenario
Mengoordinasikan tugas pengembangan data di DMS, seperti mengeksekusi skrip SQL dan pembersihan data.
Menjadwalkan Spark di AnalyticDB for MySQL untuk menjalankan tugas pemrosesan batch.
Menjadwalkan tugas integrasi data di DTS.
Wilayah dan zona yang didukung
Wilayah | Zona | ||
Nama | ID | Nama | ID |
Tiongkok (Hangzhou) | cn-hangzhou | Zona B | cn-hangzhou-b |
Zona E | cn-hangzhou-e | ||
Zona F | cn-hangzhou-f | ||
Zona G | cn-hangzhou-g | ||
Zona H (Direkomendasikan) | cn-hangzhou-h | ||
Zona I (Direkomendasikan) | cn-hangzhou-i | ||
Zona J (Direkomendasikan) | cn-hangzhou-j | ||
Zona K | cn-hangzhou-k | ||
Tiongkok (Shanghai) | cn-shanghai | Zona A | cn-shanghai-a |
Zona B | cn-shanghai-b | ||
Zona C | cn-shanghai-c | ||
Zona D | cn-shanghai-d | ||
Zona E | cn-shanghai-e | ||
Zona F | cn-shanghai-f | ||
Zona G | cn-shanghai-g | ||
Zona K | cn-shanghai-k | ||
Zona L (Direkomendasikan) | cn-shanghai-l | ||
Zona M (Direkomendasikan) | cn-shanghai-m | ||
Zona N (Direkomendasikan) | cn-shanghai-n | ||
Tiongkok (Beijing) | cn-beijing | Zona C | cn-beijing-c |
Zona D | cn-beijing-d | ||
Zona E | cn-beijing-e | ||
Zona F | cn-beijing-f | ||
Zona G | cn-beijing-g | ||
Zona H (Direkomendasikan) | cn-beijing-h | ||
Zona I (Direkomendasikan) | cn-beijing-i | ||
Zona J (Direkomendasikan) | cn-beijing-j | ||
Zona K | cn-beijing-k | ||
Zona L | cn-beijing-l | ||
Tiongkok (Shenzhen) | cn-shenzhen | Zona A | cn-shenzhen-a |
Zona B | cn-shenzhen-b | ||
Zona C | cn-shenzhen-c | ||
Zona D (Direkomendasikan) | cn-shenzhen-d | ||
Zona E (Direkomendasikan) | cn-shenzhen-e | ||
Zona F (Direkomendasikan) | cn-shenzhen-f | ||
Singapura | ap-southeast-1 | Zona A | ap-southeast-1a |
Zona B | ap-southeast-1b | ||
Zona C | ap-southeast-1c | ||
Indonesia (Jakarta) | ap-southeast-5 | Zona A | ap-southeast-5a |
Zona B | ap-southeast-5b | ||
Zona C | ap-southeast-5c | ||
Penagihan
Biaya untuk instans Airflow didasarkan pada Workflow Specifications (jumlah CU yang digunakan). Harga satuan ditampilkan pada halaman Konfigurasi Sumber Daya.
Ikhtisar solusi
Siapkan sumber daya yang diperlukan untuk Airflow.
Persiapkan sumber daya OSS dan aktifkan akses Internet untuk Airflow.
Akun Git tertaut adalah akun khusus untuk melakukan operasi di repositori kode. Operasi ini tidak terlihat oleh pengguna lain dalam ruang kerja yang sama, seperti akun Alibaba Cloud atau Pengguna RAM.
Buat repositori kode di Git atau sistem pengendalian versi lainnya untuk menyimpan dan mengelola file DAG Airflow.
Edit dan publikasikan kode di repositori kode.
Lihat status eksekusi Airflow.
Lihat penjadwalan DAG dan pantau pemrosesan batch alur kerja di ruang kerja Airflow.