Data Management:Siapkan dan kelola lingkungan Airflow

Penagihan

Biaya didasarkan pada Workflow Specification (jumlah CU yang dikonsumsi). Harga satuan ditampilkan di halaman Configure Resources.

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Menyelesaikan persiapan resource instans yang dijelaskan dalam Preparations. Instans Airflow bergantung pada VPC, vSwitch, security group, dan bucket OSS yang dikonfigurasi pada langkah tersebut.

• Memiliki bucket Object Storage Service (OSS) di wilayah yang sama dengan ruang kerja Anda, dengan jalur penyimpanan yang telah dibuat untuk data Airflow.

• Memiliki repositori Git (GitHub, Apsara Devops Codeup, atau instans GitLab pribadi) yang berisi kode DAG Anda.

Langkah 1: Buat instans Airflow

1. Masuk ke DMS console V5.0.

2. Buka halaman Workspace. Di pojok kiri atas, klik ikon , lalu pilih All Features > Data+AI > Workspace.

   Jika Anda tidak menggunakan konsol versi sederhana, pilih Data+AI > Workspace dari bilah menu atas.

   

3. Klik nama ruang kerja target untuk membukanya, atau buat ruang kerja baru.

4. Di panel navigasi kiri, pilih > Airflow Instance, lalu klik Create Instance.

5. Konfigurasikan instans tersebut. Tabel berikut menjelaskan parameter utama.

   Parameter	Deskripsi
   Workflow Specification	Pilih spesifikasi berdasarkan skala dan kompleksitas alur kerja Anda. Mulailah dengan ukuran terkecil yang memenuhi kebutuhan saat ini — Anda dapat mengubahnya nanti. Untuk perbandingan kapasitas, lihat Airflow specifications.
   Worker Node Extension	Airflow secara otomatis menyesuaikan jumlah node pekerja berdasarkan beban tugas. Jumlah node diskalakan antara 1 hingga 10.
   VPC ID	Tidak perlu diubah. Secara default menggunakan VPC yang sama dengan ruang kerja.
   vSwitch	Pilih vSwitch target.
   Security Group	Pilih security group untuk mengontrol akses jaringan alur kerja.
   OSS Bucket	Pilih bucket OSS di wilayah yang sama dengan ruang kerja.
   OSS Path	Masukkan jalur penyimpanan yang telah Anda buat selama persiapan.

6. Klik Submit. Instans siap digunakan ketika statusnya berubah menjadi Running.

Langkah 2: Tambahkan akun tertaut

Akun tertaut menghubungkan DMS ke penyedia layanan Git Anda. Akun tertaut bersifat pribadi—pengguna lain dalam ruang kerja yang sama tidak dapat melihat resource yang terkait dengan akun Anda.

1. Di pojok kanan atas ruang kerja, klik foto profil Anda, lalu klik ikon untuk membuat akun tertaut.

   

2. Pada kotak dialog New Service Provider Account, pilih Type akun. DMS mendukung tiga jenis akun: GitHub, Apsara Devops Codeup, dan Private GitLab.

   

3. Pilih Creation Method dan masukkan kredensial yang diperlukan.

   • Username and password: Masukkan Username dan Password Anda.

   • User token: Masukkan Access token yang dihasilkan oleh penyedia Git Anda.

4. Klik OK.

Langkah 3: Buat repositori kode

1. Di panel navigasi kiri ruang kerja, klik ikon untuk membuka panel EXPLORER.

2. Di area CODE (Code Repository), klik ikon dan pilih Add existing git repository.

   

3. Masukkan Project Name, pilih Git Provider dan Git Repository URL, lalu klik OK. Jika Anda menggunakan layanan Alibaba Cloud, atur Git Provider ke CodeUp. DMS kemudian akan memilih akun CodeUp tertaut secara default. Setelah repositori ditambahkan, namanya akan muncul dalam daftar repositori.

   

Langkah 4: Kembangkan dan deploy kode

1. Di sebelah kanan nama repositori, klik nama branch (secara default master). Dari sini Anda dapat mengganti branch, membuat branch baru, mengedit kode, dan menyimpan perubahan Anda.

   Menyimpan setara dengan menjalankan git push.

2. Tinjau konfigurasi lingkungan dan parameter. Arahkan kursor ke nama repositori dan klik ikon untuk membuka pengaturan lingkungan.

3. Deploy kode tersebut. Arahkan kursor ke nama repositori, klik tombol , lalu klik OK pada dialog konfirmasi.

   

Langkah 5: Lihat tugas yang dipublikasikan

1. Di panel navigasi kiri, klik ikon .

2. Klik instans Airflow di bawah repositori target untuk melihat tugas yang dipublikasikan.

   

3. Klik nama Directed Acyclic Graph (DAG) untuk melihat hasil eksekusinya.

   

Spesifikasi Airflow

PostgreSQL dan Redis keduanya berjalan sebagai instans high-availability (HA) di semua tingkat spesifikasi.

Mulailah dengan spesifikasi terkecil yang memenuhi kebutuhan jumlah DAG dan paralelisme Anda saat ini. Anda dapat mengubah spesifikasi kapan saja seiring pertumbuhan beban kerja Anda.

PostgreSQL dan Redis keduanya merupakan instans high-availability (HA).