Ikhtisar orkestrasi tugas batch dengan Argo Workflows - Container Service for Kubernetes

Sistem orkestrasi tugas batch dan orkestrasi alur kerja tradisional kesulitan mengelola kompleksitas skenario orkestrasi yang terus berkembang serta tidak mendukung ekspansi otomatisasi. Keterbatasan ini terlihat jelas dalam skenario seperti pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, serta continuous integration dan continuous delivery (CI/CD). Alibaba Cloud menyediakan komponen yang kompatibel dengan mesin alur kerja cloud-native Argo Workflows untuk menyederhanakan orkestrasi tugas batch. Topik ini terutama memperkenalkan penggunaan komponen Argo Workflows di kluster Container Service for Kubernetes (ACK).

Argo Workflows sumber terbuka

Argo Workflows adalah mesin alur kerja cloud-native yang andal, dirancang untuk mendefinisikan, mengelola, dan menjadwalkan alur kerja kompleks di Kubernetes. Sebuah alur kerja dapat mencakup beberapa tugas dengan dependensi di antara mereka, sehingga menyederhanakan konfigurasi tugas.

Skenario

Argo Workflows mendukung berbagai skenario, dan banyak digunakan di berbagai industri seperti kendaraan otonom, komputasi ilmiah, analisis kuantitatif keuangan, serta media digital.

Pemrosesan data batch: pemrosesan peta skala besar berpresisi tinggi, simulasi backtesting kuantitatif keuangan, pemrosesan audio dan video paralel, rendering animasi.
Komputasi ilmiah: simulasi komputasi ilmiah kompleks, penelitian dan pelatihan farmasi, sekuensing gen, deteksi penyelarasan mutasi, eksplorasi energi.
Simulasi dan pemodelan: simulasi algoritma kendaraan otonom, simulasi dinamika molekuler, simulasi data astronomi, pemodelan keuangan.
Pipeline pembelajaran mesin: pra-pemrosesan data pembelajaran mesin, pelatihan terdistribusi, penyetelan parameter model besar, evaluasi dan penerapan model.
Otomatisasi infrastruktur: manajemen otomatis sumber daya cloud, backup dan pemulihan resource, migrasi kelompok node, migrasi dan peningkatan kluster.
CI/CD: pipeline CI paralel, build dan pengujian multi-tahap, penerapan aplikasi lintas cloud, integrasi alur kerja persetujuan.

Keunggulan

Cloud native: Dirancang khusus untuk Kubernetes, setiap tugas berupa Pod yang sepenuhnya memanfaatkan sifat ringan dan fleksibel kontainer.
Ringan dan skalabilitas tinggi: Dibandingkan VM tradisional, Argo Workflows lebih ringan tanpa overhead atau batasan tambahan. Dengan kemampuan penjadwalan kuat dari Kubernetes, ribuan tugas dapat dijalankan secara paralel, meningkatkan efisiensi pemrosesan.
Kemampuan orkestrasi fleksibel: Kombinasi fleksibel antara directed acyclic graphs (DAGs) dan langkah-langkah mendukung kustomisasi alur kerja dengan berbagai tingkat kompleksitas. Dilengkapi mekanisme retry dan caching yang andal, tingkat keberhasilan eksekusi alur kerja meningkat.
Ekosistem kaya: Mendukung orkestrasi berbagai jenis tugas, seperti pekerjaan Spark, Ray, dan TensorFlow. Dikombinasikan dengan kemampuan event-driven, platform pemrosesan tugas otomatis penuh dapat dibangun.

ACK Argo Workflows

Keunggulan

ACK Argo Workflows kompatibel dengan Argo Workflows sumber terbuka dan mencakup peningkatan tambahan. Anda dapat melakukan migrasi mulus dari alur kerja Argo sumber terbuka yang sudah ada ke ACK Argo Workflows tanpa perlu modifikasi. Dibandingkan versi sumber terbuka, ACK Argo Workflows menawarkan keunggulan berikut:

Elastisitas tinggi, penskalaan otomatis, dan optimasi biaya komputasi.
Keandalan tinggi, load balancing multi-zona, dan keandalan penjadwalan tinggi.
Lapisan kontrol yang ditingkatkan dengan peningkatan signifikan dalam skalabilitas, performa, efisiensi, stabilitas, dan observabilitas.
Manajemen penyimpanan Object Storage Service (OSS) yang ditingkatkan, mendukung unggah file besar, garbage collection (GC) artefak, dan streaming data.
Dukungan dari pakar teknis layanan kontainer untuk membantu tim Anda mengoptimalkan alur kerja, meningkatkan performa, dan mengurangi biaya.

ACK Argo Workflows menyediakan dua opsi penggunaan untuk memenuhi kebutuhan pengguna yang berbeda:

Serverless Argo Workflows: Jika Anda ingin fokus pada orkestrasi proses bisnis tanpa beban operasional serta memiliki kebutuhan beban kerja berskala besar dan berkinerja tinggi, Anda dapat membangun kluster alur kerja terpisah. Untuk informasi selengkapnya, lihat Serverless Argo Workflows.
Komponen Argo Workflows di ACK: Jika Anda sudah memiliki kluster ACK dan ingin menggunakan sumber daya kluster yang ada, Anda dapat menggunakan komponen Argo Workflows untuk mengatur alur kerja Anda.

Prosedur

Setelah menginstal komponen Argo Workflows, Anda dapat menggunakan orkestrasi tugas batch dengan mengirimkan dan mengelola alur kerja melalui Alibaba Cloud Argo CLI atau konsol Argo.

Gambar berikut menggambarkan proses untuk peran yang berbeda:

Proses	Deskripsi
Persiapan	Aktifkan layanan ACK. Untuk informasi selengkapnya, lihat Buat kluster ACK yang dikelola secara cepat. Buat kluster ACK. Untuk informasi selengkapnya, lihat Buat kluster ACK yang dikelola.
Persiapan lingkungan	Anda harus menginstal komponen Argo Workflows untuk mengaktifkan orkestrasi tugas batch di kluster. ACK menyediakan dua metode untuk membuat dan mengelola tugas alur kerja: Argo CLI: Instal Alibaba Cloud Argo CLI. Konsol Argo: Dapatkan token yang diperlukan untuk mengakses Argo Server dan konsol. Untuk informasi selengkapnya, lihat Aktifkan orkestrasi tugas batch.
Manajemen alur kerja	(Insinyur data) Setelah Anda mengatur tugas paralel, kirimkan dan kelola tugas menggunakan Argo CLI atau konsol Argo. Penggunaan dasar: Jika Anda pengguna baru, lihat Buat alur kerja untuk mengetahui cara membuat alur kerja di kluster ACK. Penggunaan lanjutan: Untuk skenario tertentu, seperti tugas DAG Fan-in dan Fan-out dinamis, alur kerja komputasi genomik, dan pemrosesan data batch, lihat Praktik terbaik.
Manajemen alur kerja	(Administrator kluster) Kelola kuota sumber daya kluster dan isolasi izin. Misalnya, Anda dapat menentukan agar alur kerja berbeda berjalan di namespace berbeda. Untuk informasi selengkapnya, lihat Kirim alur kerja ke namespace tertentu. Pantau status berjalan alur kerja, termasuk persistensi log alur kerja. Untuk informasi selengkapnya, lihat Persistensi alur kerja.

Penagihan

Fitur orkestrasi tugas batch tidak dikenai biaya tambahan. Namun, selain penagihan ACK reguler, saat menggunakan orkestrasi tugas batch, Argo Server akan secara otomatis membuat instans Classic Load Balancer (CLB) dengan model bayar sesuai penggunaan. Biaya terkait tersebut ditagih oleh CLB. Untuk informasi selengkapnya, lihat Penagihan CLB.

Hubungi kami

Jika Anda memiliki saran atau pertanyaan mengenai produk ini, bergabunglah dengan grup DingTalk 35688562 untuk menghubungi kami.