Sistem tradisional untuk orkestrasi batch dan alur kerja sering kesulitan menghadapi skenario kompleks seperti pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, dan CI/CD karena ketidakmampuannya menangani kompleksitas yang terus meningkat atau mendukung skalabilitas otomatis. Untuk menyederhanakan orkestrasi tugas batch, Alibaba Cloud menyediakan komponen yang kompatibel dengan mesin alur kerja cloud-native Argo Workflows.
Pengenalan Argo Workflows
Argo Workflows adalah mesin alur kerja cloud-native yang andal, dirancang untuk mendefinisikan, mengelola, dan menjadwalkan alur kerja kompleks di Kubernetes. Alur kerja terdiri dari beberapa task dengan dependensi, sehingga fleksibilitas ini menyederhanakan konfigurasi task.
Skenario
Argo Workflows mendukung berbagai skenario, termasuk pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, dan CI/CD. Alat ini banyak digunakan di berbagai industri, seperti kendaraan otonom, komputasi ilmiah, keuangan kuantitatif, dan media digital.
Pemrosesan data batch: Skenario umum mencakup pemrosesan peta skala besar berpresisi tinggi, backtesting dan simulasi keuangan kuantitatif, pemrosesan audio dan video paralel, serta rendering animasi.
Komputasi ilmiah: Skenario umum mencakup simulasi komputasi ilmiah kompleks, penemuan obat dan pelatihan, sekuensing gen, perbandingan dan deteksi mutasi, serta eksplorasi energi.
Simulasi: Skenario umum mencakup simulasi algoritma kendaraan otonom, simulasi dinamika molekuler, simulasi data astronomi, dan pemodelan keuangan.
Pipeline pembelajaran mesin: Skenario umum mencakup pra-pemrosesan data pembelajaran mesin, pelatihan terdistribusi, penyetelan parameter Large Language Model (LLM), serta evaluasi dan penerapan model.
Otomatisasi infrastruktur: Skenario umum mencakup manajemen sumber daya cloud otomatis, backup dan pemulihan resource, migrasi node pool, serta migrasi dan peningkatan kluster.
CI/CD: Skenario umum mencakup pipeline CI paralel, build dan pengujian multi-tahap, penerapan aplikasi lintas cloud, serta integrasi alur persetujuan.
Keunggulan Argo Workflows
Cloud-native: Dirancang khusus untuk Kubernetes. Setiap task merupakan Pod, yang memanfaatkan sepenuhnya sifat ringan dan fleksibel dari kontainer.
Ringan dan dapat diskalakan: Argo Workflows bersifat ringan tanpa overhead atau batasan tambahan dibandingkan mesin virtual (VM) tradisional. Dengan memanfaatkan kemampuan penjadwalan Kubernetes, Anda dapat menjalankan ribuan task secara paralel untuk meningkatkan efisiensi pemrosesan.
Orkestrasi fleksibel: Kombinasi fleksibel antara Directed Acyclic Graphs (DAGs) dan langkah-langkah (steps) mendukung logika alur kerja kustom dengan tingkat kompleksitas apa pun. Mekanisme retry dan caching yang andal meningkatkan tingkat keberhasilan eksekusi alur kerja.
Ekosistem kaya: Mendukung orkestrasi berbagai jenis task, seperti Spark, Ray, dan TensorFlow Job. Dikombinasikan dengan fitur berbasis event, Anda dapat membangun platform pemrosesan task yang sepenuhnya otomatis.
Menggunakan Argo Workflows
ACK Argo Workflows kompatibel dengan versi komunitas Argo Workflows dan mencakup peningkatan dibandingkan versi open source. Anda dapat melakukan migrasi alur kerja Argo yang sudah ada secara mulus tanpa modifikasi. ACK Argo Workflows memberikan keunggulan berikut dibandingkan versi open source:
Elastisitas tinggi, skalabilitas otomatis, dan optimasi biaya komputasi.
Keandalan tinggi dengan load balancing multi-zona dan penjadwalan yang andal.
Lapisan kontrol yang ditingkatkan dengan peningkatan signifikan dalam skala, performa, efisiensi, stabilitas, dan observabilitas.
Manajemen penyimpanan Object Storage Service (OSS) yang ditingkatkan, mendukung unggah file besar, garbage collection (GC) artefak, dan streaming.
Dukungan dari pakar teknis layanan kontainer untuk membantu tim bisnis Anda mengoptimalkan alur kerja, meningkatkan performa, dan mengurangi biaya.
ACK Argo Workflows menyediakan dua opsi penggunaan untuk memenuhi kebutuhan pengguna yang berbeda:
Serverless Argo Workflows: Jika Anda menginginkan layanan yang sepenuhnya dikelola agar fokus pada orkestrasi alur bisnis dan memerlukan beban kerja skala besar berkinerja tinggi, Anda dapat membuat kluster alur kerja terpisah. Untuk informasi lebih lanjut, lihat Serverless Argo Workflows.
Komponen Argo Workflows di ACK: Jika Anda sudah memiliki kluster ACK dan ingin menggunakan sumber dayanya, Anda dapat menggunakan komponen Argo Workflows untuk mengatur alur kerja bisnis Anda. Topik ini menjelaskan cara menggunakan komponen Argo Workflows pada kluster ACK.
Setelah menginstal komponen Argo Workflows, Anda harus mengaktifkan orkestrasi tugas batch. Anda kemudian dapat mengirimkan dan mengelola alur kerja menggunakan Alibaba Cloud Argo command-line interface (CLI) atau konsol Argo.
Proses umum untuk peran yang berbeda adalah sebagai berikut.
Proses | Deskripsi |
1. Persiapan |
|
2. Siapkan lingkungan |
Untuk informasi lebih lanjut, lihat Aktifkan orkestrasi tugas batch. |
3. Kelola alur kerja | (Insinyur data) Setelah mengatur task paralel, Anda dapat mengirimkan dan mengelolanya menggunakan Argo CLI atau konsol Argo.
|
(Administrator kluster)
|
Penagihan
Fitur orkestrasi tugas batch tidak dikenai biaya. Namun, selain penagihan ACK standar, Argo Server secara otomatis membuat instans Classic Load Balancer (CLB) pay-as-you-go saat Anda menggunakan fitur ini. Anda akan dikenai biaya oleh CLB untuk instans tersebut. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan CLB.
Hubungi kami
Jika Anda memiliki saran produk atau pertanyaan, Anda dapat menghubungi kami dengan bergabung ke grup DingTalk (ID: 35688562).