Alibaba Cloud menyediakan komponen yang kompatibel dengan Argo Workflows, mesin alur kerja cloud-native, untuk menyederhanakan orkestrasi tugas batch dalam pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, dan beban kerja CI/CD.
Pengenalan Argo Workflows
Argo Workflows adalah mesin alur kerja cloud-native yang andal, dirancang untuk mendefinisikan, mengelola, dan menjadwalkan alur kerja kompleks di Kubernetes. Sebuah alur kerja terdiri dari beberapa tugas dengan dependensi, sehingga fleksibilitas ini menyederhanakan konfigurasi tugas.
Skenario
Argo Workflows mendukung berbagai skenario, seperti pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, dan CI/CD. Solusi ini banyak digunakan di berbagai industri, termasuk kendaraan otonom, komputasi ilmiah, keuangan kuantitatif, dan media digital.
Pemrosesan data batch: Skema umum mencakup pemrosesan peta skala besar berpresisi tinggi, backtesting dan simulasi keuangan kuantitatif, pemrosesan audio dan video paralel, serta rendering animasi.
Komputasi ilmiah: Skema umum mencakup simulasi komputasi ilmiah kompleks, penemuan obat dan pelatihan, sekuensing gen, perbandingan dan deteksi mutasi, serta eksplorasi energi.
Simulasi: Skema umum mencakup simulasi algoritma kendaraan otonom, simulasi dinamika molekuler, simulasi data astronomi, dan pemodelan keuangan.
Pipeline pembelajaran mesin: Skema umum mencakup pra-pemrosesan data pembelajaran mesin, pelatihan terdistribusi, penyetelan parameter Large Language Model (LLM), serta evaluasi dan penerapan model.
Otomatisasi infrastruktur: Skema umum mencakup manajemen sumber daya cloud otomatis, pencadangan dan pemulihan sumber daya, migrasi kelompok node, serta migrasi dan peningkatan kluster.
CI/CD: Skema umum mencakup pipeline CI paralel, build dan pengujian multi-tahap, penerapan aplikasi lintas cloud, serta integrasi alur persetujuan.
Keunggulan Argo Workflows
Cloud-native: Dirancang khusus untuk Kubernetes. Setiap tugas berupa Pod, yang memanfaatkan sepenuhnya sifat ringan dan fleksibel dari kontainer.
Ringan dan skalabel: Argo Workflows bersifat ringan tanpa overhead atau batasan tambahan dibandingkan mesin virtual (VM) tradisional. Dengan memanfaatkan kemampuan penjadwalan Kubernetes, Anda dapat menjalankan ribuan tugas secara paralel untuk meningkatkan efisiensi pemrosesan.
Orkestrasi fleksibel: Kombinasi fleksibel antara Directed Acyclic Graphs (DAGs) dan langkah-langkah mendukung logika alur kerja kustom dengan kompleksitas apa pun. Mekanisme retry dan caching yang andal meningkatkan tingkat keberhasilan eksekusi alur kerja.
Ekosistem kaya: Mendukung orkestrasi berbagai jenis tugas, seperti Spark, Ray, dan TensorFlow Job. Dikombinasikan dengan fitur berbasis event, Anda dapat membangun platform pemrosesan tugas yang sepenuhnya otomatis.
Menggunakan Argo Workflows
ACK Argo Workflows kompatibel dengan dan meningkatkan versi open source-nya. Anda dapat memigrasikan alur kerja Argo yang sudah ada tanpa modifikasi. Keunggulan dibandingkan versi komunitas meliputi:
Auto-scaling elastis untuk mengoptimalkan biaya komputasi.
Load balancing multi-zona dan penjadwalan andal untuk ketersediaan tinggi.
Lapisan kontrol yang ditingkatkan dengan skalabilitas, performa, efisiensi, stabilitas, dan observabilitas lebih baik.
Manajemen penyimpanan OSS yang ditingkatkan, mendukung unggah file besar, pengumpulan sampah (GC) artefak, dan streaming.
Dukungan ahli dari spesialis layanan kontainer untuk mengoptimalkan alur kerja, meningkatkan performa, dan mengurangi biaya.
ACK Argo Workflows mendukung dua metode penerapan:
Serverless Argo Workflows: Untuk alur kerja berkinerja tinggi yang sepenuhnya dikelola, buat kluster alur kerja khusus. Serverless Argo Workflows.
Komponen Argo Workflows pada ACK: Jika Anda memiliki kluster ACK yang sudah ada, instal komponen Argo Workflows untuk mengoordinasikan alur kerja menggunakan sumber daya kluster Anda. Topik ini membahas metode penerapan ini.
Setelah menginstal komponen tersebut, gunakan Alibaba Cloud Argo CLI atau konsol Argo untuk mengirimkan dan mengelola alur kerja.
Tabel berikut merinci alur kerja berdasarkan peran.
Proses | Deskripsi |
1. Persiapan |
|
2. Menyiapkan lingkungan |
|
3. Mengelola alur kerja | (Insinyur data) Gunakan Argo CLI atau konsol Argo untuk mengirimkan dan mengelola tugas yang telah di-orkestrasi.
|
(Administrator kluster)
|
Penagihan
Orkestrasi tugas batch gratis. Anda hanya membayar sumber daya dasar seperti daya komputasi ACK dan produk cloud lainnya. Argo Server secara otomatis membuat instans SLB dengan model bayar sesuai penggunaan, yang dikenai biaya. Ikhtisar penagihan SLB.
Hubungi kami
Untuk pertanyaan atau saran, bergabunglah dengan grup DingTalk (ID: 35688562).