Untuk pemrosesan data batch, pipeline pembelajaran mesin, otomatisasi infrastruktur, dan CI/CD, orkestrasi tugas batch tradisional tidak dapat memenuhi persyaratan kompleks atau mendukung otomatisasi. Alibaba Cloud menyediakan komponen Argo Workflows berbasis cloud-native untuk membantu Anda mengurangi kompleksitas dalam mengoordinasikan tugas batch.
Argo Workflows Open-source
Argo Workflows adalah mesin alur kerja cloud-native yang dirancang untuk mendefinisikan, mengelola, dan menjadwalkan alur kerja kompleks di Kubernetes. Sebuah alur kerja dapat mencakup beberapa tugas dengan dependensi di antara mereka, menyederhanakan konfigurasi tugas secara fleksibel.
Skenario
Argo Workflows mendukung berbagai skenario, dan banyak digunakan di industri seperti mengemudi otonom, komputasi ilmiah, analisis kuantitatif keuangan, dan media digital.
Pemrosesan data batch: Pemrosesan peta berskala besar dengan presisi tinggi, simulasi backtesting kuantitatif keuangan, pemrosesan audio dan video paralel, rendering animasi.
Komputasi ilmiah: Simulasi komputasi ilmiah yang kompleks, penelitian dan pelatihan farmasi, penurutan gen, deteksi penyelarasan mutasi, eksplorasi energi.
Simulasi dan pemodelan: Simulasi algoritma mengemudi otonom, simulasi dinamika molekul, simulasi data astronomi, pemodelan keuangan.
Pipeline pembelajaran mesin: Pra-pemrosesan data pembelajaran mesin, pelatihan terdistribusi, penyetelan parameter model besar, evaluasi dan penyebaran model.
Otomatisasi infrastruktur: Manajemen otomatis sumber daya cloud, pencadangan dan pemulihan sumber daya, migrasi pool node, migrasi dan peningkatan kluster.
CI/CD: Pipeline CI paralel, pembuatan dan pengujian multi-tahap, penyebaran aplikasi lintas-cloud, integrasi alur kerja persetujuan.
Keunggulan
Berbasis cloud-native: Dirancang khusus untuk Kubernetes, setiap tugas adalah pod yang sepenuhnya memanfaatkan sifat ringan dan fleksibilitas kontainer.
Ringan dan skalabilitas: Dibandingkan dengan VM tradisional, Argo Workflows lebih ringan tanpa overhead tambahan. Dengan kemampuan penjadwalan kuat dari Kubernetes, ribuan tugas dapat diluncurkan secara paralel, meningkatkan efisiensi pemrosesan.
Kemampuan orkestrasi fleksibel: Kombinasi grafik asiklik terarah (DAG) dan langkah-langkah mendukung penyesuaian alur kerja dengan kompleksitas luas. Mekanisme retry dan caching yang kuat meningkatkan tingkat keberhasilan eksekusi alur kerja.
Ekosistem kaya: Mendukung orkestrasi berbagai jenis tugas seperti pekerjaan Spark, Ray, dan TensorFlow. Digabungkan dengan kemampuan berbasis peristiwa, ini membangun platform pemrosesan tugas otomatis sepenuhnya.
Menggunakan Argo Workflows
ACS Argo Workflows kompatibel dengan Argo Workflows open source dan ditingkatkan lebih lanjut. Anda dapat bermigrasi mulus alur kerja saat ini ke ACS Argo Workflows. ACS Argo Workflows menawarkan manfaat berikut:
Elastisitas tinggi, penskalaan otomatis, dan optimasi biaya komputasi.
Kluster alur kerja mendukung keandalan penjadwalan tinggi dan penyeimbangan beban multi-zona.
Kluster alur kerja menggunakan bidang kontrol yang dioptimalkan dalam hal performa, efisiensi, stabilitas, dan observabilitas.
Kluster alur kerja mendukung kemampuan manajemen OSS yang ditingkatkan, seperti pengunggahan objek besar, pengumpulan sampah artefak (GC), dan streaming data.
Dengan bantuan ahli layanan kontainer, Anda dapat mengoptimalkan alur kerja untuk meningkatkan efisiensi dan mengurangi biaya.
ACK Argo Workflows dapat memenuhi berbagai kebutuhan pengguna sebagai berikut:
Serverless Argo Workflows: Untuk membuat alur kerja tanpa operasi dan pemeliharaan, berskala besar, dan berperforma tinggi, Anda perlu membuat kluster alur kerja terpisah. Untuk informasi lebih lanjut, lihat Serverless Argo Workflows.
Komponen Argo Workflows pada ACS: Jika Anda menggunakan kluster ACS dan ingin menggunakan sumber daya kluster yang ada, Anda dapat menggunakan komponen Argo Workflows untuk mengoordinasikan alur kerja. Topik ini menjelaskan cara menggunakan komponen Argo Workflows di kluster ACS.
Setelah komponen diinstal, Anda dapat mengoordinasikan tugas secara batch menggunakan CLI Argo Alibaba Cloud atau konsol Argo untuk menyerahkan dan mengelola alur kerja.
Gambar berikut menunjukkan tanggung jawab berbagai peran.
Langkah | Deskripsi |
1. Persiapkan |
|
2. Siapkan Lingkungan |
Untuk informasi lebih lanjut, lihat Aktifkan Orkestrasi Tugas Batch. |
3. Kelola Alur Kerja | (Insinyur Data) Setelah tugas konkuren diatur, Anda dapat menggunakan CLI Argo atau konsol Argo untuk menyerahkan dan mengelola tugas tersebut.
|
(Administrator Kluster)
|
Tagihan
Orkestrasi tugas batch tidak dikenakan biaya. Selain biaya yang dikenakan untuk daya komputasi ACS dan layanan cloud lainnya, CLB juga mengenakan biaya bayar sesuai pemakaian saat menggunakan orkestrasi tugas batch. Untuk informasi lebih lanjut, lihat Penagihan CLB.
Hubungi kami
Jika Anda memiliki pertanyaan atau saran, bergabunglah dengan grup DingTalk 35688562.