Geleneksel toplu iş ve akış orkestrasyon sistemleri; toplu veri işleme, makine öğrenimi işlem hatları, altyapı otomasyonu ve CI/CD gibi karmaşık senaryolarda genellikle yetersiz kalır. Bu sistemler artan karmaşıklığı yönetemez veya otomatik ölçeklendirmeyi destekleyemez. Toplu iş görevi orkestrasyonunu basitleştirmek için Alibaba Cloud, cloud-native iş akışı motoru Argo Workflows ile uyumlu bir bileşen sunar.
Argo Workflows'a Giriş
Argo Workflows , Kubernetes'te karmaşık iş akışlarını tanımlamak, yönetmek ve zamanlamak için tasarlanmış güçlü bir cloud-native iş akışı motorudur. Bir iş akışı, birbirine bağımlı birden fazla görevden oluşur ve bu esneklik görev yapılandırmasını kolaylaştırır.
Kullanım Senaryoları
Argo Workflows; toplu veri işleme, makine öğrenimi işlem hatları, altyapı otomasyonu ve CI/CD gibi senaryoları destekler. Otonom sürüş, bilimsel hesaplama, kantitatif finans ve dijital medya gibi sektörlerde yaygın olarak kullanılır.
Toplu veri işleme: Yaygın senaryolar arasında yüksek hassasiyetli harita işleme, kantitatif finans geriye dönük testleri ve simülasyonları, paralel ses ve video işleme ile animasyon render alma işlemleri yer alır.
Bilimsel hesaplama: Yaygın senaryolar arasında karmaşık bilimsel hesaplama simülasyonları, ilaç keşfi ve eğitimi, gen dizileme, mutasyon karşılaştırma ve tespiti ile enerji keşfi çalışmaları bulunur.
Simülasyon: Yaygın senaryolar arasında otonom sürüş algoritması simülasyonları, moleküler dinamik simülasyonları, astronomik veri simülasyonları ve finansal modelleme yer alır.
Makine öğrenimi işlem hattı: Yaygın senaryolar arasında makine öğrenimi verisi ön işleme, dağıtılmış eğitim, Büyük Dil Modeli (LLM) parametre ayarlama ile model değerlendirme ve dağıtımı bulunur.
Altyapı otomasyonu: Yaygın senaryolar arasında otomatik cloud kaynak yönetimi, kaynak yedekleme ve kurtarma, düğüm havuzu geçişi ile küme geçişi ve yükseltmeleri yer alır.
CI/CD: Yaygın senaryolar arasında paralel CI işlem hatları, çok aşamalı derleme ve test, cloudlar arası uygulama dağıtımı ile onay akışı entegrasyonu bulunur.
Argo Workflows'un Avantajları
Cloud-native: Özellikle Kubernetes için tasarlanmıştır. Her görev bir pod olarak çalışır ve bu sayede konteynerlerin hafif ve esnek yapısından tam anlamıyla yararlanılır.
Hafif ve ölçeklenebilir: Argo Workflows hafiftir ve geleneksel sanal makinelerle (VM) kıyaslandığında ek yük veya sınırlama getirmez. Kubernetes'in zamanlama yeteneklerini kullanarak binlerce görevi paralel çalıştırabilir ve işleme verimliliğini artırabilirsiniz.
Esnek orkestrasyon: Yönlendirilmiş Döngüsüz Çizgeler (DAG) ve adımların esnek kombinasyonu, herhangi bir karmaşıklıktaki özel iş akışı mantığını destekler. Güçlü yeniden deneme ve önbelleğe alma mekanizmaları, iş akışı yürütme başarı oranını artırır.
Zengin ekosistem: Spark, Ray ve TensorFlow Job gibi çeşitli görev türlerinin orkestrasyonunu destekler. Olay temelli özelliklerle birleştirildiğinde, tamamen otomatik bir görev işleme platformu oluşturabilirsiniz.
Argo Workflows Kullanımı
ACK Argo Workflows, Argo Workflows topluluk sürümüyle uyumludur ve açık kaynak sürümüne göre iyileştirmeler içerir. Mevcut Argo iş akışlarınızı herhangi bir değişiklik yapmadan sorunsuz bir şekilde geçirebilirsiniz. ACK Argo Workflows, açık kaynak sürümüne kıyasla aşağıdaki avantajları sunar:
Yüksek esneklik, otomatik ölçeklendirme ve optimize edilmiş hesaplama maliyetleri.
Çok alanlı yük dengeleme ve güvenilir zamanlama sayesinde yüksek güvenilirlik.
Ölçek, performans, verimlilik, kararlılık ve gözlemlenebilirlik alanlarında önemli iyileştirmeler içeren gelişmiş kontrol düzlemi.
Büyük dosya yüklemelerini, yapıt çöp toplamayı (GC) ve akış desteğini içeren gelişmiş Object Storage Service (OSS) depolama yönetimi.
İş ekibinizin iş akışlarını optimize etmesine, performansı artırmasına ve maliyetleri düşürmesine yardımcı olmak için konteyner hizmeti teknik uzmanlarından destek alma imkanı.
ACK Argo Workflows, farklı kullanıcı ihtiyaçlarını karşılamak üzere iki kullanım seçeneği sunar:
Serverless Argo Workflows: Tamamen yönetilen bir hizmet kullanarak iş akışı orkestrasyonuna odaklanmak ve büyük ölçekli, yüksek performanslı iş yükleri çalıştırmak istiyorsanız ayrı bir iş akışı kümesi oluşturabilirsiniz. Daha fazla bilgi için bkz. Serverless Argo Workflows.
ACK üzerindeki Argo Workflows bileşeni: Zaten bir ACK kümeniz varsa ve bu kümenin kaynaklarını kullanmak istiyorsanız iş akışlarınızı orkestre etmek için Argo Workflows bileşenini kullanabilirsiniz. Bu konu, bir ACK kümesinde Argo Workflows bileşeninin nasıl kullanılacağını açıklamaktadır.
Argo Workflows bileşenini yükledikten sonra toplu iş görevi orkestrasyonunu etkinleştirmeniz gerekir. Ardından iş akışlarını Alibaba Cloud Argo komut satırı arayüzünü (CLI) veya Argo konsolunu kullanarak gönderebilir ve yönetebilirsiniz.
Farklı roller için genel süreç aşağıdaki gibidir.
Süreç | Açıklama |
1. Hazırlıklar |
|
2. Ortamı ayarlama |
Daha fazla bilgi için bkz. Toplu iş görevi orkestrasyonunu etkinleştirme. |
3. İş akışlarını yönetme | (Veri mühendisi) Paralel görevleri orkestre ettikten sonra bunları Argo CLI veya Argo konsolu aracılığıyla gönderebilir ve yönetebilirsiniz.
|
(Küme yöneticisi)
|
Ücretlendirme
Toplu iş görevi orkestrasyonu özelliği ücretsizdir. Ancak, standart ACK ücretlendirmesine ek olarak bu özelliği kullandığınızda Argo Server otomatik olarak kullandıkça öde Classic Load Balancer (CLB) örneği oluşturur. Bu örnek için CLB üzerinden ücretlendirilirsiniz. Daha fazla bilgi için bkz. CLB ücretlendirme genel bakışı.
Bize ulaşın
Ürün önerileriniz veya sorularınız varsa DingTalk grubuna (ID: 35688562) katılarak bizimle iletişime geçebilirsiniz.