İşleri küme kaynakları serbest kalana kadar kuyrukta bekletin; böylece kaynak çekişmesini önler ve GPU/CPU boşta kalma israfını engellersiniz.
ack-kube-queue bileşenini yükleyin, isteğe bağlı olarak ek iş türlerini etkinleştirin ve ardından işleri kuyruğa gönderin.
Nasıl çalışır?
ack-kube-queue, Kubernetes'in yerel suspend mekanizmasını kullanır. Bir alan veya açıklama (annotation) aracılığıyla suspend değerini true olarak ayarlayıp bir iş gönderdiğinizde bu iş kuyruğa girer. ack-kube-queue kaynak kullanılabilirliğini izler ve yeterli kaynak bulunduğunda suspend değerini false olarak değiştirerek işi başlatır.
Desteklenen küme türleri
ack-kube-queue aşağıdaki kümeleri destekler:
Kubernetes 1.18 veya sonraki sürümleri çalıştıran ACK yönetilen kümeler
Kubernetes 1.18 veya sonraki sürümleri çalıştıran ACK Edge kümeleri
Kubernetes 1.18 veya sonraki sürümleri çalıştıran ACK Lingjun kümeleri
ack-kube-queue yükleme
Yükleme adımları küme türüne göre değişiklik gösterir.
ACK yönetilen kümeler ve ACK Edge kümeleri
Kümenizin mevcut durumuna uygun prosedürü seçin.
Cloud-native AI paketi henüz yüklü değilse
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinden Applications > Cloud-native AI Suite yolunu izleyin.
Cloud-native AI Suite sayfasının alt kısmında Deploy düğmesine tıklayın. Scheduling bölümünde Kube-Queue seçeneğini belirleyin. Ecosystem Tools bölümünde Kubeflow and Arena seçeneğini belirleyin. Ardından Deploy Cloud-native AI Suite düğmesine tıklayın.
Cloud-native AI paketi zaten yüklüyse
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinden Applications > Cloud-native AI Suite yolunu izleyin.
-
ack-arena ve ack-kube-queue bileşenlerini ayrı ayrı yükleyin. Yükleme tamamlandığında Components bölümündeki Status değeri Deployed olarak görünür.
ack-arena bileşenini bulun ve Actions sütunundaki Deploy düğmesine tıklayın. Parameters panelinde OK düğmesine tıklayın.
ack-kube-queue bileşenini bulun ve Actions sütunundaki Deploy düğmesine tıklayın. Panelde OK düğmesine tıklayın.
ACK Lingjun kümeleri
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinden Marketplace > Marketplace yolunu izleyin.
Marketplace sayfasında ack-kube-queue araması yapın ve adına tıklayın.
Uygulama ayrıntıları sayfasında Deploy düğmesine tıklayın. Basic Information adımında Cluster, Namespace ve Release Name değerlerini ayarlayın, ardından Next düğmesine tıklayın.
Parameters adımında Chart Version değerini en son sürüme ayarlayın ve OK düğmesine tıklayın.
Ek iş türlerini etkinleştirme
Varsayılan olarak ack-kube-queue yalnızca Kubernetes yerel işleri için kuyruklama özelliğini etkinleştirir. TensorFlow işleri, PyTorch işleri, MPI işleri, Argo iş akışları, Ray işleri veya Spark uygulamalarını kuyruğa almak için her bir türü ayrı ayrı etkinleştirmeniz gerekir.
Kubernetes yerel işlerini kuyruğa alabilmeniz için kümenin Kubernetes 1.22 veya sonraki bir sürümü çalıştırması gerekir.
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümenin adına tıklayın. Sol gezinme bölmesinden Applications > Helm yolunu izleyin.
ack-kube-queue bileşenini bulun ve Actions sütunundaki Update düğmesine tıklayın.
-
YAML şablonunda etkinleştirmek istediğiniz iş türlerine ilişkin parametreleri ayarlayın:
Parameter Effect extension.argo.enable: trueArgo iş akışlarını etkinleştirir extension.mpi.enable: trueMPI işlerini etkinleştirir extension.ray.enable: trueRay işlerini etkinleştirir extension.spark.enable: trueSpark uygulamalarını etkinleştirir extension.tf.enable: trueTensorFlow işlerini etkinleştirir extension.pytorch.enable: truePyTorch işlerini etkinleştirir OK düğmesine tıklayın.
İş gönderme
Desteklenen her iş türünü bir kuyruğa gönderin ve kuyruğa alındığını doğrulayın.
Kısıtlamalar
| Job type | Constraint |
|---|---|
| TensorFlow, PyTorch, MPI | ack-arena tarafından sağlanan operatör kullanılmalıdır |
| MPI | Yalnızca Arena aracılığıyla gönderilebilir |
| Argo iş akışları | Yalnızca tam iş akışları kuyruğa alınabilir; tek tek iş akışı adımları kuyruğa alınamaz. Kaynak gereksinimlerini kube-queue/min-resources açıklamasıyla (annotation) belirtin (bkz. Argo iş akışları). |
| Kubernetes yerel işleri | Küme, Kubernetes 1.22 veya sonraki bir sürümü çalıştırmalıdır |
TensorFlow işleri, PyTorch işleri ve MPI işleri
İş manifestosuna scheduling.x-k8s.io/suspend: "true" açıklamasını ekleyin.
Örnek bir TensorFlow işi:
apiVersion: "kubeflow.org/v1"
kind: "TFJob"
metadata:
name: "job1"
annotations:
scheduling.x-k8s.io/suspend: "true"
spec:
...
İşin kuyruğa alındığını doğrulayın:
kubectl describe tfjob job1
Kuyruğa alınmış bir iş Suspended koşulunu gösterir.
Kubernetes yerel işleri
spec.suspend değerini true olarak ayarlayın. İş kuyruktan çıkarıldığında ack-kube-queue bu alanı false olarak değiştirir ve iş başlar.
apiVersion: batch/v1
kind: Job
metadata:
generateName: pi-
spec:
suspend: true
...
İşin kuyruğa alındığını doğrulayın:
kubectl get job <job-name>
Kuyruğa alınmış bir iş SUSPENDED durumunu gösterir. ack-kube-queue işi kabul ettiğinde SUSPENDED durumu kalkar ve iş başlar.
Argo iş akışları
Ön koşul: ACK konsolundaki Marketplace üzerinden Argo Workflows'u yükleyin.
suspend türünde kube-queue-suspend adlı özel bir şablon ekleyin ve spec.suspend değerini true olarak ayarlayın. Kaynak gereksinimlerini kube-queue/min-resources açıklamasıyla belirtin:
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
generateName: <workflow-name>-
annotations:
kube-queue/min-resources: |
cpu: 5
memory: 5G
spec:
suspend: true
entrypoint: <entrypoint-template>
templates:
# Required: add a suspend template named kube-queue-suspend
- name: kube-queue-suspend
suspend: {}
- name: <entrypoint-template>
# ... your workflow steps
Spark uygulamaları
Ön koşul: ACK konsolundaki Marketplace üzerinden ack-spark-operator'ı yükleyin.
SparkApplication manifestosuna scheduling.x-k8s.io/suspend: "true" açıklamasını ekleyin:
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
generateName: spark-pi-suspend-
namespace: spark-operator
annotations:
scheduling.x-k8s.io/suspend: "true"
spec:
...
Ray işleri
Ön koşul: ACK konsolundaki Add-ons sayfasından Kuberay-Operator'ı yükleyin. Ayrıntılar için bkz. Bileşenleri yönetme.
spec.suspend değerini true olarak ayarlayın:
apiVersion: ray.io/v1
kind: RayJob
metadata:
name: rayjob-sample
spec:
# Suspend specifies whether the RayJob controller should create a RayCluster instance.
# If a job is applied with the suspend field set to true, the RayCluster will not be created and we will wait for the transition to false.
# If the RayCluster is already created, it will be deleted. In the case of transition to false, a new RayCluster will be created.
suspend: true
...