Arena, veri hazırlamadan model geliştirmeye, eğitimden tahmine kadar tüm yaşam döngüsünü destekleyen hafif bir Kubernetes tabanlı makine öğrenimi çözümüdür. GPU paylaşımı ve CPFS gibi Alibaba Cloud hizmetleriyle derin entegrasyon sağlar. Bu konuda Arena istemcisinin nasıl yapılandırılacağı açıklanmaktadır.
Ön koşullar
Aşağıdaki kaynakların hazır olduğundan emin olun:
GPU hızlandırmalı düğümlere sahip bir ACK kümesi (managed veya dedicated).
Küme düğümleri internete erişebilmelidir.
Arena, cloud-native AI suite aracılığıyla yüklenmelidir.
Adım 1: Küme ile bağlantı kurun
Bağlantı yöntemi küme türünüze bağlıdır.
ACK managed clusters
ACK managed clusters ana düğümlere sahip değildir. Arena'yı yerel makinenize (örneğin macOS) yükleyin ve connect via kubeconfig.
ACK dedicated clusters
Bir ana düğüme Log in to a master node via SSH yaptıktan sonra Arena komutlarını doğrudan çalıştırın.
Kubeconfig dosyanızı doğrulamak için kubectl get nodes komutunu çalıştırın.
Adım 2: Arena istemcisini yükleyin
İşletim sisteminiz ve mimariniz için uygun paketi seçin.
Linux/amd64
# Download the Arena installation package.
wget https://aliacs-k8s-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/arena/arena-installer-0.12.0-linux-amd64.tar.gz
# Extract the package.
tar -zxvf arena-installer-0.12.0-linux-amd64.tar.gz
# Install Arena.
cd arena-installer-0.12.0-linux-amd64
bash install.sh --only-binary
Linux/arm64
# Download the Arena installation package.
wget https://aliacs-k8s-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/arena/arena-installer-0.12.0-linux-arm64.tar.gz
# Extract the package.
tar -zxvf arena-installer-0.12.0-linux-arm64.tar.gz
# Install Arena.
cd arena-installer-0.12.0-linux-arm64
bash install.sh --only-binary
macOS/amd64
# Download the Arena installation package.
wget https://aliacs-k8s-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/arena/arena-installer-0.12.0-darwin-amd64.tar.gz
# Extract the package.
tar -zxvf arena-installer-0.12.0-darwin-amd64.tar.gz
# Install Arena.
cd arena-installer-0.12.0-darwin-amd64
bash install.sh --only-binary
macOS/arm64
# Download the Arena installation package.
wget https://aliacs-k8s-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/arena/arena-installer-0.12.0-darwin-arm64.tar.gz
# Extract the package.
tar -zxvf arena-installer-0.12.0-darwin-arm64.tar.gz
# Install Arena.
cd arena-installer-0.12.0-darwin-arm64
bash install.sh --only-binary
Adım 3: (İsteğe bağlı) Kabuk otomatik tamamlamayı etkinleştirin
Kısmen yazılmış Arena komutlarını tamamlamak için Tab tuşuna basın.
Tamamlama paketini yükleyin
CentOS or Linux
sudo yum install bash-completion -y
Debian or Ubuntu
sudo apt-get install bash-completion
macOS
brew install bash-completion@2
Otomatik tamamlamayı kabuk profilinizde etkinleştirin
bash (Linux)
echo "source <(arena completion bash)" >> ~/.bashrc
chmod u+x ~/.bashrc
bash (macOS)
echo "source $(brew --prefix)/etc/profile.d/bash_completion.sh" >> ~/.bashrc
Adım 4: Kurulumu doğrulayın
Arena'nın çalıştığını onaylayın.
-
Kümeydeki mevcut GPU kaynaklarını kontrol edin:
arena top nodeBeklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated) cn-huhehaote.192.168.X.XXX 192.168.0.117 <none> ready 8 0 cn-huhehaote.192.168.X.XXX 192.168.0.118 <none> ready 8 0 cn-huhehaote.192.168.X.XXX 192.168.0.119 <none> ready 8 0 cn-huhehaote.192.169.X.XXX 192.168.0.120 <none> ready 8 0 ----------------------------------------------------------------------------------------- Allocated/Total GPUs In Cluster: 0/32 (0%) -
Test eğitimi işini gönderin:
arena submit tf \ --name=firstjob \ --gpus=1 \ --image=registry.cn-hangzhou.aliyuncs.com/tensorflow-samples/tf-mnist-standalone:gpu \ "python /app/main.py"Beklenen çıktı:
configmap/firstjob-tfjob created configmap/firstjob-tfjob labeled tfjob.kubeflow.org/firstjob created INFO[0001] The Job firstjob has been submitted successfully INFO[0001] You can run `arena get firstjob --type tfjob` to check the job status -
Tüm işleri listeleyin:
arena listBeklenen çıktı:
NAME STATUS TRAINER AGE NODE firstjob RUNNING TFJOB 5s 192.168.X.XXX -
İş durumunu kontrol edin:
arena get firstjobBeklenen çıktı:
STATUS: SUCCEEDED NAMESPACE: default PRIORITY: N/A TRAINING DURATION: 52s NAME STATUS TRAINER AGE INSTANCE NODE firstjob SUCCEEDED TFJOB 14m firstjob-chief-0 192.168.X.XXX -
İş günlüklerini görüntüleyin:
arena logs --tail=10 firstjobBeklenen çıktı:
Accuracy at step 910: 0.9694 Accuracy at step 920: 0.9687 Accuracy at step 930: 0.9676 Accuracy at step 940: 0.9678 Accuracy at step 950: 0.9704 Accuracy at step 960: 0.9692 Accuracy at step 970: 0.9721 Accuracy at step 980: 0.9696 Accuracy at step 990: 0.9675 Adding run metadata for 999İş başarıyla tamamlandı.