Bu konuda, Arena ile bağımsız bir TensorFlow eğitimi işinin nasıl gönderileceği ve TensorBoard kullanılarak nasıl görselleştirileceği açıklanmaktadır.
Ön koşullar
GPU içeren bir Kubernetes kümesi oluşturdunuz. Daha fazla bilgi için bkz. GPU içeren bir Kubernetes kümesi oluşturun.
Küme düğümleri genel ağa erişebilir. Daha fazla bilgi için bkz. Bir küme için genel ağ erişimini etkinleştirin.
Arena istemcisini yüklediniz. Daha fazla bilgi için bkz. Arena istemcisini yapılandırın.
training-dataadlı bir PVC örneği oluşturdunuz ve MNIST veri kümesi tf_data yolunda saklanmaktadır. Daha fazla bilgi için bkz. NAS paylaşılan depolamayı yapılandırın.
Arka plan
Bu örnek, kaynak kodunu bir Git deposundan indirir ve NAS tarafından yönetilen PV'ler ve PVC'ler üzerinde kurulu paylaşılan bir depolama sisteminden bir veri kümesi kullanır. Veri kümesini tf_data adlı bir dizinde içeren training-data adlı bir PVC örneğinizin (paylaşılan depolama birimi) olduğu varsayılır.
Yordam
1. Adım: GPU kaynaklarını görüntüleyin
arena top node
Beklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated)
cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 0 0
cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 0 0
cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 2 0
cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 2 0
---------------------------------------------------------------------------------------------------
Allocated/Total GPUs In Cluster:
0/4 (0.0%)
Çıktı, kümede iki GPU düğümü olduğunu gösterir. Her düğümde eğitim işleri için kullanılabilir iki boşta GPU kartı bulunur.
2. Adım: Bir TensorFlow işi gönderin
Bir TensorFlow işi göndermek için arena submit tfjob/tf [--flag] komutunu çalıştırın.
Tek bir düğüm ve tek bir GPU kartı kullanan bağımsız bir TensorFlow işi göndermek için aşağıdaki komutu kullanın.
arena submit tf \
--name=tf-mnist \
--working-dir=/root \
--workers=1 \
--gpus=1 \
--image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu \
--sync-mode=git \
--sync-source=https://github.com/kubeflow/arena.git \
--env=GIT_SYNC_BRANCH=master \
--data=training-data:/mnt \
--tensorboard \
--logdir=/mnt/tf_data/logs \
"python /root/code/arena/examples/tensorflow/mnist/main.py --data /mnt/tf_data/mnist.npz --dir /mnt/tf_data/logs"
Beklenen çıktı:
service/tf-mnist-tensorboard created
deployment.apps/tf-mnist-tensorboard created
tfjob.kubeflow.org/tf-mnist created
INFO[0005] The Job tf-mnist has been submitted successfully
INFO[0005] You can run `arena get tf-mnist --type tfjob -n default` to check the job status
Aşağıdaki tabloda parametreler açıklanmıştır.
Parametre | Gerekli | Açıklama | Varsayılan |
--name | Evet | İşin adı. Küresel olarak benzersiz olmalıdır. | Yok |
--working-dir | Hayır | Komutun çalıştırıldığı dizin. | /root |
--gpus | Hayır | İşin çalışan düğümünün kullandığı GPU kartı sayısı. | 0 |
--image | Evet | Eğitim ortamı için görüntünün URL'si. | Yok |
--sync-mode | Hayır | Kaynak kodu senkronizasyon modu. Geçerli değerler git ve rsync değerleridir. Bu örnekte git kullanılmaktadır. | Yok |
--sync-source | Hayır | Kaynak kodu deposunun URL'si. --sync-mode belirttiğinizde bu parametre gereklidir. git modu için bu parametre, bir GitHub projesi veya Alibaba Cloud Code projesi gibi Git tabanlı herhangi bir kod deposunun URL'si olabilir. Proje kodu, --working-dir tarafından belirtilen yol içindeki code/ dizinine indirilir. Bu örnekte yol /root/code/arena şeklindedir. | Yok |
--data | Hayır | Paylaşılan bir depolama birimini (PVC) işin konteynerine bağlar. Değer biçimi pvc-adı Not Kümede bulunan PVC'leri görüntülemek için Kullanılabilir PVC yoksa bir tane oluşturmanız gerekir. Daha fazla bilgi için bkz. NAS paylaşılan depolamayı yapılandırın. | Yok |
--tensorboard | Hayır | Veri görselleştirme için bir TensorBoard hizmeti etkinleştirir. TensorBoard'un okuduğu olay dosyalarının yolunu belirtmek için bu parametreyi --logdir ile birlikte kullanın. | Yok |
--logdir | Hayır | TensorBoard için olay dosyalarının yolunu belirtir. --tensorboard belirtildiğinde bu parametre gereklidir. | /training_logs |
Özel bir Git deposu kullanmak için kimlik bilgilerinizi GIT_SYNC_USERNAME ve GIT_SYNC_PASSWORD ortam değişkenlerini kullanarak ayarlayın.
arena submit tf \
--name=tf-mnist \
--working-dir=/root \
--workers=1 \
--gpus=1 \
--image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu \
--sync-mode=git \
--sync-source=https://github.com/kubeflow/arena.git \
--env=GIT_SYNC_BRANCH=master \
--env=GIT_SYNC_USERNAME=yourname \
--env=GIT_SYNC_PASSWORD=yourpwd \
--data=training-data:/mnt \
--tensorboard \
--logdir=/mnt/tf_data/logs \
"python /root/code/arena/examples/tensorflow/mnist/main.py --data /mnt/tf_data --dir /mnt/tf_data/logs"
Arena kaynak kodunu senkronize etmek için git-sync kullanır; bu nedenle git-sync projesi tarafından desteklenen herhangi bir ortam değişkenini kullanabilirsiniz.
Ağ sorunları nedeniyle kod çekme işlemi başarısız olursa kodu manuel olarak paylaşılan depolama sisteminize indirebilirsiniz. Alternatif olarak, sağlanan örnek görüntü örnek kodu /code/github.com/kubeflow/arena/examples/tensorflow/mnist/main.py konumunda içerir; bu da işi doğrudan aşağıda gösterildiği gibi göndermenize olanak tanır:
arena submit tf \
--name=tf-mnist \
--working-dir=/root \
--workers=1 \
--gpus=1 \
--image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu \
--data=training-data:/mnt \
--tensorboard \
--logdir=/mnt/tf_data/logs \
"python /code/github.com/kubeflow/arena/examples/tensorflow/mnist/main.py --data /mnt/tf_data/mnist.npz --dir /mnt/tf_data/logs"
3. Adım: İş durumunu kontrol edin
-
Arena kullanılarak gönderilen tüm işleri listelemek için aşağıdaki komutu çalıştırın.
arena listBeklenen çıktı:
NAME STATUS TRAINER DURATION GPU(Requested) GPU(Allocated) NODE tf-mnist RUNNING TFJOB 3s 1 1 192.168.xxx.xxx -
İş tarafından kullanılan GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın.
arena top jobBeklenen çıktı:
NAME STATUS TRAINER AGE GPU(Requested) GPU(Allocated) NODE tf-mnist RUNNING TFJOB 29s 1 1 192.168.xxx.xxx Total Allocated/Requested GPUs of Training Jobs: 1/1 -
Küme tarafından kullanılan GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın.
arena top nodeBeklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated) cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 0 0 cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 0 0 cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 2 1 cn-beijing.192.168.xxx.xxx 192.168.xxx.xxx <none> Ready 2 0 --------------------------------------------------------------------------------------------------- Allocated/Total GPUs In Cluster: 1/4 (25.0%) -
Eğitim işinin ayrıntılarını görüntülemek için aşağıdaki komutu çalıştırın.
arena get -n default tf-mnistBeklenen çıktı:
Name: tf-mnist Status: RUNNING Namespace: default Priority: N/A Trainer: TFJOB Duration: 22s CreateTime: 2026-01-26 16:01:42 EndTime: Instances: NAME STATUS AGE IS_CHIEF GPU(Requested) NODE ---- ------ --- -------- -------------- ---- tf-mnist-chief-0 Running 45s true 1 cn-beijing.192.168.xxx.xxx Tensorboard: Your tensorboard will be available on: http://192.168.xxx.xxx:31243NotTensorBoard etkinleştirildiğinden çıktı TensorBoard URL'sini içerir. TensorBoard devre dışı bırakılırsa bu URL görüntülenmez.
4. Adım: TensorBoard'u görüntüleyin
TensorBoard panosunu görüntülemek için bir web tarayıcısı kullanın.
-
Kümedeki TensorBoard hizmetini yerel makinenizdeki 9090 numaralı bağlantı noktasına yönlendirmek için aşağıdaki komutu çalıştırın.
Önemlikubectl port-forwardyalnızca geliştirme ve hata ayıklama amaçlıdır — üretim ortamları için güvenilir, güvenli veya ölçeklenebilir değildir. Üretim ağı için bkz. Ingress'a genel bakış.kubectl port-forward -n default svc/tf-mnist-tensorboard 9090:6006 -
TensorBoard panosunu görüntülemek için tarayıcınızda
http://localhost:9090adresini açın.TensorBoard'daki SCALARS paneli iki eğri gösterir: train (kırmızı) ve test (mavi). Yaklaşık 1.000 adımdan sonra accuracy_1 ölçümü 0,96'nın üzerine yakınsar ve cross_entropy_1 ölçümü yaklaşık 0,05 ila 0,10 arasına düşer. Bu durum, MNIST modelinin başarıyla eğitildiğini gösterir. Sol panelde Smoothing (şu anda 0,6) ve Horizontal Axis (şu anda STEP) gibi görüntüleme seçeneklerini ayarlayabilirsiniz. Günlük yolu
/mnt/tf_data/logsşeklindedir.
5. Adım: İş günlüklerini görüntüleyin
İş günlüklerini almak için aşağıdaki komutu çalıştırın.
arena logs -n default tf-mnist
Beklenen çıktı:
Train Epoch: 14 [55680/60000 (93%)] Loss: 0.029811
Train Epoch: 14 [56320/60000 (94%)] Loss: 0.029721
Train Epoch: 14 [56960/60000 (95%)] Loss: 0.029682
Train Epoch: 14 [57600/60000 (96%)] Loss: 0.029781
Train Epoch: 14 [58240/60000 (97%)] Loss: 0.029708
Train Epoch: 14 [58880/60000 (98%)] Loss: 0.029761
Train Epoch: 14 [59520/60000 (99%)] Loss: 0.029684
Test Accuracy: 9842/10000 (98.42%)
938/938 - 3s - loss: 0.0299 - accuracy: 0.9924 - val_loss: 0.0446 - val_accuracy: 0.9842 - lr: 0.0068 - 3s/epoch - 3ms/step
İş günlüklerini gerçek zamanlı olarak akışa almak için
-fparametresini ekleyin.Günlüklerin yalnızca son N satırını görüntülemek için
-t Nveya--tail Nparametresini ekleyin.Daha fazla seçenek için
arena logs --helpkomutunu çalıştırın.
(İsteğe bağlı) 6. Adım: Ortamı temizleyin
Eğitim işi tamamlandıktan sonra aşağıdaki komutu çalıştırarak işi silebilirsiniz:
arena delete -n default tf-mnist
Beklenen çıktı:
INFO[0002] The training job tf-mnist has been deleted successfully