Menggunakan Horovod untuk Pelatihan Elastis di Kubernetes - Container Service for Kubernetes

Horovod elastis memungkinkan penambahan atau pengurangan jumlah pekerja selama pekerjaan berjalan tanpa perlu me-restart atau memulihkan dari checkpoint.

Kluster Anda mencakup instans preemptible yang sewaktu-waktu dapat ditarik kembali.
Anda ingin memanfaatkan kapasitas GPU idle yang tersedia.
Anda perlu mengurangi biaya pelatihan dengan melepas pekerja yang kurang dimanfaatkan di tengah pekerjaan.

Prasyarat

Lengkapi hal-hal berikut sebelum memulai:

Suite AI cloud-native telah dideploy di kluster ACK Anda dengan Elastic Training dan Arena dipilih. Lihat Deploy the cloud-native AI suite.
Horovod adalah framework pelatihan terdistribusi.
Skrip pelatihan berbasis Horovod telah disiapkan.
Klien Arena telah diinstal. Lihat Configure the Arena client.

Kirim pekerjaan pelatihan elastis

Kirim pekerjaan pelatihan elastis:

arena submit etjob \
    --name=elastic-training \
    --gpus=1 \
    --workers=3 \
    --max-workers=9 \
    --min-workers=1 \
    --image=registry.cn-hangzhou.aliyuncs.com/ai-samples/horovod:0.20.0-tf2.3.0-torch1.6.0-mxnet1.6.0.post0-py3.7-cuda10.1 \
    --working-dir=/examples \
    "horovodrun \
    -np \$((\${workers}*\${gpus})) \
    --min-np \$((\${minWorkers}*\${gpus})) \
    --max-np \$((\${maxWorkers}*\${gpus})) \
    --host-discovery-script /etc/edl/discover_hosts.sh \
    python /examples/elastic/tensorflow2_mnist_elastic.py
    "

horovodrun mengelola pelatihan elastis. Arena meneruskan nilai parameter sebagai variabel lingkungan, yang dibaca oleh horovodrun melalui flag -np, --min-np, dan --max-np.

Skrip penemuan host di /etc/edl/discover_hosts.sh dibuat oleh et-operator.

Parameter	Deskripsi
`--name`	Nama pekerjaan pelatihan. Harus unik secara global.
`--gpus`	Jumlah GPU yang dialokasikan untuk setiap pekerja.
`--workers`	Jumlah awal pekerja.
`--max-workers`	Jumlah maksimum pekerja.
`--min-workers`	Jumlah minimum pekerja.
`--image`	Image kontainer untuk pekerjaan.
`--working-dir`	Direktori kerja di dalam kontainer.
`--np`	Jumlah pekerja. Dihitung dari `${workers}*${gpus}`.
`--max-np`	Jumlah maksimum pekerja. Dihitung dari `${maxWorkers}*${gpus}`.
`--min-np`	Jumlah minimum pekerja. Dihitung dari `${minWorkers}*${gpus}`.
`--host-discovery-script`	Path ke skrip penemuan host. Dibuat oleh `et-operator` di `/etc/edl/discover_hosts.sh`.

Output yang diharapkan:

configmap/elastic-training-etjob created
configmap/elastic-training-etjob labeled
trainingjob.kai.alibabacloud.com/elastic-training created
INFO[0000] The Job elastic-training has been submitted successfully
INFO[0000] You can run `arena get elastic-training --type etjob` to check the job status

Verifikasi pekerjaan yang sedang berjalan

Periksa status pekerjaan:

arena get elastic-training

Output yang diharapkan:

Name:        elastic-training
Status:      RUNNING
Namespace:   default
Priority:    N/A
Trainer:     ETJOB
Duration:    3m

Instances:
  NAME                       STATUS   AGE  IS_CHIEF  GPU(Requested)  NODE
  ----                       ------   ---  --------  --------------  ----
  elastic-training-launcher  Running  3m   true      0               cn-huhehaote.192.168.0.173
  elastic-training-worker-0  Running  3m   false     1               cn-huhehaote.192.168.0.174
  elastic-training-worker-1  Running  3m   false     1               cn-huhehaote.192.168.0.174

Periksa progres pelatihan:

arena logs elastic-training --tail 10

Output yang diharapkan:

[0]<stdout>:Step #340    Loss: 0.047924
[1]<stdout>:Step #340    Loss: 0.116303
[0]<stdout>:Step #350    Loss: 0.068762
[1]<stdout>:Step #350    Loss: 0.040847
[0]<stdout>:Step #360    Loss: 0.057501
[1]<stdout>:Step #360    Loss: 0.111952
[0]<stdout>:Step #370    Loss: 0.085895
[1]<stdout>:Step #370    Loss: 0.075529
[0]<stdout>:Step #380    Loss: 0.063450
[1]<stdout>:Step #380    Loss: 0.054253

Scale out pekerja

Tambahkan pekerja ke pekerjaan yang sedang berjalan:

arena scaleout etjob --name="elastic-training" --count=1 --timeout=10m

Parameter	Deskripsi
`--name`	Nama pekerjaan pelatihan yang akan diskala.
`--count`	Jumlah pekerja yang akan ditambahkan.
`--timeout`	Timeout untuk proses scale-out. Jika melebihi batas waktu ini, penjadwal akan melakukan rollback.

Output yang diharapkan:

configmap/elastic-training-1609914643-scaleout created
configmap/elastic-training-1609914643-scaleout labeled
scaleout.kai.alibabacloud.com/elastic-training-1609914643 created
INFO[0003] The scaleout job elastic-training-1609914643 has been submitted successfully

Konfirmasi bahwa pekerja baru sedang berjalan:

arena get elastic-training

Output yang diharapkan:

Name:        elastic-training
Status:      RUNNING
Namespace:   default
Priority:    N/A
Trainer:     ETJOB
Duration:    3m

Instances:
  NAME                       STATUS   AGE  IS_CHIEF  GPU(Requested)  NODE
  ----                       ------   ---  --------  --------------  ----
  elastic-training-launcher  Running  3m   true      0               cn-huhehaote.192.168.0.173
  elastic-training-worker-0  Running  3m   false     1               cn-huhehaote.192.168.0.174
  elastic-training-worker-1  Running  3m   false     1               cn-huhehaote.192.168.0.174
  elastic-training-worker-2  Running  1m   false     1               cn-huhehaote.192.168.0.173

elastic-training-worker-2 kini aktif. Log menunjukkan output dari ketiga pekerja (indeks [0], [1], dan [2]):

arena logs elastic-training --tail 10

[1]<stdout>:Step #1670    Loss: 0.131210
[2]<stdout>:Step #1680    Loss: 0.020876
[0]<stdout>:Step #1680    Loss: 0.030605
[1]<stdout>:Step #1680    Loss: 0.074515
[2]<stdout>:Step #1690    Loss: 0.029105
[0]<stdout>:Step #1690    Loss: 0.015216
[1]<stdout>:Step #1690    Loss: 0.022670
[0]<stdout>:Step #1700    Loss: 0.105407
[1]<stdout>:Step #1700    Loss: 0.037623
[2]<stdout>:Step #1700    Loss: 0.032874

Scale in pekerja

Hapus pekerja dari pekerjaan yang sedang berjalan:

arena scalein etjob --name="elastic-training" --count=1 --timeout=10m

Parameter	Deskripsi
`--name`	Nama pekerjaan pelatihan yang akan diskala.
`--count`	Jumlah pekerja yang akan dihapus.
`--timeout`	Timeout untuk proses scale-in.

Output yang diharapkan:

configmap/elastic-training-1609914720-scalein created
configmap/elastic-training-1609914720-scalein labeled
scalein.kai.alibabacloud.com/elastic-training-1609914720 created
INFO[0002] The scalein job elastic-training-1609914720 has been submitted successfully

Konfirmasi bahwa pekerja telah dihapus:

arena get elastic-training

Output yang diharapkan:

Name:        elastic-training
Status:      RUNNING
Namespace:   default
Priority:    N/A
Trainer:     ETJOB
Duration:    3m

Instances:
  NAME                       STATUS   AGE  IS_CHIEF  GPU(Requested)  NODE
  ----                       ------   ---  --------  --------------  ----
  elastic-training-launcher  Running  3m   true      0               cn-huhehaote.192.168.0.173
  elastic-training-worker-0  Running  3m   false     1               cn-huhehaote.192.168.0.174
  elastic-training-worker-1  Running  3m   false     1               cn-huhehaote.192.168.0.174

elastic-training-worker-2 tidak lagi tercantum. Log hanya menampilkan output dari dua pekerja:

arena logs elastic-training --tail 10

[1]<stdout>:Step #2180    Loss: 0.001739
[0]<stdout>:Step #2180    Loss: 0.004853
[0]<stdout>:Step #2190    Loss: 0.000846
[1]<stdout>:Step #2190    Loss: 0.007900
[0]<stdout>:Step #2200    Loss: 0.039376
[1]<stdout>:Step #2200    Loss: 0.024672
[0]<stdout>:Step #2210    Loss: 0.012985
[1]<stdout>:Step #2210    Loss: 0.010956
[0]<stdout>:Step #2220    Loss: 0.009604
[1]<stdout>:Step #2220    Loss: 0.002531