Container Service for Kubernetes:GPU共有の操作

ステップ1: ノードのGPU共有を有効にする

1. ノードに /etc/lingjun_metadataファイルが存在するかどうかを確認します。

   • ファイルが存在する場合は、nvidia-smiコマンドを実行します。 出力が返された場合、ノードはLingjunノードです。 次のステップに進むことができます。

   • ファイルが存在しない場合、ノードはLingjunノードではありません。 ノードのGPU共有を有効にすることはできません。 この場合、GPU共有を有効にするには、Lingjunノードを作成する必要があります。 詳細については、「Lingjunノードプールの概要」をご参照ください。

2. 次のコマンドを実行してack.node.gpu.scheduleラベルをノードに追加し、GPU共有を有効にします。

kubectl label node <NODE_NAME> ack.node.gpu.schedule=share

ステップ2: 共有GPUリソースを使用する

1. tensorflow.yamlという名前のファイルを作成し、次のコードブロックをファイルにコピーします。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: tensorflow-mnist-share
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: tensorflow-mnist-share
       spec:     # The YAML template specifies a job that uses a TensorFlow MNIST dataset. The job creates one pod and the pod requests 4 GiB of GPU memory. 
         containers:
         - name: tensorflow-mnist-share
           image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=100000
           - --data_dir=tensorflow-sample-code/data
           resources:     # If you want the pod to request 4 GiB of GPU memory, specify aliyun.com/gpu-mem: 4 in the resources.limits parameter of the pod configurations. 
             limits:
               aliyun.com/gpu-mem: 4  # The pod requests 4 GiB of GPU memory. 
           workingDir: /root
         restartPolicy: Never

2. 次のコマンドを実行して、ジョブを送信します。

   kubectl apply -f tensorflow.yaml

ステップ3: GPUメモリ分離なしでGPU共有を検証する

ジョブによって作成されたポッドを照会し、次のコマンドを実行します。

kubectl get pod | grep tensorflow

kubectl exec -ti tensorflow-mnist-share-xxxxx -- nvidia-smi

期待される出力:

Wed Jun 14 06:45:56 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.105.01   Driver Version: 515.105.01   CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-SXM2...  On   | 00000000:00:09.0 Off |                    0 |
| N/A   35C    P0    59W / 300W |    334MiB / 16384MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
+-----------------------------------------------------------------------------+

出力は、ポッドがGPUによって提供されるすべてのメモリ (サイズは16,384 MiB) を使用できることを示します。 つまり、GPU共有はGPUメモリ分離なしで実装されます。 GPU分離モジュールがインストールされている場合、出力に表示されるメモリサイズは、ポッドによって要求されたメモリの量に等しくなります。

ポッドは、次の環境変数に基づいて、使用できるGPUメモリの量を決定します。

ALIYUN_COM_GPU_MEM_CONTAINER=4 # The GPU memory available for the pod. 
ALIYUN_COM_GPU_MEM_DEV=16 # The memory size of each GPU.

ポッドが使用できるGPUメモリとGPUメモリの合計の比率を計算するには、次の式を使用します。

percetange = ALIYUN_COM_GPU_MEM_CONTAINER / ALIYUN_COM_GPU_MEM_DEV = 4 / 16 = 0.25