ENS:エッジクラウドでの AI 推論のベストプラクティス

利用可能な GPU タイプ

ENS は、さまざまな価格帯で 4 種類の GPU タイプを提供しています。単一 GPU のメモリは 12 GB から 48 GB の範囲です。GPU 技術の進化に伴い、追加の仕様が追加される予定です。

モデルと GPU 構成のマッチング

以下の表は、一般的なモデルサイズに対する推奨構成を示しています。ベンチマークは、0.5 B から 72 B のパラメーターを持つ Tongyi Qianwen および Llama 2 モデルに基づき、FP16 精度で評価されています。

サポートされているシナリオには、軽量な対話、インテリジェントカスタマーサービス、テキストベースの画像生成、動画理解、コード生成、コンテンツ作成、インテリジェントアシスタントなどがあります。

精度を下げる (例：FP16 から INT8 へ) ことで、同じ GPU 構成でより大きなモデルを実行できます。

サポートされているランタイムとバージョン

オプション A: VM への AIACC の直接インストール

1. ENS インスタンスへの接続

2. CUDA Toolkit 11.8 をインストールし、PATH および LD_LIBRARY_PATH 環境変数を更新します。

3. NVIDIA のウェブサイトから GPU ドライバーバージョン 535.154.05 以降 (NVIDIA-Linux-x86_64-535.154.05.run) をダウンロードしてインストールします。利用可能な最新バージョンをインストールしてください。

4. 現在のユーザーに AIACC エンジンの使用を許可します。

   echo 'export DEEPGPU_EXT_CURL=MzkuOTguMjIuMTI2OjcwNzA=' >> /etc/profile
   source /etc/profile

5. Python の依存関係をインストールします。

   pip3 install torch==2.1.0 torchvision==0.16.0 numpy transformers

オプション B: コンテナへの AIACC のデプロイ (推奨)

1. ENS インスタンスに接続する。

2. CUDA 12.2 を含む GPU ドライバーバージョン 535.154.05 をインストールします。

3. NVIDIA Container Toolkit をインストールします。NVIDIA Container Toolkit インストールガイドをご参照ください。

4. アカウントマネージャーから AIACC コンテナイメージ deepytorch_t4_ubuntu20.04.tar.gz を入手します。

5. イメージをロードします。

   docker load -i deepytorch_t4_ubuntu20.04.tar
   
   docker images
   # REPOSITORY   TAG       IMAGE ID       CREATED      SIZE
   # <none>       <none>    7aef27446ff0   3 days ago   22.6GB

6. コンテナを起動します。

   #!/bin/bash
   /usr/bin/docker run --runtime=nvidia -ti -d --gpus all --network=host \
              7aef27446ff0 sleep 86400000

   Kubernetes を使用してコンテナインスタンスを作成および管理することもできます。

オプション C: コンテナへの TensorRT のデプロイ

1. ENS インスタンスに接続する。

2. NVIDIA GPU ドライバーをインストールします。

3. NVIDIA Container Toolkit をインストールします。

4. NVIDIA PyTorch リリースノートから TensorRT コンテナイメージをダウンロードします。

5. コンテナを起動します。