Elastic GPU Service:DeepGPU を使用した ComfyUI のインストールと使用

パフォーマンスの比較

ComfyUI と DeepGPU のアクセラレーションノードを使用しないセットアップと比較して、GPU インスタンス (シングルカードの gn8is インスタンスを推奨) でこれらを設定すると、flux1-dev モデルのパフォーマンスが bf16 と fp8 の両方の精度で約 30% 向上します。次の表は、一部のモデルにおける Text-to-Image の高速化パフォーマンスを比較したものです。

前提条件

• 以下の要件を満たす GPU インスタンスが作成されていること：

  • オペレーティングシステムは Ubuntu 20.04 または Ubuntu 22.04 である必要があります。

  • NVIDIA ドライバーと CUDA がインストールされており、バージョン要件を満たしていること。

    説明

    GPU インスタンスを作成する際に、イメージを選択した後、[GPU ドライバーのインストール] オプションを選択することを推奨します。その後、CUDA、ドライバー、cuDNN に必要なバージョンを選択します。

  • インスタンスに固定のパブリック IP アドレスがあるか、Elastic IP アドレス (EIP) が関連付けられていること。パブリックネットワークアクセスを有効にする方法については、「パブリックネットワークアクセスの有効化」をご参照ください。

• セキュリティグループルールが設定されていること。

  リモート接続に必要なポート 22 は、セキュリティグループを作成する際にデフォルトで開いています。ComfyUI サーバーは、Web UI にアクセスするために 7860 などの特定のポートを必要とします。ポート 22 と 7860 のインバウンドルールがセキュリティグループに追加されていることを確認してください。開いていない場合は、手動でセキュリティグループルールを設定してください。

ComfyUI と DeepGPU のインストール

ComfyUI はオープンソースプロジェクトです。DeepGPU 推論アクセラレーションコンポーネントをインストールする前に、ComfyUI をインストールする必要があります。ComfyUI における DeepGPU ノードとワークフローについては、「ノードとワークフローの概要」をご参照ください。

1. ComfyUI をセットアップします。

   説明

   ComfyUI の関連ノードとワークフローの概要については、「ノードとワークフローの概要」をご参照ください。

   ComfyUI でネイティブの LoRA モデルをロードし (LoraLoaderModelOnly ノードを使用)、deepgpu-torch で高速化する場合は、ComfyUI のソースコードを 1 行修正する必要があります。

   • ComfyUI v0.3.6 以前の場合

     ComfyUI/comfy/sd.py ファイルで、次のコード行にパラメーター weight_inplace_update=True を追加します。

     

     修正後のコードは次のようになります：

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=offload_device, weight_inplace_update=True)

   • ComfyUI v0.3.7 以降の場合

     ComfyUI/comfy/sd.py ファイルで、次のコード行にパラメーター weight_inplace_update=True を追加します。

     

     修正後のコードは次のようになります：

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)

2. DeepGPU 推論アクセラレーションコンポーネントをインストールします。

   1. ワークベンチを使用して GPU インスタンスに接続します。

   2. Python のバージョンを確認し、deepgpu-torch アクセラレーションコンポーネントの依存関係要件を満たしていることを確認します。

      deepgpu-torch アクセラレーションコンポーネントには Python 3.10 が必要です。

      Ubuntu 22.04

      python3 -V を実行して Python のバージョンを確認します。次の図に示すように、Ubuntu 22.04 にはデフォルトで Python 3.10.12 が付属しており、依存関係の要件を満たしています。

      

      Ubuntu 20.04

      python3 -V を実行して Python のバージョンを確認します。次の図に示すように、Ubuntu 20.04 にはデフォルトで Python 3.8.10 が付属しており、依存関係の要件を満たしていません。

      

      Miniconda をインストールして独立した Python 3.10 環境を作成するか、別の方法を使用できます。

      1. 次のコマンドを実行して、Miniconda のインストールスクリプトをダウンロードします。

         wget https://repo.anaconda.com/miniconda/Miniconda3-py310_24.1.2-0-Linux-x86_64.sh

      2. 次のコマンドを実行して Miniconda をインストールし、環境をアクティベートします。

         bash ./Miniconda3-py310_24.1.2-0-Linux-x86_64.sh -b -p /workspace/miniconda
         source /workspace/miniconda/bin/activate

      3. 再度 python3 -V を実行して Python のバージョンを確認します。

         

         説明

         ログインするたびに source /workspace/miniconda/bin/activate を実行して、仮想 Python 3.10 環境をアクティベートしてください。

   3. 次のコマンドを実行して torch をインストールします。

      deepgpu-torch アクセラレーションコンポーネントには torch 2.5.x+cu124 が必要です。この例では torch 2.5.0 をインストールします。別のバージョンをインストールする場合は、バージョン番号を適宜置き換えてください。

      pip install torch==2.5.0

      python3 -c "import torch; print(torch.__version__)" を実行して、torch 2.5.0+cu124 がインストールされていることを確認します。

      

   4. 次のコマンドを実行して deepgpu-torch をインストールします。

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

      pip list | grep deepgpu-torch を実行して、インストールされている deepgpu-torch のバージョンを確認します。

      

   5. 次のコマンドを実行して、DeepGPU 推論アクセラレーションコンポーネント用の ComfyUI プラグインをダウンロードしてインストールします。

      DeepGPU 推論アクセラレーションコンポーネントのプラグインをダウンロードし、ComfyUI/custom_nodes/ ディレクトリに展開します。

      cd ComfyUI/custom_nodes/
      wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
      tar zxf ComfyUI-deepgpu.tar.gz
      cd ../..
      
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      pip list | grep deepgpu-comfyui を実行して、DeepGPU 推論アクセラレーションコンポーネントのプラグインがインストールされていることを確認します。

      

Text-to-Image 推論の高速化

この例では、ComfyUI と DeepGPU を使用して、FLUX モデルの Text-to-Image 推論の高速化をテストする方法を示します。セットアップには、DeepGPU がインストールされた Ubuntu 22.04 を実行する gn8is インスタンスを使用します。

1. torch、ComfyUI の依存関係、DeepGPU アクセラレーションコンポーネントを含む基本環境をインストールします。

   1. ワークベンチを使用して GPU インスタンスに接続します。

   2. python3 -V コマンドを実行して、Python のバージョンが 3.10 であることを確認します。

      Ubuntu 22.04 にはデフォルトで Python 3.10.12 が付属しており、deepgpu-torch アクセラレーションコンポーネントの依存関係要件を満たしています。Ubuntu 20.04 の GPU インスタンスを使用している場合は、独立した Python 3.10 環境を作成する必要があります。詳細については、「Ubuntu 20.04」をご参照ください。

   3. 次のコマンドを実行して torch をインストールします。

      # この例では torch 2.5.0 をインストールします。別のバージョンをインストールする場合は、バージョン番号を適宜置き換えてください。
      pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0

      python3 -c "import torch; print(torch.__version__)" を実行して、インストールされている torch のバージョンを確認します。

      

   4. 次のコマンドを実行して ComfyUI の依存関係をインストールします。

      pip install PyYAML safetensors numpy Pillow einops psutil transformers scipy torchsde aiohttp comfyui-frontend-package==1.11.8 kornia spandrel av

   5. 次のコマンドを実行して DeepGPU アクセラレーションコンポーネントをインストールします。

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      pip list | grep deepgpu-torch または pip list | grep deepgpu-comfyui を実行して、インストールされている DeepGPU アクセラレーションコンポーネントのバージョンを確認します。

      

2. 次のコマンドを実行して ComfyUI のソースコードをダウンロードします。

   この例では、公式の ComfyUI ソースコードを使用します。独自のカスタマイズされたバージョンの ComfyUI コードを使用することもできます。

   Ubuntu 22.04

   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

   Ubuntu 20.04

   apt install git
   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

3. 次のコマンドを実行して、DeepGPU 推論アクセラレーションコンポーネントのプラグインをダウンロードします。

   cd ComfyUI/custom_nodes/
   wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   tar zxf ComfyUI-deepgpu.tar.gz
   ls
   cd ../..

4. 次のコマンドを実行して FLUX モデルをダウンロードします。

   この例では、公式の FLUX モデルを使用します。独自にトレーニングしたモデルを使用することもできます。

   cd ComfyUI
   wget -P models/unet https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/flux1-dev.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/t5xxl_fp16.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/clip_l.safetensors
   wget -P models/vae https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/ae.safetensors

   説明

   モデルのダウンロードには時間がかかる場合があります。

5. 次のコマンドを実行して ComfyUI サービスを開始します。

   python3 main.py --listen 0.0.0.0 --port 7860

6. http://IP:7860 にアクセスして ComfyUI サービスにアクセスします。

   IP をご利用の GPU インスタンスのパブリック IP アドレスに置き換えてください。

7. ComfyUI インターフェイスで、[ワークフロー] > [開く] を選択し、サンプルワークフローで提供されている JSON ファイルを選択してから、[プロンプトをキューに追加] をクリックします。

   重要

   DeepGPU アクセラレーションを使用するワークフローと使用しないワークフローを切り替える際には、ComfyUI サービスを再起動する必要があります。

   • DeepGPU アクセラレーションなし：基本の flux-dev JSON ファイル (workflow_flux.json) を選択します。次の図は、ワークフローの実行を示しています。

     

   • DeepGPU アクセラレーションあり：高速化された flux-dev DeepyTorch JSON ファイル (workflow_flux_deepytorch.json) を選択します。次の図は、ワークフローの実行を示しています。

     

   プロセスが完了したら、ComfyUI を開始したターミナルで Text-to-Image の実行時間を確認します。これは、次の図に示すように、Prompt executed in の後に表示される時間です。ComfyUI と DeepGPU の構成を使用した場合、実行時間は標準のセットアップと比較して大幅に短縮されます。パフォーマンスの詳細については、「パフォーマンスの比較」をご参照ください。

   

ノードとワークフローの概要