Function Compute:Function Compute を使用して ComfyUI と SD/FLUX でテキストから画像への変換サービスを構築する

1. DeepGPU のインストール

DeepGPU を使用して ComfyUI + SD/FLUX の推論を高速化する前に、必要な依存関係パッケージをインストールする必要があります。

• torch 2.5 をインストールする

  RUN pip install torch==2.5.0

• deepgpu-torch をインストールする

  DeepGPU torch モデル高速化パッケージは、FLUX.1 や VAE などのモデルを高速化します。

  # ubuntu
  RUN apt-get update
  RUN apt-get install which curl iputils-ping -y
  # centos
  # RUN yum install which curl iputils -y
  
  # まず、torch をインストールします。deepgpu-torch は python3.10 と torch2.5.x+cu124 に依存しています (他のバージョンが必要な場合は、お問い合わせください)。
  RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

  ダウンロードしたプラグインを custom_nodes/ ディレクトリに抽出します。

  RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
  RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
  
  RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

2. ComfyUI ソースコードの変更 (重要)

1. 依存関係のバージョン

   x-flux-comfyui を GitHub の最新バージョンに更新します。

2. ネイティブ LoRA のサポート

   LoraLoaderModelOnly を使用してネイティブ ComfyUI LoRA モデルを読み込み、deepgpu-torch を使用して高速化する場合、ComfyUI ソースコードの 1 行を変更する必要があります。

   • ComfyUI のバージョンが v0.3.6 より前の場合

     コードパス:

     https://github.com/comfyanonymous/ComfyUI/blob/v0.3.6/comfy/sd.py#L779

     

     この行にパラメータ weight_inplace_update=True を追加します。

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, off
     load_device=offload_device, weight_inplace_update=True)

   • ComfyUI のバージョンが v0.3.7 以後の場合

     コードパス:https://github.com/comfyanonymous/ComfyUI/blob/v0.3.7/comfy/sd.py#L785

     

     この行にパラメータ weight_inplace_update=True を追加します。

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_de
     vice, offload_device=model_management.unet_offload_device(), weight_inplace
     _update=True)

3. 次のコードは、DeepGPU をインストールするためのサンプルイメージです。

   # Dockerfile
   FROM python:3.10
   
   # システム依存関係をインストールする
   RUN apt-get update && apt-get install -y \
       git \
       wget \
       && rm -rf /var/lib/apt/lists/*
   
   WORKDIR /app
   
   # ComfyUI リポジトリのクローンを作成する
   RUN  git  clone  https://github.com/comfyanonymous/ComfyUI.git
   
   WORKDIR /app/ComfyUI
   
   # Python 依存関係パッケージのダウンロードを高速化する
   RUN pip config set global.index-url https://mirrors.cloud.aliyuncs.com/pypi/simple
   RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   RUN pip config set install.trusted-host mirrors.cloud.aliyuncs.com
   
   # PyTorch をインストールする (デフォルトでは NVIDIA CUDA バージョン。必要に応じて変更してください)
   RUN pip install torch==2.5.0+cu124 torchvision==0.20.0+cu124 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu124
   
   # プロジェクトの依存関係をインストールする
   RUN pip install -r requirements.txt
   
   # ubuntu
   RUN apt-get update
   RUN apt-get install which curl iputils-ping -y
   # centos
   # RUN yum install which curl iputils -y
   
   # まず、torch をインストールします。deepgpu-torch は python3.10 と torch2.5.x+cu124 に依存しています (他のバージョンが必要な場合は、DeepGPU チームにお問い合わせください)。
   RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
   
   # プラグインをダウンロードした後、custom_nodes/ ディレクトリに抽出します。
   RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
   
   RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html
   
   # サービスポートを公開する
   EXPOSE 8188
   
   # 起動コマンド
   CMD ["python", "main.py"]

3. 環境変数の設定

Alibaba Cloud Function Compute で DeepGPU を使用する場合、DEEPGPU_PUB_LS=true および DEEPGPU_ENABLE_FLUX_LORA=true 環境変数を設定する必要があります。

4. (オプション) GPU アイドルモードを設定する

プロビジョニングされたインスタンスを設定することで、インスタンスのコールドスタートによるリクエストのレイテンシを削減できます。また、スケジュールされたスケーリングやメトリックベースのスケーリングなど、プロビジョニングされたインスタンスのスケーリングルールを設定して、インスタンスの利用率を向上させ、リソースの浪費を防ぐこともできます。

5. DeepGPU ComfyUI プラグインの使用方法

プラグインには、4 種類の DeepGPUノードが含まれています。ComfyUI インターフェイスの検索ボックスに DeepyTorch と入力することで見つけることができます。

• 拡散モデルに DeepyTorch を適用する

• vae モデルに DeepyTorch を適用する

• DeepTorch Sampler を使用して XlabsSampler を置き換える

使用ガイド

挿入ポイント: Flux の場合、Load Diffusion Model、Load Flux LoRA、または Apply Flux IPAdapter ノードの後に Apply DeepyTorch to diffusion model ノードを挿入します。他のモデルの場合は、Load Checkpoint または LoraLoaderModelOnly ノードの後に挿入します。次の図は、インポートの例を示しています。

サンプラーの置き換え: Flux の場合、DeepTorch Sampler to replace XlabsSampler ノードを使用して XLabsSampler ノードを置き換えます。