Function Compute：基於Function Compute構建ComfyUI+SD/FLUX文生圖服務

1. DeepGPU安裝

使用DeepGPU加速ComfyUI + SD/FLUX的推理前，需要安裝依賴包：

• torch2.5安裝

  RUN pip install torch==2.5.0

• deepgpu-torch安裝

  DeepGPU的torch模型加速包，支援FLUX.1、VAE等模型加速。

  # ubuntu
  RUN apt-get update
  RUN apt-get install which curl iputils-ping -y
  # centos
  # RUN yum install which curl iputils -y
  
  #先安裝torch，deepgpu-torch依賴python3.10、torch2.5.x+cu124（如需其他版本，請聯絡我們）
  RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

  把外掛程式下載後，解壓到custom_nodes/目錄下

  RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
  RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
  
  RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

2.ComfyUI源碼修改（重要）

1. 依賴的版本

   x-flux-comfyui更新到github最新版；

2. 原生LoRA支援

   如果有ComfyUI原⽣LoRA模型使⽤LoraLoaderModelOnly載入LoRA模型，並且在使⽤deepgpu-torch加速的情況下，必須修改ComfyUI源碼裡的⼀行代碼。

   • 如果ComfyUI是v0.3.6版本以下

     代碼地址：

     https://github.com/comfyanonymous/ComfyUI/blob/v0.3.6/comfy/sd.py#L779

     

     在這⼀⾏添加⼀個參數weight_inplace_update=True。

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, off
     load_device=offload_device, weight_inplace_update=True)

   • 如果ComfyUI是v0.3.7版本以上

     代碼地址：https://github.com/comfyanonymous/ComfyUI/blob/v0.3.7/comfy/sd.py#L785

     

     在這⼀⾏添加⼀個參數weight_inplace_update=True。

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_de
     vice, offload_device=model_management.unet_offload_device(), weight_inplace
     _update=True)

3. 以下提供一個安裝DeepGPU的樣本鏡像。

   # Dockerfile
   FROM python:3.10
   
   # 安裝系統依賴
   RUN apt-get update && apt-get install -y \
       git \
       wget \
       && rm -rf /var/lib/apt/lists/*
   
   WORKDIR /app
   
   # 複製ComfyUI倉庫
   RUN  git  clone  https://github.com/comfyanonymous/ComfyUI.git
   
   WORKDIR /app/ComfyUI
   
   #設定python 依賴包加速
   RUN pip config set global.index-url https://mirrors.cloud.aliyuncs.com/pypi/simple
   RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
   RUN pip config set install.trusted-host mirrors.cloud.aliyuncs.com
   
   # 安裝PyTorch（預設NVIDIA CUDA版本，可根據需要修改）
   RUN pip install torch==2.5.0+cu124 torchvision==0.20.0+cu124 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu124
   
   # 安裝專案依賴
   RUN pip install -r requirements.txt
   
   # ubuntu
   RUN apt-get update
   RUN apt-get install which curl iputils-ping -y
   # centos
   # RUN yum install which curl iputils -y
   
   #先安裝torch，deepgpu-torch依賴python3.10、torch2.5.x+cu124（如需其他版本，請聯絡DeepGPU team）
   RUN pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
   
   #把外掛程式下載後，解壓到custom_nodes/目錄下
   RUN wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   RUN tar zxf ComfyUI-deepgpu.tar.gz  -C  /app/ComfyUI/custom_nodes
   
   RUN pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html
   
   # 暴露服務連接埠
   EXPOSE 8188
   
   # 啟動命令
   CMD ["python", "main.py"]

3. 環境變數配置

在阿里雲Function Compute中使用DeepGPU時，需要配置特定的環境變數DEEPGPU_PUB_LS=true和DEEPGPU_ENABLE_FLUX_LORA=true。

4. （可選）配置GPU閑置模式

通過配置預留執行個體，您可以有效降低執行個體冷啟動導致的請求延遲問題。同時，您可以配置預留執行個體的Auto Scaling規則如定時伸縮和水位伸縮，提高執行個體使用率，解決資源浪費問題。

5. DeepGPU ComfyUI外掛程式使用方法

外掛程式中包含4種DeepGPU類型的節點，可以在ComfyUI介面搜尋方塊中通過輸入DeepyTorch找到：

• Apply DeepyTorch to disffusion model

• Apply DeepyTorch to vae model

• DeepTorch Sampler to replace XlabsSampler

使用指南

插入位置：針對flux將Apply DeepyTorch to disffusion model節點插入到Load Diffusion Model、或者Load Flux LoRA、或者Apply Flux IPAdapter節點後面，針對其他模型則插入到Load Checkpoint、或者LoraLoaderModelOnly節點後面。以匯入為例，如下圖所示。

Sampler替換：DeepTorch Sampler to replace XlabsSampler節點針對flux用於替換XLabsSampler節點。