Elastic GPU Service:Instal dan gunakan ComfyUI dengan DeepGPU

Perbandingan performa

Dibandingkan dengan konfigurasi tanpa node akselerasi ComfyUI dan DeepGPU, penerapannya pada instans GPU (disarankan menggunakan instans gn8is ber-GPU tunggal) meningkatkan performa model flux1-dev sekitar 30% baik untuk presisi bf16 maupun fp8. Tabel berikut membandingkan performa akselerasi teks-ke-gambar untuk beberapa model terpilih.

Prasyarat

• Anda telah membuat instans GPU yang memenuhi persyaratan berikut:

  • Sistem operasi harus Ubuntu 20.04 atau Ubuntu 22.04.

  • Driver NVIDIA dan CUDA telah diinstal serta memenuhi persyaratan versi.

    Catatan

    Saat Anda membuat instans GPU, kami menyarankan memilih opsi Install GPU Driver setelah memilih image. Kemudian, pilih versi yang diperlukan untuk CUDA, driver, dan cuDNN.

  • Instans memiliki alamat IP publik tetap atau dikaitkan dengan Elastic IP address (EIP). Untuk informasi tentang cara mengaktifkan akses jaringan publik, lihat Enable public network access.

• Anda telah mengonfigurasi aturan grup keamanan.

  Port 22, yang diperlukan untuk koneksi jarak jauh, terbuka secara default saat Anda membuat security group. Server ComfyUI memerlukan port tertentu, seperti 7860, untuk mengakses antarmuka web-nya. Pastikan aturan inbound untuk port 22 dan 7860 telah ditambahkan ke security group. Jika belum terbuka, konfigurasikan aturan grup keamanan secara manual.

Instal ComfyUI dan DeepGPU

ComfyUI adalah proyek open-source. Anda harus menginstalnya sebelum menginstal komponen akselerasi inferensi DeepGPU. Untuk informasi tentang node dan alur kerja DeepGPU di ComfyUI, lihat Ikhtisar node dan alur kerja.

1. Siapkan ComfyUI.

   Catatan

   Untuk ikhtisar node dan alur kerja terkait di ComfyUI, lihat Ikhtisar node dan alur kerja.

   Jika Anda berencana memuat model LoRA native di ComfyUI (dengan menggunakan node LoraLoaderModelOnly) dan mempercepatnya dengan deepgpu-torch, modifikasi satu baris dalam kode sumber ComfyUI.

   • Untuk ComfyUI v0.3.6 dan lebih awal

     Pada file ComfyUI/comfy/sd.py, tambahkan parameter weight_inplace_update=True ke baris kode berikut.

     

     Kode yang telah dimodifikasi akan tampak seperti ini:

     return comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=offload_device, weight_inplace_update=True)

   • Untuk ComfyUI v0.3.7 dan lebih baru

     Pada file ComfyUI/comfy/sd.py, tambahkan parameter weight_inplace_update=True ke baris kode berikut.

     

     Kode yang telah dimodifikasi akan tampak seperti ini:

     model_patcher = comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)

2. Instal komponen akselerasi inferensi DeepGPU.

   1. Hubungkan ke instans GPU menggunakan Workbench.

   2. Periksa versi Python Anda untuk memastikan memenuhi persyaratan dependensi komponen akselerasi deepgpu-torch.

      Komponen akselerasi deepgpu-torch memerlukan Python 3.10.

      Ubuntu 22.04

      Jalankan python3 -V untuk memeriksa versi Python Anda. Seperti yang ditunjukkan pada gambar berikut, Ubuntu 22.04 dilengkapi Python 3.10.12 secara default, yang memenuhi persyaratan dependensi.

      

      Ubuntu 20.04

      Jalankan python3 -V untuk memeriksa versi Python Anda. Seperti yang ditunjukkan pada gambar berikut, Ubuntu 20.04 dilengkapi Python 3.8.10 secara default, yang tidak memenuhi persyaratan dependensi.

      

      Anda dapat menginstal Miniconda untuk membuat lingkungan Python 3.10 terisolasi, atau menggunakan metode lain.

      1. Jalankan perintah berikut untuk mengunduh skrip instalasi Miniconda.

         wget https://repo.anaconda.com/miniconda/Miniconda3-py310_24.1.2-0-Linux-x86_64.sh

      2. Jalankan perintah berikut untuk menginstal Miniconda dan mengaktifkan lingkungan tersebut.

         bash ./Miniconda3-py310_24.1.2-0-Linux-x86_64.sh -b -p /workspace/miniconda
         source /workspace/miniconda/bin/activate

      3. Jalankan python3 -V lagi untuk memeriksa versi Python.

         

         Catatan

         Setiap kali login, jalankan source /workspace/miniconda/bin/activate untuk mengaktifkan lingkungan virtual Python 3.10.

   3. Jalankan perintah berikut untuk menginstal torch.

      Komponen akselerasi deepgpu-torch memerlukan torch 2.5.x+cu124. Contoh ini menginstal torch 2.5.0. Untuk menginstal versi berbeda, ganti nomor versinya sesuai kebutuhan.

      pip install torch==2.5.0

      Jalankan python3 -c "import torch; print(torch.__version__)" untuk memastikan torch 2.5.0+cu124 telah terinstal.

      

   4. Jalankan perintah berikut untuk menginstal deepgpu-torch.

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html

      Jalankan pip list | grep deepgpu-torch untuk melihat versi deepgpu-torch yang terinstal.

      

   5. Jalankan perintah berikut untuk mengunduh dan menginstal plugin ComfyUI untuk komponen akselerasi inferensi DeepGPU.

      Unduh plugin untuk komponen akselerasi inferensi DeepGPU dan ekstrak ke direktori ComfyUI/custom_nodes/.

      cd ComfyUI/custom_nodes/
      wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
      tar zxf ComfyUI-deepgpu.tar.gz
      cd ../..
      
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      Jalankan pip list | grep deepgpu-comfyui untuk memverifikasi bahwa plugin untuk komponen akselerasi inferensi DeepGPU telah terinstal.

      

Percepat inferensi teks-ke-gambar

Contoh ini menunjukkan cara menggunakan ComfyUI dengan DeepGPU untuk menguji percepatan inferensi teks-ke-gambar untuk model FLUX. Konfigurasi ini menggunakan instans gn8is yang menjalankan Ubuntu 22.04 dengan DeepGPU yang telah diinstal.

1. Instal lingkungan dasar, termasuk torch, dependensi ComfyUI, dan komponen akselerasi DeepGPU.

   1. Hubungkan ke instans GPU menggunakan Workbench.

   2. Jalankan perintah python3 -V untuk memastikan versi Python Anda adalah 3.10.

      Ubuntu 22.04 dilengkapi Python 3.10.12 secara default, yang memenuhi persyaratan dependensi komponen akselerasi deepgpu-torch. Jika Anda menggunakan instans GPU dengan Ubuntu 20.04, Anda harus membuat lingkungan Python 3.10 terisolasi. Untuk informasi selengkapnya, lihat Ubuntu 20.04.

   3. Jalankan perintah berikut untuk menginstal torch.

      # Contoh ini menginstal torch 2.5.0. Untuk menginstal versi berbeda, ganti nomor versinya sesuai kebutuhan.
      pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0

      Jalankan python3 -c "import torch; print(torch.__version__)" untuk melihat versi torch yang terinstal.

      

   4. Jalankan perintah berikut untuk menginstal dependensi ComfyUI.

      pip install PyYAML safetensors numpy Pillow einops psutil transformers scipy torchsde aiohttp comfyui-frontend-package==1.11.8 kornia spandrel av

   5. Jalankan perintah berikut untuk menginstal komponen akselerasi DeepGPU.

      apt-get install which curl iputils-ping -y
      pip install deepgpu-torch==0.0.15+torch2.5.0cu124 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/deepytorch/index.html
      pip install deepgpu-comfyui==1.0.8 -f https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/index.html

      Jalankan pip list | grep deepgpu-torch atau pip list | grep deepgpu-comfyui untuk melihat versi komponen akselerasi DeepGPU yang terinstal.

      

2. Jalankan perintah berikut untuk mengunduh kode sumber ComfyUI.

   Contoh ini menggunakan kode sumber ComfyUI resmi. Anda juga dapat menggunakan versi ComfyUI kustom Anda sendiri.

   Ubuntu 22.04

   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

   Ubuntu 20.04

   apt install git
   git clone -b v0.3.26 https://github.com/comfyanonymous/ComfyUI
   sed -i "s|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device())|comfy.model_patcher.ModelPatcher(model, load_device=load_device, offload_device=model_management.unet_offload_device(), weight_inplace_update=True)|g" ComfyUI/comfy/sd.py

3. Jalankan perintah berikut untuk mengunduh plugin untuk komponen akselerasi inferensi DeepGPU.

   cd ComfyUI/custom_nodes/
   wget https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/20250102/ComfyUI-deepgpu.tar.gz
   tar zxf ComfyUI-deepgpu.tar.gz
   ls
   cd ../..

4. Jalankan perintah berikut untuk mengunduh model FLUX.

   Contoh ini menggunakan model FLUX resmi. Anda juga dapat menggunakan model hasil pelatihan Anda sendiri.

   cd ComfyUI
   wget -P models/unet https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/flux1-dev.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/t5xxl_fp16.safetensors
   wget -P models/clip https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/clip_l.safetensors
   wget -P models/vae https://aiacc-inference-public-v2.oss-cn-hangzhou.aliyuncs.com/deepgpu/comfyui/flux/models/ae.safetensors

   Catatan

   Pengunduhan model mungkin memerlukan waktu.

5. Jalankan perintah berikut untuk memulai layanan ComfyUI.

   python3 main.py --listen 0.0.0.0 --port 7860

6. Buka http://IP:7860 untuk mengakses layanan ComfyUI.

   Ganti IP dengan alamat IP publik instans GPU Anda.

7. Pada antarmuka ComfyUI, pilih Workflow > Open, pilih file JSON yang tersedia dalam alur kerja contoh, lalu klik Queue Prompt.

   Penting

   Anda harus me-restart layanan ComfyUI saat beralih antara alur kerja dengan dan tanpa akselerasi DeepGPU.

   • Tanpa akselerasi DeepGPU: Pilih file JSON flux-dev dasar (workflow_flux.json). Gambar berikut menunjukkan eksekusi alur kerja.

     

   • Dengan akselerasi DeepGPU: Pilih file JSON flux-dev DeepyTorch yang dipercepat (workflow_flux_deepytorch.json). Gambar berikut menunjukkan eksekusi alur kerja.

     

   Setelah proses selesai, periksa waktu eksekusi teks-ke-gambar di terminal tempat Anda memulai ComfyUI. Ini adalah waktu yang ditampilkan setelah Prompt executed in, seperti yang ditunjukkan pada gambar berikut. Waktu eksekusi jauh lebih singkat saat menggunakan konfigurasi ComfyUI dan DeepGPU dibandingkan dengan konfigurasi standar. Untuk detail performa lebih lanjut, lihat Perbandingan performa.

   

Ikhtisar node dan alur kerja