Platform For AI:Terapkan layanan ComfyUI untuk pembuatan video AI

Batasan dan pertimbangan utama

Baca bagian ini sebelum menerapkan untuk menghindari pemborosan sumber daya dan kesalahan umum.

• Sumber Daya Penerapan: Kami merekomendasikan tipe instans GPU GU30, NVIDIA A10, atau NVIDIA T4. Tipe instans ml.gu7i.c16m60.1-gu30 menawarkan rasio harga-kinerja terbaik.

  Penting

  Setiap instans PAI-EAS menjalankan satu proses ComfyUI dan hanya mendukung satu GPU (single-instance single-GPU atau multi-instance single-GPU). Inferensi paralel multi-GPU tidak didukung. Jangan memilih tipe instans multi-GPU (misalnya 2×A10). Tipe instans multi-GPU memboroskan sumber daya dan tidak meningkatkan kinerja tugas tunggal.

• Scaling Horizontal: Untuk meningkatkan konkurensi, gunakan API Edition dan tingkatkan jumlah replica alih-alih memilih tipe instans multi-GPU.

Pilih edisi penerapan

Pilih edisi yang paling sesuai dengan kasus penggunaan Anda:

Untuk informasi penagihan lebih lanjut, lihat Penagihan Elastic Algorithm Service (EAS).

Buka antarmuka web

Klik nama layanan target untuk membuka halaman Overview, lalu klik Web Application di pojok kanan atas.

Jika halaman memerlukan waktu lama untuk dimuat, lihat Halaman hang atau memerlukan waktu terlalu lama untuk dimuat.

Gunakan alur kerja templat

ComfyUI menyediakan templat bawaan untuk tugas-tugas umum.

1. Pilih templat (misalnya, Wan VACE Text to Video).

   Catatan

   Templat bervariasi tergantung versi gambar ComfyUI. Jika templat contoh tidak tersedia, pilih templat lain atau muat file alur kerja dari sistem file lokal.

2. Setelah alur kerja dimuat, Anda mungkin melihat error tentang model yang hilang. Anda dapat mengabaikan error ini (kami merekomendasikan memilih opsi untuk tidak menampilkan pesan ini lagi).

3. Karena path model mungkin telah berubah, menjalankan alur kerja secara langsung dapat menghasilkan error berikut:

   Prompt outputs failed validation:
   UNETLoader:
   - Value not in list: unet_name: 'wan2.1_vace_14B_fp16.safetensors' not in (list of length 200)
   LoraLoader:
   - Value not in list: lora_name: 'Wan21_CausVid_14B_T2V_lora_rank32.safetensors' not in (list of length 364)

   Di bagian Load models here, pilih ulang wan2.1_vace_14B_fp16.safetensors di loader UNET dan Wan21_CausVid_14B_T2V_lora_rank32.safetensors di loader LoRA.

4. Setelah alur kerja berhasil dijalankan, video yang dihasilkan muncul di bagian Save Video.

Gunakan model dan node kustom

1. Pastikan layanan telah dikonfigurasi dengan mount penyimpanan. Setelah layanan diterapkan, sistem secara otomatis membuat struktur direktori berikut di penyimpanan OSS atau NAS yang dimount.

   data-oss/
   ├── custom_nodes/     # File node kustom (plugin ComfyUI)
   ├── models/           # File model
   ├── input/
   ├── output/
   ├── unet/
   └── temp/

2. Unggah file model atau node. Misalnya, Anda dapat menggunakan OSS dan mengunggah file ke OSS melalui konsol. Untuk file besar, lihat Bagaimana cara mengunggah objek besar ke OSS?.

   • Unggah file model: Periksa dokumentasi repositori sumber untuk node yang menggunakan model tersebut, dan unggah model ke subdirektori yang sesuai di bawah models. Misalnya:

     • Checkpoint loader: Unggah model ke models/checkpoints.

     • Style model loader: Unggah model ke models/styles.

   • Unggah file node: Unggah node kustom ke direktori custom_nodes di penyimpanan yang dimount.

3. Muat konten baru.

   • Model: Di bagian atas halaman, klik PaiCustom > Load New Models. Jika model masih tidak muncul, klik PaiCustom > Restart Process. Setelah proses dimulai ulang, refresh halaman browser.

   • Node: Klik Restart Process. Setelah proses dimulai ulang, refresh halaman browser.

Siapkan badan permintaan API

Format badan permintaan tergantung pada metode pemanggilan:

• Panggilan sinkron: Bungkus konten JSON alur kerja di dalam pasangan kunci-nilai prompt.

• Panggilan asinkron: Badan permintaan adalah konten JSON alur kerja secara langsung.

Karena alur kerja Wan VACE Text to Video di atas memakan waktu lama, alur kerja uji berikut disediakan untuk pengujian yang lebih mudah (setiap eksekusi memerlukan waktu sekitar 3 menit).

{
    "prompt": {
        "3": {
            "inputs": {
                "seed": 423988542100860,
                "steps": 40,
                "cfg": 7,
                "sampler_name": "dpmpp_sde_gpu",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "4",
                    0
                ],
                "positive": [
                    "6",
                    0
                ],
                "negative": [
                    "7",
                    0
                ],
                "latent_image": [
                    "5",
                    0
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "4": {
            "inputs": {
                "ckpt_name": "LandscapeBING_v10.safetensors"
            },
            "class_type": "CheckpointLoaderSimple",
            "_meta": {
                "title": "Checkpoint Loader (Simple)"
            }
        },
        "5": {
            "inputs": {
                "width": 720,
                "height": 1280,
                "batch_size": 1
            },
            "class_type": "EmptyLatentImage",
            "_meta": {
                "title": "Empty Latent"
            }
        },
        "6": {
            "inputs": {
                "text": "Rocket takes off from the ground, fire，sky, airplane",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "7": {
            "inputs": {
                "text": "",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "8": {
            "inputs": {
                "samples": [
                    "3",
                    0
                ],
                "vae": [
                    "4",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "9": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "images": [
                    "8",
                    0
                ]
            },
            "class_type": "SaveImage",
            "_meta": {
                "title": "Save Image"
            }
        },
        "13": {
            "inputs": {
                "seed": 788620942678235,
                "steps": 40,
                "cfg": 2.5,
                "sampler_name": "euler_ancestral",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "17",
                    0
                ],
                "positive": [
                    "16",
                    0
                ],
                "negative": [
                    "16",
                    1
                ],
                "latent_image": [
                    "16",
                    2
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "14": {
            "inputs": {
                "samples": [
                    "13",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "15": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "fps": 10.000000000000002,
                "lossless": false,
                "quality": 85,
                "method": "default",
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "SaveAnimatedWEBP",
            "_meta": {
                "title": "Save WEBP"
            }
        },
        "16": {
            "inputs": {
                "width": 512,
                "height": 768,
                "video_frames": 35,
                "motion_bucket_id": 140,
                "fps": 15,
                "augmentation_level": 0.15000000000000002,
                "clip_vision": [
                    "18",
                    1
                ],
                "init_image": [
                    "8",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "SVD_img2vid_Conditioning",
            "_meta": {
                "title": "SVD_Image to Video_Conditioning"
            }
        },
        "17": {
            "inputs": {
                "min_cfg": 1,
                "model": [
                    "18",
                    0
                ]
            },
            "class_type": "VideoLinearCFGGuidance",
            "_meta": {
                "title": "Linear CFG Guidance"
            }
        },
        "18": {
            "inputs": {
                "ckpt_name": "svd_xt.safetensors"
            },
            "class_type": "ImageOnlyCheckpointLoader",
            "_meta": {
                "title": "Checkpoint Loader (Image Only)"
            }
        },
        "19": {
            "inputs": {
                "frame_rate": 10,
                "loop_count": 0,
                "filename_prefix": "comfyUI",
                "format": "video/h264-mp4",
                "pix_fmt": "yuv420p",
                "crf": 20,
                "save_metadata": true,
                "trim_to_audio": false,
                "pingpong": false,
                "save_output": true,
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "VHS_VideoCombine",
            "_meta": {
                "title": "Combine to Video"
            }
        }
    }
}

{
    "3": {
        "inputs": {
            "seed": 423988542100860,
            "steps": 40,
            "cfg": 7,
            "sampler_name": "dpmpp_sde_gpu",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "4",
                0
            ],
            "positive": [
                "6",
                0
            ],
            "negative": [
                "7",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "LandscapeBING_v10.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Checkpoint Loader (Simple)"
        }
    },
    "5": {
        "inputs": {
            "width": 720,
            "height": 1280,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent"
        }
    },
    "6": {
        "inputs": {
            "text": "Rocket takes off from the ground, fire，sky, airplane",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "7": {
        "inputs": {
            "text": "",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "13": {
        "inputs": {
            "seed": 788620942678235,
            "steps": 40,
            "cfg": 2.5,
            "sampler_name": "euler_ancestral",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "17",
                0
            ],
            "positive": [
                "16",
                0
            ],
            "negative": [
                "16",
                1
            ],
            "latent_image": [
                "16",
                2
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "14": {
        "inputs": {
            "samples": [
                "13",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "15": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "fps": 10.000000000000002,
            "lossless": false,
            "quality": 85,
            "method": "default",
            "images": [
                "14",
                0
            ]
        },
        "class_type": "SaveAnimatedWEBP",
        "_meta": {
            "title": "Save WEBP"
        }
    },
    "16": {
        "inputs": {
            "width": 512,
            "height": 768,
            "video_frames": 35,
            "motion_bucket_id": 140,
            "fps": 15,
            "augmentation_level": 0.15000000000000002,
            "clip_vision": [
                "18",
                1
            ],
            "init_image": [
                "8",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "SVD_img2vid_Conditioning",
        "_meta": {
            "title": "SVD_Image to Video_Conditioning"
        }
    },
    "17": {
        "inputs": {
            "min_cfg": 1,
            "model": [
                "18",
                0
            ]
        },
        "class_type": "VideoLinearCFGGuidance",
        "_meta": {
            "title": "Linear CFG Guidance"
        }
    },
    "18": {
        "inputs": {
            "ckpt_name": "svd_xt.safetensors"
        },
        "class_type": "ImageOnlyCheckpointLoader",
        "_meta": {
            "title": "Checkpoint Loader (Image Only)"
        }
    },
    "19": {
        "inputs": {
            "frame_rate": 10,
            "loop_count": 0,
            "filename_prefix": "comfyUI",
            "format": "video/h264-mp4",
            "pix_fmt": "yuv420p",
            "crf": 20,
            "save_metadata": true,
            "trim_to_audio": false,
            "pingpong": false,
            "save_output": true,
            "images": [
                "14",
                0
            ]
        },
        "class_type": "VHS_VideoCombine",
        "_meta": {
            "title": "Combine to Video"
        }
    }
}

Panggilan sinkron

Panggilan sinkron mengirim permintaan langsung ke instans layanan PAI-EAS. Metode ini cocok untuk pengembangan, pengujian, dan skenario konkurensi rendah.

Panggilan asinkron

Panggilan asinkron dirancang untuk beban kerja produksi dengan konkurensi tinggi. Metode ini menggunakan layanan antrian PAI-EAS untuk load balancing. Permintaan langsung dikembalikan, dan Anda mengambil hasil dengan berlangganan ke antrian hasil.

1. Lihat informasi pemanggilan.

   Pada tab Inference Services, klik nama layanan target untuk membuka halaman Overview. Di bagian Basic Information, klik View Call Information. Pada tab Asynchronous Call dialog Call Information, lihat titik akses layanan dan token.

   

   Bagian berikut menggunakan <EAS_ENDPOINT> untuk merujuk ke Internet Input Endpoint (jika pemanggil berada di VPC yang sama dengan PAI-EAS, Anda dapat menggunakan VPC Input Endpoint), dan <EAS_TOKEN> untuk merujuk ke Token.

2. Kirim permintaan.

   Contoh kode:

   import requests
   import json
   
   service_url = "<EAS_ENDPOINT>"
   token = "<EAS_TOKEN>"
   
   if service_url[-1] == "/":
       service_url = service_url[:-1]
   
   session = requests.session()
   session.headers.update({"Authorization":token})
   
   # Badan permintaan - JSON alur kerja, tidak perlu dibungkus dengan "prompt".
   # Gunakan tanda kutip tiga untuk mendefinisikannya sebagai string multi-baris, jika tidak Anda perlu menggunakan huruf kapital untuk nilai boolean (true dan false) dalam JSON alur kerja.
   payload = """{
       '3':
       ...omitted
     }
     """
   payload = json.loads(payload)
   
   for i in range(5):
     # task_id adalah pengenal utama untuk mencocokkan permintaan dan hasil. Tetapkan nilai unik untuk setiap permintaan agar dapat dikorelasikan dengan hasil antrian nanti.
     response = session.post(url=f'{service_url}/api_prompt?task_id=txt2img_{i}', json=payload)
     if response.status_code != 200:
       exit(f"send request error:{response.content}")
     else:
       print(f"send {i} success, index is {response.content}")

3. Berlangganan hasil.

   1. Instal SDK eas_prediction.

      pip install eas_prediction  --user

   2. Jalankan kode berikut untuk mengambil hasil.

      from eas_prediction import QueueClient
      from urllib.parse import urlparse, urlunparse
      
      service_url     = "<EAS_ENDPOINT>"
      token           = "<EAS_TOKEN>"
      
      # Parse service URL
      def parse_service_url(service_url):
          parsed = urlparse(service_url)
          service_domain = f"{parsed.scheme}://{parsed.netloc}"
          path_parts = [p for p in parsed.path.strip('/').split('/') if p]
          service_name = path_parts[-1]
          return service_domain, service_name
      
      service_domain, service_name = parse_service_url(service_url)
      print(f"service_domain: {service_domain}, service_name: {service_name}.")
      
      # Create result queue client
      sink_queue = QueueClient(service_domain, f'{service_name}/sink')
      sink_queue.set_token(token)
      sink_queue.init()
      
      # Listen for results
      watcher = sink_queue.watch(0, 5, auto_commit=False)
      for x in watcher.run():
          if 'task_id' in x.tags:
              print('index {} task_id is {}'.format(x.index, x.tags['task_id']))
          print(f'index {x.index} data is {x.data}')
          # Commit acknowledgment
          sink_queue.commit(x.index)

      Contoh respons:

      index 42 task_id is txt2img_0
      index 42 data is b'[{"type": "executed", "data": {"node": "9", "output": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "15", "output": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "19", "output": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 43 task_id is txt2img_1
      index 43 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 44 task_id is txt2img_2
      index 44 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 45 task_id is txt2img_3
      index 45 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 46 task_id is txt2img_4
      index 46 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'

      Anda dapat menemukan file hasil inferensi di direktori output penyimpanan yang dimount.

Masalah penerapan

Masalah model dan node

Error runtime

Lainnya

Instal paket Python

Perbarui versi gambar

Jika layanan memiliki penyimpanan OSS atau NAS yang dimount, model kustom disimpan di penyimpanan OSS atau NAS tersebut dan tidak terpengaruh oleh pembaruan versi gambar.

1. Pada halaman detail layanan, klik Update di pojok kanan atas.

2. Jika layanan diterapkan melalui penerapan model berbasis skenario, beralihlah ke penerapan model kustom.

3. Di bagian Service Configuration, edit konfigurasi JSON dan perbarui field image di bawah containers ke versi yang diinginkan (misalnya, ubah 1.9 ke versi target).

4. Klik Update Directly.

Hasilkan URL akses web tanpa login dengan periode validitas kustom

Anda dapat menggunakan API untuk menghasilkan URL akses web tanpa login dengan periode validitas tertentu.

1. Buka halaman API DescribeServiceSignedUrl.

2. Pilih endpoint layanan.

3. Atur parameter berikut:

   • ClusterId (Wilayah) dan ServiceName: Masukkan wilayah dan nama layanan.

     Di halaman ikhtisar layanan EAS, field Service Name menunjukkan nilai ServiceName. Wilayah tertanam dalam alamat gambar node (misalnya, cn-hangzhou sesuai dengan nilai wilayah ClusterId). Anda dapat mengklik View Web Application di pojok kanan atas untuk membuka layanan.

   • Type (Jenis halaman): Pilih webview dari daftar drop-down.

   • Expire (Waktu kedaluwarsa): Masukkan bilangan bulat dalam detik. Nilai maksimum adalah 43200 detik (12 jam). Atur sesuai kebutuhan.

   • Internal (Akses VPC): Atur ke false (akses publik) atau true (akses VPC).

4. Klik Call API. Field SignedUrl dalam respons berisi URL akses web tanpa login.

Ubah bahasa default WebUI

Cara Kerja Cluster Edition

Diagram berikut menunjukkan arsitekturnya:

Cluster Edition dirancang untuk skenario multi-pengguna. Ini memperkenalkan lapisan proxy yang memisahkan klien dari instans inferensi backend.

• Setiap pengguna memiliki lingkungan backend dan direktori kerja independen, tetapi berbagi pool instans inferensi GPU backend.

• Ketika pengguna mengirim permintaan inferensi, proxy memilih instans yang tersedia dari pool untuk menangani permintaan tersebut.

Mekanisme multiplexing waktu ini mengisolasi lingkungan pengguna sekaligus memaksimalkan pemanfaatan sumber daya GPU dan mengurangi biaya inferensi dalam skenario multi-pengguna.