Platform For AI:Déployer un service ComfyUI pour la génération de vidéos par IA

Principales limites et considérations

Lisez cette section avant le déploiement afin d'éviter le gaspillage de ressources et les erreurs courantes.

• Ressources de déploiement : Nous recommandons les types d'instance GPU GU30, NVIDIA A10 ou NVIDIA T4. Le type d'instance ml.gu7i.c16m60.1-gu30 offre le meilleur rapport qualité-prix.

  Important

  Chaque instance PAI-EAS exécute un seul processus ComfyUI et ne prend en charge qu'un seul GPU (une instance unique avec un seul GPU ou plusieurs instances avec un seul GPU chacune). L'inférence parallèle sur plusieurs GPU n'est pas prise en charge. Ne sélectionnez pas de types d'instance multi-GPU (tels que 2×A10). Les types d'instance multi-GPU gaspillent des ressources et n'améliorent pas les performances pour une tâche unique.

• Mise à l'échelle horizontale : Pour augmenter la concurrence, utilisez l'API Edition et augmentez le nombre de replicas au lieu de sélectionner un type d'instance multi-GPU.

Choisir une édition de déploiement

Sélectionnez l'édition qui correspond le mieux à votre cas d'utilisation :

Pour plus d'informations sur la facturation, consultez Facturation d'Elastic Algorithm Service (EAS).

Ouvrir l'interface web

Cliquez sur le nom du service cible pour ouvrir la page Overview, puis cliquez sur Web Application dans le coin supérieur droit.

Si la page met longtemps à se charger, consultez La page se fige ou met trop de temps à se charger .

Utiliser un workflow de modèle

ComfyUI fournit des modèles prédéfinis pour les tâches courantes.

1. Sélectionnez un modèle (par exemple, Wan VACE Text to Video).

   Remarque

   Les modèles varient selon les versions d'image ComfyUI. Si le modèle d'exemple n'est pas disponible, sélectionnez un autre modèle ou chargez un fichier de workflow depuis le système de fichiers local.

2. Une fois le workflow chargé, vous pouvez voir des erreurs concernant des modèles manquants. Vous pouvez ignorer ces erreurs (nous vous recommandons de sélectionner l'option pour ne plus afficher ce message).

3. Étant donné que les chemins d'accès aux modèles peuvent avoir changé, l'exécution directe du workflow peut produire l'erreur suivante :

   Prompt outputs failed validation:
   UNETLoader:
   - Value not in list: unet_name: 'wan2.1_vace_14B_fp16.safetensors' not in (list of length 200)
   LoraLoader:
   - Value not in list: lora_name: 'Wan21_CausVid_14B_T2V_lora_rank32.safetensors' not in (list of length 364)

   Dans la section Load models here, resélectionnez wan2.1_vace_14B_fp16.safetensors dans le chargeur UNET et Wan21_CausVid_14B_T2V_lora_rank32.safetensors dans le chargeur LoRA.

4. Une fois le workflow exécuté avec succès, la vidéo générée apparaît dans la section Save Video.

Utiliser des modèles et des nœuds personnalisés

1. Assurez-vous que le service dispose d'un point de montage de stockage configuré. Une fois le service déployé, le système crée automatiquement la structure de répertoires suivante dans le stockage OSS ou NAS monté.

   data-oss/
   ├── custom_nodes/     # Custom node files (ComfyUI plugins)
   ├── models/           # Model files
   ├── input/
   ├── output/
   ├── unet/
   └── temp/

2. Téléchargez les fichiers de modèle ou de nœud. Par exemple, vous pouvez utiliser OSS et télécharger des fichiers vers OSS via la console. Pour les fichiers volumineux, consultez Comment télécharger de grands objets vers OSS ?.

   • Télécharger des fichiers de modèle : Consultez la documentation du dépôt source pour le nœud qui utilise le modèle, et téléchargez le modèle dans le sous-répertoire correspondant sous models. Par exemple :

     • Chargeur de checkpoint : Téléchargez les modèles vers models/checkpoints.

     • Chargeur de modèle de style : Téléchargez les modèles vers models/styles.

   • Télécharger des fichiers de nœud : Téléchargez les nœuds personnalisés dans le répertoire custom_nodes du stockage monté.

3. Charger le nouveau contenu.

   • Modèles : En haut de la page, cliquez sur PaiCustom > Load New Models. Si le modèle n'apparaît toujours pas, cliquez sur PaiCustom > Restart Process. Une fois le processus redémarré, actualisez la page du navigateur.

   • Nœuds : Cliquez sur Restart Process. Une fois le processus redémarré, actualisez la page du navigateur.

Préparer le corps de la requête API

Le format du corps de la requête dépend de la méthode d'appel :

• Appel synchrone : encapsulez le contenu JSON du workflow dans une paire clé-valeur prompt.

• Appel asynchrone : le corps de la requête correspond directement au contenu JSON du workflow.

Étant donné que le workflow Wan VACE Text to Video mentionné ci-dessus est long à exécuter, un workflow de test est fourni ci-après pour faciliter les tests (chaque exécution dure environ 3 minutes).

{
    "prompt": {
        "3": {
            "inputs": {
                "seed": 423988542100860,
                "steps": 40,
                "cfg": 7,
                "sampler_name": "dpmpp_sde_gpu",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "4",
                    0
                ],
                "positive": [
                    "6",
                    0
                ],
                "negative": [
                    "7",
                    0
                ],
                "latent_image": [
                    "5",
                    0
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "4": {
            "inputs": {
                "ckpt_name": "LandscapeBING_v10.safetensors"
            },
            "class_type": "CheckpointLoaderSimple",
            "_meta": {
                "title": "Checkpoint Loader (Simple)"
            }
        },
        "5": {
            "inputs": {
                "width": 720,
                "height": 1280,
                "batch_size": 1
            },
            "class_type": "EmptyLatentImage",
            "_meta": {
                "title": "Empty Latent"
            }
        },
        "6": {
            "inputs": {
                "text": "Rocket takes off from the ground, fire，sky, airplane",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "7": {
            "inputs": {
                "text": "",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "8": {
            "inputs": {
                "samples": [
                    "3",
                    0
                ],
                "vae": [
                    "4",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "9": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "images": [
                    "8",
                    0
                ]
            },
            "class_type": "SaveImage",
            "_meta": {
                "title": "Save Image"
            }
        },
        "13": {
            "inputs": {
                "seed": 788620942678235,
                "steps": 40,
                "cfg": 2.5,
                "sampler_name": "euler_ancestral",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "17",
                    0
                ],
                "positive": [
                    "16",
                    0
                ],
                "negative": [
                    "16",
                    1
                ],
                "latent_image": [
                    "16",
                    2
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "14": {
            "inputs": {
                "samples": [
                    "13",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "15": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "fps": 10.000000000000002,
                "lossless": false,
                "quality": 85,
                "method": "default",
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "SaveAnimatedWEBP",
            "_meta": {
                "title": "Save WEBP"
            }
        },
        "16": {
            "inputs": {
                "width": 512,
                "height": 768,
                "video_frames": 35,
                "motion_bucket_id": 140,
                "fps": 15,
                "augmentation_level": 0.15000000000000002,
                "clip_vision": [
                    "18",
                    1
                ],
                "init_image": [
                    "8",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "SVD_img2vid_Conditioning",
            "_meta": {
                "title": "SVD_Image to Video_Conditioning"
            }
        },
        "17": {
            "inputs": {
                "min_cfg": 1,
                "model": [
                    "18",
                    0
                ]
            },
            "class_type": "VideoLinearCFGGuidance",
            "_meta": {
                "title": "Linear CFG Guidance"
            }
        },
        "18": {
            "inputs": {
                "ckpt_name": "svd_xt.safetensors"
            },
            "class_type": "ImageOnlyCheckpointLoader",
            "_meta": {
                "title": "Checkpoint Loader (Image Only)"
            }
        },
        "19": {
            "inputs": {
                "frame_rate": 10,
                "loop_count": 0,
                "filename_prefix": "comfyUI",
                "format": "video/h264-mp4",
                "pix_fmt": "yuv420p",
                "crf": 20,
                "save_metadata": true,
                "trim_to_audio": false,
                "pingpong": false,
                "save_output": true,
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "VHS_VideoCombine",
            "_meta": {
                "title": "Combine to Video"
            }
        }
    }
}

{
    "3": {
        "inputs": {
            "seed": 423988542100860,
            "steps": 40,
            "cfg": 7,
            "sampler_name": "dpmpp_sde_gpu",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "4",
                0
            ],
            "positive": [
                "6",
                0
            ],
            "negative": [
                "7",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "LandscapeBING_v10.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Checkpoint Loader (Simple)"
        }
    },
    "5": {
        "inputs": {
            "width": 720,
            "height": 1280,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent"
        }
    },
    "6": {
        "inputs": {
            "text": "Rocket takes off from the ground, fire，sky, airplane",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "7": {
        "inputs": {
            "text": "",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "13": {
        "inputs": {
            "seed": 788620942678235,
            "steps": 40,
            "cfg": 2.5,
            "sampler_name": "euler_ancestral",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "17",
                0
            ],
            "positive": [
                "16",
                0
            ],
            "negative": [
                "16",
                1
            ],
            "latent_image": [
                "16",
                2
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "14": {
        "inputs": {
            "samples": [
                "13",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "15": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "fps": 10.000000000000002,
            "lossless": false,
            "quality": 85,
            "method": "default",
            "images": [
                "14",
                0
            ]
        },
        "class_type": "SaveAnimatedWEBP",
        "_meta": {
            "title": "Save WEBP"
        }
    },
    "16": {
        "inputs": {
            "width": 512,
            "height": 768,
            "video_frames": 35,
            "motion_bucket_id": 140,
            "fps": 15,
            "augmentation_level": 0.15000000000000002,
            "clip_vision": [
                "18",
                1
            ],
            "init_image": [
                "8",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "SVD_img2vid_Conditioning",
        "_meta": {
            "title": "SVD_Image to Video_Conditioning"
        }
    },
    "17": {
        "inputs": {
            "min_cfg": 1,
            "model": [
                "18",
                0
            ]
        },
        "class_type": "VideoLinearCFGGuidance",
        "_meta": {
            "title": "Linear CFG Guidance"
        }
    },
    "18": {
        "inputs": {
            "ckpt_name": "svd_xt.safetensors"
        },
        "class_type": "ImageOnlyCheckpointLoader",
        "_meta": {
            "title": "Checkpoint Loader (Image Only)"
        }
    },
    "19": {
        "inputs": {
            "frame_rate": 10,
            "loop_count": 0,
            "filename_prefix": "comfyUI",
            "format": "video/h264-mp4",
            "pix_fmt": "yuv420p",
            "crf": 20,
            "save_metadata": true,
            "trim_to_audio": false,
            "pingpong": false,
            "save_output": true,
            "images": [
                "14",
                0
            ]
        },
        "class_type": "VHS_VideoCombine",
        "_meta": {
            "title": "Combine to Video"
        }
    }
}

Appels synchrones

Les appels synchrones envoient des requêtes directement à l'instance de service PAI-EAS. Cette méthode convient aux scénarios de développement, de test et de faible concurrence.

Appels asynchrones

Les appels asynchrones sont conçus pour les charges de travail de production à forte concurrence. Cette méthode utilise le service de file d'attente PAI-EAS pour l'équilibrage de charge. Les requêtes retournent immédiatement et vous récupérez les résultats en vous abonnant à la file d'attente de résultats.

1. Affichez les informations d'appel.

   Dans l'onglet Inference Services, cliquez sur le nom du service cible pour ouvrir la page Overview. Dans la section Basic Information, cliquez sur View Call Information. Dans l'onglet Asynchronous Call de la boîte de dialogue Call Information, affichez le point de terminaison d'accès au service et le jeton.

   

   Les sections suivantes utilisent <EAS_ENDPOINT> pour désigner le Internet Input Endpoint (si l'appelant se trouve dans le même VPC que PAI-EAS, vous pouvez utiliser le VPC Input Endpoint), et <EAS_TOKEN> pour désigner le Token.

2. Envoyez une requête.

   Exemple de code :

   import requests
   import json
   
   service_url = "<EAS_ENDPOINT>"
   token = "<EAS_TOKEN>"
   
   if service_url[-1] == "/":
       service_url = service_url[:-1]
   
   session = requests.session()
   session.headers.update({"Authorization":token})
   
   # Request body - workflow JSON, no need to wrap with "prompt".
   # Use triple quotes to define it as a multi-line string, otherwise you need to capitalize the boolean values (true and false) in the workflow JSON.
   payload = """{
       '3':
       ...omitted
     }
     """
   payload = json.loads(payload)
   
   for i in range(5):
     # task_id is the key identifier for matching requests and results. Assign a unique value to each request to correlate with the queue results later.
     response = session.post(url=f'{service_url}/api_prompt?task_id=txt2img_{i}', json=payload)
     if response.status_code != 200:
       exit(f"send request error:{response.content}")
     else:
       print(f"send {i} success, index is {response.content}")

3. Abonnez-vous aux résultats.

   1. Installez le SDK eas_prediction.

      pip install eas_prediction  --user

   2. Exécutez le code suivant pour récupérer le résultat.

      from eas_prediction import QueueClient
      from urllib.parse import urlparse, urlunparse
      
      service_url     = "<EAS_ENDPOINT>"
      token           = "<EAS_TOKEN>"
      
      # Parse service URL
      def parse_service_url(service_url):
          parsed = urlparse(service_url)
          service_domain = f"{parsed.scheme}://{parsed.netloc}"
          path_parts = [p for p in parsed.path.strip('/').split('/') if p]
          service_name = path_parts[-1]
          return service_domain, service_name
      
      service_domain, service_name = parse_service_url(service_url)
      print(f"service_domain: {service_domain}, service_name: {service_name}.")
      
      # Create result queue client
      sink_queue = QueueClient(service_domain, f'{service_name}/sink')
      sink_queue.set_token(token)
      sink_queue.init()
      
      # Listen for results
      watcher = sink_queue.watch(0, 5, auto_commit=False)
      for x in watcher.run():
          if 'task_id' in x.tags:
              print('index {} task_id is {}'.format(x.index, x.tags['task_id']))
          print(f'index {x.index} data is {x.data}')
          # Commit acknowledgment
          sink_queue.commit(x.index)

      Exemple de réponse :

      index 42 task_id is txt2img_0
      index 42 data is b'[{"type": "executed", "data": {"node": "9", "output": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "15", "output": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "19", "output": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 43 task_id is txt2img_1
      index 43 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 44 task_id is txt2img_2
      index 44 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 45 task_id is txt2img_3
      index 45 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 46 task_id is txt2img_4
      index 46 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'

      Vous trouverez les fichiers de résultat de l'inférence dans le répertoire output du stockage monté.

Annexe

Fonctionnement de l'édition Cluster

Le diagramme suivant illustre l'architecture :

L'édition Cluster est conçue pour les scénarios multi-utilisateurs. Elle introduit une couche proxy qui découple les clients des instances d'inférence backend.

• Chaque utilisateur dispose d'un environnement backend et d'un répertoire de travail indépendants, mais partage le pool d'instances d'inférence GPU backend.

• Lorsqu'un utilisateur envoie une requête d'inférence, le proxy sélectionne une instance disponible dans le pool pour traiter la requête.

Ce mécanisme de multiplexage temporel isole les environnements utilisateur tout en maximisant l'utilisation des ressources GPU et en réduisant les coûts d'inférence dans les scénarios multi-utilisateurs.