Platform For AI:Despliegue de un servicio de ComfyUI para generación de video con IA

Limitaciones y consideraciones clave

Lea esta sección antes de realizar el despliegue para evitar desperdicio de recursos y errores comunes.

• Recursos de despliegue: Se recomiendan los tipos de instancia GPU GU30, NVIDIA A10 o NVIDIA T4. El tipo de instancia ml.gu7i.c16m60.1-gu30 ofrece la mejor relación precio-rendimiento.

  Importante

  Cada instancia de PAI-EAS ejecuta un único proceso de ComfyUI y admite solo una GPU (instancia única con GPU única o múltiples instancias con GPU única). No se admite la inference paralela con múltiples GPU. No seleccione tipos de instancia con múltiples GPU (como 2×A10). Estos tipos de instancia desperdician recursos y no mejoran el rendimiento de tareas individuales.

• Escalado horizontal: Para aumentar la concurrencia, utilice la API Edition e incremente el número de réplicas en lugar de seleccionar un tipo de instancia con múltiples GPU.

Elección de la edición de despliegue

Seleccione la edición que mejor se adapte a su caso de uso:

Para más información sobre facturación, consulte Elastic Algorithm Service (EAS) billing.

Apertura de la interfaz web

Haga clic en el nombre del servicio objetivo para abrir la página Overview y, a continuación, haga clic en Web Application en la esquina superior derecha.

Si la página tarda mucho en cargar, consulte Page freezes or takes too long to load .

Uso de un flujo de trabajo de plantilla

ComfyUI proporciona plantillas predefinidas para tareas comunes.

1. Seleccione una plantilla (por ejemplo, Wan VACE Text to Video).

   Nota

   Las plantillas varían según las versiones de imagen de ComfyUI. Si la plantilla de ejemplo no está disponible, seleccione una plantilla diferente o cargue un archivo de flujo de trabajo desde el sistema de archivos local.

2. Después de que se cargue el flujo de trabajo, es posible que vea errores sobre modelos faltantes. Puede descartar estos errores (se recomienda seleccionar la opción para no volver a mostrar este mensaje).

3. Dado que las rutas de los modelos pueden haber cambiado, ejecutar el flujo de trabajo directamente puede producir el siguiente error:

   Prompt outputs failed validation:
   UNETLoader:
   - Value not in list: unet_name: 'wan2.1_vace_14B_fp16.safetensors' not in (list of length 200)
   LoraLoader:
   - Value not in list: lora_name: 'Wan21_CausVid_14B_T2V_lora_rank32.safetensors' not in (list of length 364)

   En la sección Load models here, vuelva a seleccionar wan2.1_vace_14B_fp16.safetensors en el cargador UNET y Wan21_CausVid_14B_T2V_lora_rank32.safetensors en el cargador LoRA.

4. Una vez que el flujo de trabajo se ejecute correctamente, el video generado aparecerá en la sección Save Video.

Uso de modelos y nodos personalizados

1. Asegúrese de que el servicio tenga configurado un montaje de almacenamiento. Una vez desplegado el servicio, el sistema crea automáticamente la siguiente estructura de directorios en el almacenamiento OSS o NAS montado.

   data-oss/
   ├── custom_nodes/     # Custom node files (ComfyUI plugins)
   ├── models/           # Model files
   ├── input/
   ├── output/
   ├── unet/
   └── temp/

2. Cargue archivos de modelos o nodos. Por ejemplo, puede utilizar OSS y upload files to OSS through the console. Para archivos grandes, consulte How do I upload large objects to OSS?.

   • Carga de archivos de modelos: Revise la documentación del repositorio fuente del nodo que utiliza el modelo y cargue el modelo en el subdirectorio correspondiente dentro de models. Por ejemplo:

     • Cargador de checkpoints: Cargue los modelos en models/checkpoints.

     • Cargador de modelos de estilo: Cargue los modelos en models/styles.

   • Carga de archivos de nodos: Cargue los nodos personalizados en el directorio custom_nodes del almacenamiento montado.

3. Carga de contenido nuevo.

   • Modelos: En la parte superior de la página, haga clic en PaiCustom > Load New Models. Si el modelo sigue sin aparecer, haga clic en PaiCustom > Restart Process. Después de que se reinicie el proceso, actualice la página del navegador.

   • Nodos: Haga clic en Restart Process. Después de que se reinicie el proceso, actualice la página del navegador.

Preparación del cuerpo de la solicitud API

El formato del cuerpo de la solicitud depende del método de llamada:

• Llamada síncrona: Envuelva el contenido JSON del flujo de trabajo dentro de un par clave-valor prompt.

• Llamada asíncrona: El cuerpo de la solicitud es directamente el contenido JSON del flujo de trabajo.

Dado que el flujo de trabajo Wan VACE Text to Video mencionado anteriormente consume mucho tiempo, se proporciona el siguiente flujo de trabajo de prueba para facilitar las pruebas (cada ejecución tarda aproximadamente 3 minutos).

{
    "prompt": {
        "3": {
            "inputs": {
                "seed": 423988542100860,
                "steps": 40,
                "cfg": 7,
                "sampler_name": "dpmpp_sde_gpu",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "4",
                    0
                ],
                "positive": [
                    "6",
                    0
                ],
                "negative": [
                    "7",
                    0
                ],
                "latent_image": [
                    "5",
                    0
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "4": {
            "inputs": {
                "ckpt_name": "LandscapeBING_v10.safetensors"
            },
            "class_type": "CheckpointLoaderSimple",
            "_meta": {
                "title": "Checkpoint Loader (Simple)"
            }
        },
        "5": {
            "inputs": {
                "width": 720,
                "height": 1280,
                "batch_size": 1
            },
            "class_type": "EmptyLatentImage",
            "_meta": {
                "title": "Empty Latent"
            }
        },
        "6": {
            "inputs": {
                "text": "Rocket takes off from the ground, fire，sky, airplane",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "7": {
            "inputs": {
                "text": "",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "8": {
            "inputs": {
                "samples": [
                    "3",
                    0
                ],
                "vae": [
                    "4",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "9": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "images": [
                    "8",
                    0
                ]
            },
            "class_type": "SaveImage",
            "_meta": {
                "title": "Save Image"
            }
        },
        "13": {
            "inputs": {
                "seed": 788620942678235,
                "steps": 40,
                "cfg": 2.5,
                "sampler_name": "euler_ancestral",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "17",
                    0
                ],
                "positive": [
                    "16",
                    0
                ],
                "negative": [
                    "16",
                    1
                ],
                "latent_image": [
                    "16",
                    2
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "14": {
            "inputs": {
                "samples": [
                    "13",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "15": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "fps": 10.000000000000002,
                "lossless": false,
                "quality": 85,
                "method": "default",
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "SaveAnimatedWEBP",
            "_meta": {
                "title": "Save WEBP"
            }
        },
        "16": {
            "inputs": {
                "width": 512,
                "height": 768,
                "video_frames": 35,
                "motion_bucket_id": 140,
                "fps": 15,
                "augmentation_level": 0.15000000000000002,
                "clip_vision": [
                    "18",
                    1
                ],
                "init_image": [
                    "8",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "SVD_img2vid_Conditioning",
            "_meta": {
                "title": "SVD_Image to Video_Conditioning"
            }
        },
        "17": {
            "inputs": {
                "min_cfg": 1,
                "model": [
                    "18",
                    0
                ]
            },
            "class_type": "VideoLinearCFGGuidance",
            "_meta": {
                "title": "Linear CFG Guidance"
            }
        },
        "18": {
            "inputs": {
                "ckpt_name": "svd_xt.safetensors"
            },
            "class_type": "ImageOnlyCheckpointLoader",
            "_meta": {
                "title": "Checkpoint Loader (Image Only)"
            }
        },
        "19": {
            "inputs": {
                "frame_rate": 10,
                "loop_count": 0,
                "filename_prefix": "comfyUI",
                "format": "video/h264-mp4",
                "pix_fmt": "yuv420p",
                "crf": 20,
                "save_metadata": true,
                "trim_to_audio": false,
                "pingpong": false,
                "save_output": true,
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "VHS_VideoCombine",
            "_meta": {
                "title": "Combine to Video"
            }
        }
    }
}

{
    "3": {
        "inputs": {
            "seed": 423988542100860,
            "steps": 40,
            "cfg": 7,
            "sampler_name": "dpmpp_sde_gpu",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "4",
                0
            ],
            "positive": [
                "6",
                0
            ],
            "negative": [
                "7",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "LandscapeBING_v10.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Checkpoint Loader (Simple)"
        }
    },
    "5": {
        "inputs": {
            "width": 720,
            "height": 1280,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent"
        }
    },
    "6": {
        "inputs": {
            "text": "Rocket takes off from the ground, fire，sky, airplane",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "7": {
        "inputs": {
            "text": "",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "13": {
        "inputs": {
            "seed": 788620942678235,
            "steps": 40,
            "cfg": 2.5,
            "sampler_name": "euler_ancestral",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "17",
                0
            ],
            "positive": [
                "16",
                0
            ],
            "negative": [
                "16",
                1
            ],
            "latent_image": [
                "16",
                2
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "14": {
        "inputs": {
            "samples": [
                "13",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "15": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "fps": 10.000000000000002,
            "lossless": false,
            "quality": 85,
            "method": "default",
            "images": [
                "14",
                0
            ]
        },
        "class_type": "SaveAnimatedWEBP",
        "_meta": {
            "title": "Save WEBP"
        }
    },
    "16": {
        "inputs": {
            "width": 512,
            "height": 768,
            "video_frames": 35,
            "motion_bucket_id": 140,
            "fps": 15,
            "augmentation_level": 0.15000000000000002,
            "clip_vision": [
                "18",
                1
            ],
            "init_image": [
                "8",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "SVD_img2vid_Conditioning",
        "_meta": {
            "title": "SVD_Image to Video_Conditioning"
        }
    },
    "17": {
        "inputs": {
            "min_cfg": 1,
            "model": [
                "18",
                0
            ]
        },
        "class_type": "VideoLinearCFGGuidance",
        "_meta": {
            "title": "Linear CFG Guidance"
        }
    },
    "18": {
        "inputs": {
            "ckpt_name": "svd_xt.safetensors"
        },
        "class_type": "ImageOnlyCheckpointLoader",
        "_meta": {
            "title": "Checkpoint Loader (Image Only)"
        }
    },
    "19": {
        "inputs": {
            "frame_rate": 10,
            "loop_count": 0,
            "filename_prefix": "comfyUI",
            "format": "video/h264-mp4",
            "pix_fmt": "yuv420p",
            "crf": 20,
            "save_metadata": true,
            "trim_to_audio": false,
            "pingpong": false,
            "save_output": true,
            "images": [
                "14",
                0
            ]
        },
        "class_type": "VHS_VideoCombine",
        "_meta": {
            "title": "Combine to Video"
        }
    }
}

Llamadas síncronas

Las llamadas síncronas envían solicitudes directamente a la instancia del servicio PAI-EAS. Este método es adecuado para desarrollo, pruebas y escenarios de baja concurrencia.

Llamadas asíncronas

Las llamadas asíncronas están diseñadas para cargas de trabajo de producción con alta concurrencia. Este método utiliza el servicio de cola de PAI-EAS para el balanceo de carga. Las solicitudes devuelven una respuesta inmediata y los resultados se obtienen mediante la suscripción a la cola de resultados.

1. Consulte la información de llamada.

   En la pestaña Inference Services, haga clic en el nombre del servicio objetivo para abrir la página Overview. En la sección Basic Information, haga clic en View Call Information. En la pestaña Asynchronous Call del cuadro de diálogo Call Information, consulte el endpoint de acceso al servicio y el token.

   

   En las siguientes secciones se utiliza <EAS_ENDPOINT> para referirse al Internet Input Endpoint (si quien realiza la llamada se encuentra en la misma VPC que PAI-EAS, puede usar el VPC Input Endpoint) y <EAS_TOKEN> para referirse al Token.

2. Envíe una solicitud.

   Ejemplo de código:

   import requests
   import json
   
   service_url = "<EAS_ENDPOINT>"
   token = "<EAS_TOKEN>"
   
   if service_url[-1] == "/":
       service_url = service_url[:-1]
   
   session = requests.session()
   session.headers.update({"Authorization":token})
   
   # Request body - workflow JSON, no need to wrap with "prompt".
   # Use triple quotes to define it as a multi-line string, otherwise you need to capitalize the boolean values (true and false) in the workflow JSON.
   payload = """{
       '3':
       ...omitted
     }
     """
   payload = json.loads(payload)
   
   for i in range(5):
     # task_id is the key identifier for matching requests and results. Assign a unique value to each request to correlate with the queue results later.
     response = session.post(url=f'{service_url}/api_prompt?task_id=txt2img_{i}', json=payload)
     if response.status_code != 200:
       exit(f"send request error:{response.content}")
     else:
       print(f"send {i} success, index is {response.content}")

3. Suscríbase a los resultados.

   1. Instale el SDK eas_prediction.

      pip install eas_prediction  --user

   2. Ejecute el siguiente código para obtener el resultado.

      from eas_prediction import QueueClient
      from urllib.parse import urlparse, urlunparse
      
      service_url     = "<EAS_ENDPOINT>"
      token           = "<EAS_TOKEN>"
      
      # Parse service URL
      def parse_service_url(service_url):
          parsed = urlparse(service_url)
          service_domain = f"{parsed.scheme}://{parsed.netloc}"
          path_parts = [p for p in parsed.path.strip('/').split('/') if p]
          service_name = path_parts[-1]
          return service_domain, service_name
      
      service_domain, service_name = parse_service_url(service_url)
      print(f"service_domain: {service_domain}, service_name: {service_name}.")
      
      # Create result queue client
      sink_queue = QueueClient(service_domain, f'{service_name}/sink')
      sink_queue.set_token(token)
      sink_queue.init()
      
      # Listen for results
      watcher = sink_queue.watch(0, 5, auto_commit=False)
      for x in watcher.run():
          if 'task_id' in x.tags:
              print('index {} task_id is {}'.format(x.index, x.tags['task_id']))
          print(f'index {x.index} data is {x.data}')
          # Commit acknowledgment
          sink_queue.commit(x.index)

      Respuesta de ejemplo:

      index 42 task_id is txt2img_0
      index 42 data is b'[{"type": "executed", "data": {"node": "9", "output": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "15", "output": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "19", "output": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 43 task_id is txt2img_1
      index 43 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 44 task_id is txt2img_2
      index 44 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 45 task_id is txt2img_3
      index 45 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 46 task_id is txt2img_4
      index 46 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'

      Los archivos de resultados de inference se encuentran en el directorio output del almacenamiento montado.

Problemas de despliegue

Problemas con modelos y nodos

Errores de tiempo de ejecución

Otros

Instalación de paquetes de Python

Actualización de la versión de la imagen

Si el servicio tiene almacenamiento OSS o NAS montado, los modelos personalizados se almacenan en dicho almacenamiento y no se ven afectados por una actualización de versión de imagen.

1. En la página de detalles del servicio, haga clic en Update en la esquina superior derecha.

2. Si el servicio se desplegó mediante despliegue de modelos basado en escenarios, cambie a despliegue de modelos personalizado.

3. En la sección Service Configuration, edite la configuración JSON y actualice el campo image bajo containers a la versión deseada (por ejemplo, cambie 1.9 a la versión objetivo).

4. Haga clic en Update Directly.

Generación de una URL sin inicio de sesión con periodo de validez personalizado

Puede utilizar una API para generar una URL de acceso web sin inicio de sesión con un periodo de validez específico.

1. Vaya a la página de la API DescribeServiceSignedUrl.

2. Seleccione el endpoint del servicio.

3. Establezca los siguientes parámetros:

   • ClusterId (Region) y ServiceName: Introduzca la región y el nombre del servicio.

     En la página de descripción general del servicio EAS, el campo Service Name muestra el valor de ServiceName. La región está incluida en la dirección de la imagen del nodo (por ejemplo, cn-hangzhou corresponde al valor de región ClusterId). Puede hacer clic en View Web Application en la esquina superior derecha para abrir el servicio.

   • Type (Page type): Seleccione webview en la lista desplegable.

   • Expire (Expiration time): Introduzca un número entero en segundos. El valor máximo es 43200 segundos (12 horas). Establézcalo según sea necesario.

   • Internal (VPC access): Establezca false (acceso público) o true (acceso VPC).

4. Haga clic en Call API. El campo SignedUrl en la respuesta contiene la URL de acceso web sin inicio de sesión.

Cambio del idioma predeterminado de WebUI

Funcionamiento de Cluster Edition

El siguiente diagrama muestra la arquitectura:

Cluster Edition está diseñado para escenarios multiusuario. Introduce una capa de proxy que desacopla los clientes de las instancias de inference del backend.

• Cada usuario tiene un entorno de backend y un directorio de trabajo independientes, pero comparte el pool de instancias de inference de GPU del backend.

• Cuando un usuario envía una solicitud de inference, el proxy selecciona una instancia disponible del pool para procesar la solicitud.

Este mecanismo de multiplexación por tiempo aísla los entornos de los usuarios y maximiza la utilización de los recursos de GPU, lo que reduce los costos de inference en escenarios multiusuario.