Platform For AI:Implante um serviço do ComfyUI para geração de vídeo com IA

Principais limitações e considerações

Leia esta seção antes de implantar o serviço para evitar desperdício de recursos e erros comuns.

• Recursos de implantação: Recomendamos os tipos de instância com GPU GU30, NVIDIA A10 ou NVIDIA T4. O tipo de instância ml.gu7i.c16m60.1-gu30 oferece a melhor relação custo-benefício.

  Importante

  Cada instância do PAI-EAS executa um único processo do ComfyUI e oferece suporte a apenas uma GPU (instância única com GPU única ou várias instâncias com GPU única). A inferência paralela com várias GPUs não é suportada. Não selecione tipos de instância com várias GPUs (como 2×A10). Tipos de instância com várias GPUs desperdiçam recursos e não melhoram o desempenho de tarefas únicas.

• Dimensionamento horizontal: Para aumentar a simultaneidade, use a API Edition e aumente o número de réplicas em vez de selecionar um tipo de instância com várias GPUs.

Escolha uma edição de implantação

Selecione uma edição que melhor se adapta ao seu caso de uso:

Para mais informações sobre faturamento, consulte Faturamento do Elastic Algorithm Service (EAS).

Abra a interface web

Clique no nome do serviço de destino para abrir a página Overview e, em seguida, clique em Web Application no canto superior direito.

Se a página demorar muito para carregar, consulte A página congela ou demora muito para carregar .

Use um template de workflow

O ComfyUI fornece templates pré-configurados para tarefas comuns.

1. Selecione um template (por exemplo, Wan VACE Text to Video).

   Nota

   Os templates variam de acordo com as versões da imagem do ComfyUI. Se o template de exemplo não estiver disponível, selecione um template diferente ou carregue um arquivo de workflow do sistema de arquivos local.

2. Após o carregamento do workflow, você pode ver erros sobre modelos ausentes. Ignore esses erros (recomendamos selecionar a opção para não mostrar esta mensagem novamente).

3. Como os caminhos dos modelos podem ter mudado, executar o workflow diretamente pode produzir o seguinte erro:

   Prompt outputs failed validation:
   UNETLoader:
   - Value not in list: unet_name: 'wan2.1_vace_14B_fp16.safetensors' not in (list of length 200)
   LoraLoader:
   - Value not in list: lora_name: 'Wan21_CausVid_14B_T2V_lora_rank32.safetensors' not in (list of length 364)

   Na seção Load models here, selecione novamente wan2.1_vace_14B_fp16.safetensors no carregador UNET e Wan21_CausVid_14B_T2V_lora_rank32.safetensors no carregador LoRA.

4. Após a execução bem-sucedida do workflow, o vídeo gerado aparece na seção Save Video. Salve o vídeo se necessário.

Use modelos e nós personalizados

1. Certifique-se de que o serviço tenha uma montagem de armazenamento configurada. Após a implantação do serviço, o sistema cria automaticamente a seguinte estrutura de diretórios no armazenamento OSS ou NAS montado.

   data-oss/
   ├── custom_nodes/     # Custom node files (ComfyUI plugins)
   ├── models/           # Model files
   ├── input/
   ├── output/
   ├── unet/
   └── temp/

2. Faça o upload de arquivos de modelo ou nó. Por exemplo, use o OSS e faça o upload de arquivos para o OSS pelo console. Para arquivos grandes, consulte Como faço o upload de objetos grandes para o OSS?.

   • Upload de arquivos de modelo: Verifique a documentação do repositório source para o nó que usa o modelo e faça o upload do modelo para o subdiretório correspondente em models. Por exemplo:

     • Carregador de Checkpoint: Faça o upload dos modelos para models/checkpoints.

     • Carregador de modelo de estilo: Faça o upload dos modelos para models/styles.

   • Upload de arquivos de nó: Faça o upload de nós personalizados para o diretório custom_nodes no armazenamento montado.

3. Carregue o novo conteúdo.

   • Modelos: Na parte superior da página, clique em PAICustom > Load New Models. Se o modelo ainda não aparecer, clique em PAICustom > Restart Process. Após a reinicialização do processo, atualize a página do navegador.

   • Nós: Clique em Restart Process. Após a reinicialização do processo, atualize a página do navegador.

Prepare o corpo da solicitação da API

O formato do corpo da solicitação depende do método de chamada:

• Chamada síncrona: Envolva o conteúdo JSON do workflow dentro de um par chave-valor prompt.

• Chamada assíncrona: O corpo da solicitação é o próprio conteúdo JSON do workflow.

Como o workflow Wan VACE Text to Video acima consome muito tempo, fornecemos o seguinte workflow de teste para facilitar os testes (cada execução leva aproximadamente 3 minutos).

{
    "prompt": {
        "3": {
            "inputs": {
                "seed": 423988542100860,
                "steps": 40,
                "cfg": 7,
                "sampler_name": "dpmpp_sde_gpu",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "4",
                    0
                ],
                "positive": [
                    "6",
                    0
                ],
                "negative": [
                    "7",
                    0
                ],
                "latent_image": [
                    "5",
                    0
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "4": {
            "inputs": {
                "ckpt_name": "LandscapeBING_v10.safetensors"
            },
            "class_type": "CheckpointLoaderSimple",
            "_meta": {
                "title": "Checkpoint Loader (Simple)"
            }
        },
        "5": {
            "inputs": {
                "width": 720,
                "height": 1280,
                "batch_size": 1
            },
            "class_type": "EmptyLatentImage",
            "_meta": {
                "title": "Empty Latent"
            }
        },
        "6": {
            "inputs": {
                "text": "Rocket takes off from the ground, fire，sky, airplane",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "7": {
            "inputs": {
                "text": "",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "8": {
            "inputs": {
                "samples": [
                    "3",
                    0
                ],
                "vae": [
                    "4",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "9": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "images": [
                    "8",
                    0
                ]
            },
            "class_type": "SaveImage",
            "_meta": {
                "title": "Save Image"
            }
        },
        "13": {
            "inputs": {
                "seed": 788620942678235,
                "steps": 40,
                "cfg": 2.5,
                "sampler_name": "euler_ancestral",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "17",
                    0
                ],
                "positive": [
                    "16",
                    0
                ],
                "negative": [
                    "16",
                    1
                ],
                "latent_image": [
                    "16",
                    2
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "KSampler"
            }
        },
        "14": {
            "inputs": {
                "samples": [
                    "13",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "15": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "fps": 10.000000000000002,
                "lossless": false,
                "quality": 85,
                "method": "default",
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "SaveAnimatedWEBP",
            "_meta": {
                "title": "Save WEBP"
            }
        },
        "16": {
            "inputs": {
                "width": 512,
                "height": 768,
                "video_frames": 35,
                "motion_bucket_id": 140,
                "fps": 15,
                "augmentation_level": 0.15000000000000002,
                "clip_vision": [
                    "18",
                    1
                ],
                "init_image": [
                    "8",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "SVD_img2vid_Conditioning",
            "_meta": {
                "title": "SVD_Image to Video_Conditioning"
            }
        },
        "17": {
            "inputs": {
                "min_cfg": 1,
                "model": [
                    "18",
                    0
                ]
            },
            "class_type": "VideoLinearCFGGuidance",
            "_meta": {
                "title": "Linear CFG Guidance"
            }
        },
        "18": {
            "inputs": {
                "ckpt_name": "svd_xt.safetensors"
            },
            "class_type": "ImageOnlyCheckpointLoader",
            "_meta": {
                "title": "Checkpoint Loader (Image Only)"
            }
        },
        "19": {
            "inputs": {
                "frame_rate": 10,
                "loop_count": 0,
                "filename_prefix": "comfyUI",
                "format": "video/h264-mp4",
                "pix_fmt": "yuv420p",
                "crf": 20,
                "save_metadata": true,
                "trim_to_audio": false,
                "pingpong": false,
                "save_output": true,
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "VHS_VideoCombine",
            "_meta": {
                "title": "Combine to Video"
            }
        }
    }
}

{
    "3": {
        "inputs": {
            "seed": 423988542100860,
            "steps": 40,
            "cfg": 7,
            "sampler_name": "dpmpp_sde_gpu",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "4",
                0
            ],
            "positive": [
                "6",
                0
            ],
            "negative": [
                "7",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "LandscapeBING_v10.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Checkpoint Loader (Simple)"
        }
    },
    "5": {
        "inputs": {
            "width": 720,
            "height": 1280,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent"
        }
    },
    "6": {
        "inputs": {
            "text": "Rocket takes off from the ground, fire，sky, airplane",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "7": {
        "inputs": {
            "text": "",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "13": {
        "inputs": {
            "seed": 788620942678235,
            "steps": 40,
            "cfg": 2.5,
            "sampler_name": "euler_ancestral",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "17",
                0
            ],
            "positive": [
                "16",
                0
            ],
            "negative": [
                "16",
                1
            ],
            "latent_image": [
                "16",
                2
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "KSampler"
        }
    },
    "14": {
        "inputs": {
            "samples": [
                "13",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "15": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "fps": 10.000000000000002,
            "lossless": false,
            "quality": 85,
            "method": "default",
            "images": [
                "14",
                0
            ]
        },
        "class_type": "SaveAnimatedWEBP",
        "_meta": {
            "title": "Save WEBP"
        }
    },
    "16": {
        "inputs": {
            "width": 512,
            "height": 768,
            "video_frames": 35,
            "motion_bucket_id": 140,
            "fps": 15,
            "augmentation_level": 0.15000000000000002,
            "clip_vision": [
                "18",
                1
            ],
            "init_image": [
                "8",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "SVD_img2vid_Conditioning",
        "_meta": {
            "title": "SVD_Image to Video_Conditioning"
        }
    },
    "17": {
        "inputs": {
            "min_cfg": 1,
            "model": [
                "18",
                0
            ]
        },
        "class_type": "VideoLinearCFGGuidance",
        "_meta": {
            "title": "Linear CFG Guidance"
        }
    },
    "18": {
        "inputs": {
            "ckpt_name": "svd_xt.safetensors"
        },
        "class_type": "ImageOnlyCheckpointLoader",
        "_meta": {
            "title": "Checkpoint Loader (Image Only)"
        }
    },
    "19": {
        "inputs": {
            "frame_rate": 10,
            "loop_count": 0,
            "filename_prefix": "comfyUI",
            "format": "video/h264-mp4",
            "pix_fmt": "yuv420p",
            "crf": 20,
            "save_metadata": true,
            "trim_to_audio": false,
            "pingpong": false,
            "save_output": true,
            "images": [
                "14",
                0
            ]
        },
        "class_type": "VHS_VideoCombine",
        "_meta": {
            "title": "Combine to Video"
        }
    }
}

Chamadas síncronas

As chamadas síncronas enviam solicitações diretamente para a instância do serviço do PAI-EAS. Este método é adequado para desenvolvimento, testes e cenários de baixa simultaneidade.

Chamadas assíncronas

As chamadas assíncronas são projetadas para cargas de trabalho de produção com alta simultaneidade. Este método usa o serviço de fila do PAI-EAS para balanceamento de carga. As solicitações retornam imediatamente e você recupera os resultados assinando a fila de resultados.

1. Visualize as informações de chamada.

   Na aba Inference Services, clique no nome do serviço de destino para abrir a página Overview. Na seção Basic Information, clique em View Call Information. Na aba Asynchronous Call da caixa de diálogo Call Information, visualize o endpoint de acesso do serviço e o token.

   

   As seções a seguir usam <EAS_ENDPOINT> para se referir ao Internet Input Endpoint (se o chamador estiver na mesma VPC que o PAI-EAS, use o VPC Input Endpoint), e <EAS_TOKEN> para se referir ao Token.

2. Envie uma solicitação.

   Exemplo de código:

   import requests
   import json
   
   service_url = "<EAS_ENDPOINT>"
   token = "<EAS_TOKEN>"
   
   if service_url[-1] == "/":
       service_url = service_url[:-1]
   
   session = requests.session()
   session.headers.update({"Authorization":token})
   
   # Request body - workflow JSON, no need to wrap with "prompt".
   # Use triple quotes to define it as a multi-line string, otherwise you need to capitalize the boolean values (true and false) in the workflow JSON.
   payload = """{
       '3':
       ...omitted
     }
     """
   payload = json.loads(payload)
   
   for i in range(5):
     # task_id is the key identifier for matching requests and results. Assign a unique value to each request to correlate with the queue results later.
     response = session.post(url=f'{service_url}/api_prompt?task_id=txt2img_{i}', json=payload)
     if response.status_code != 200:
       exit(f"send request error:{response.content}")
     else:
       print(f"send {i} success, index is {response.content}")

3. Assine os resultados.

   1. Instale o SDK eas_prediction.

      pip install eas_prediction  --user

   2. Execute o seguinte código para recuperar o resultado.

      from eas_prediction import QueueClient
      from urllib.parse import urlparse, urlunparse
      
      service_url     = "<EAS_ENDPOINT>"
      token           = "<EAS_TOKEN>"
      
      # Parse service URL
      def parse_service_url(service_url):
          parsed = urlparse(service_url)
          service_domain = f"{parsed.scheme}://{parsed.netloc}"
          path_parts = [p for p in parsed.path.strip('/').split('/') if p]
          service_name = path_parts[-1]
          return service_domain, service_name
      
      service_domain, service_name = parse_service_url(service_url)
      print(f"service_domain: {service_domain}, service_name: {service_name}.")
      
      # Create result queue client
      sink_queue = QueueClient(service_domain, f'{service_name}/sink')
      sink_queue.set_token(token)
      sink_queue.init()
      
      # Listen for results
      watcher = sink_queue.watch(0, 5, auto_commit=False)
      for x in watcher.run():
          if 'task_id' in x.tags:
              print('index {} task_id is {}'.format(x.index, x.tags['task_id']))
          print(f'index {x.index} data is {x.data}')
          # Commit acknowledgment
          sink_queue.commit(x.index)

      Exemplo de resposta:

      index 42 task_id is txt2img_0
      index 42 data is b'[{"type": "executed", "data": {"node": "9", "output": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "15", "output": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "19", "output": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 43 task_id is txt2img_1
      index 43 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 44 task_id is txt2img_2
      index 44 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 45 task_id is txt2img_3
      index 45 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 46 task_id is txt2img_4
      index 46 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'

      Encontre os arquivos de resultado da inferência no diretório output do armazenamento montado.

Problemas de implantação

Problemas de modelos e nós

Erros de tempo de execução

Outros

Instale pacotes Python

Atualize a versão da imagem

Se o serviço tiver armazenamento OSS ou NAS montado, os modelos personalizados são armazenados no armazenamento OSS ou NAS e não são afetados por uma atualização de versão da imagem.

1. Na página de detalhes do serviço, clique em Update no canto superior direito.

2. Se o serviço foi implantado através da implantação de modelo baseada em cenários, mude para a implantação de modelo personalizado.

3. Na seção Service Configuration, edite a configuração JSON e atualize o campo image em containers para a versão desejada (por exemplo, altere 1.9 para a versão de destino).

4. Clique em Update Directly.

Gere uma URL sem necessidade de login com um período de validade personalizado

Use uma API para gerar uma URL de acesso web sem necessidade de login com um período de validade especificado.

1. Acesse a página da API DescribeServiceSignedUrl.

2. Selecione o endpoint do serviço.

3. Defina os seguintes parâmetros:

   • ClusterId (Region) e ServiceName: Insira a região e o nome do serviço.

     Na página de visão geral do serviço EAS, o campo Service Name mostra o valor de ServiceName. A região está incorporada no endereço da imagem do nó (por exemplo, cn-hangzhou corresponde ao valor da região ClusterId). Clique em View Web Application no canto superior direito para abrir o serviço.

   • Type (Page type): Selecione webview na lista suspensa.

   • Expire (Expiration time): Insira um número inteiro em segundos. O valor máximo é 43200 segundos (12 horas). Defina conforme necessário.

   • Internal (VPC access): Defina como false (acesso público) ou true (acesso VPC).

4. Clique em Call API. O campo SignedUrl na resposta contém a URL de acesso web sem necessidade de login.

Altere o idioma padrão do WebUI

Como a Cluster Edition funciona

O diagrama a seguir mostra a arquitetura:

A Cluster Edition é projetada para cenários com vários usuários. Ela introduz uma camada de proxy que desacopla os clientes das instâncias de inferência de backend.

• Cada usuário possui um ambiente de backend e um diretório de trabalho independentes, mas compartilha o pool de instâncias de inferência de GPU do backend.

• Quando um usuário envia uma solicitação de inferência, o proxy seleciona uma instância disponível no pool para lidar com a solicitação.

Este mecanismo de multiplexação por tempo isola os ambientes dos usuários, ao mesmo tempo em que maximiza a utilização dos recursos de GPU e reduz os custos de inferência em cenários com vários usuários.