Platform For AI:AI 動画生成：ComfyUI

重要な制限事項と考慮事項

リソースの無駄遣いを避け、一般的なエラーを防ぐために、デプロイ前に以下の制限事項をご確認ください。

• デプロイリソース：GU30、A10、または T4 の GPU の使用を推奨します。インスタンスタイプ ml.gu7i.c16m60.1-gu30 は、コストパフォーマンスが非常に高いです。

  重要

  各 Elastic Algorithm Service (EAS) インスタンスは、1 つの ComfyUI プロセスのみを実行し、単一の GPU (マシンごとに 1 GPU) のみをサポートします。複数の GPU を使用した並列推論はサポートされていません。複数 GPU のインスタンスタイプ (例：2*A10) を選択しないでください。これはリソースの無駄遣いとなり、単一タスクのパフォーマンスを向上させません。

• 水平スケーリング：並列処理能力を向上させるには、複数 GPU のインスタンスタイプを選択するのではなく、API 版 を使用して レプリカ数 を増やしてください。

• ストレージの準備：カスタムモデルの使用、カスタムノードのインストール、または API 経由でのサービス呼び出しには、まず Object Storage Service (OSS) バケットまたは NAS ファイルシステムを作成する必要があります。詳細については、「Object Storage Service (OSS) クイックスタート」をご参照ください。

  EAS は、ComfyUI Manager や Git Clone などのツールを使用してインターネットから直接カスタムノード (プラグイン) をインストールすることをサポートしていません。すべてのカスタムコンテンツは、ストレージボリュームをマウントしてアップロードする必要があります。

デプロイエディション

ユースケースに最も適したエディションを選択してください：

課金の詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。

Web UI へのアクセス

対象のサービス名をクリックして 概要 ページに移動し、右上隅の Web アプリケーションの表示 をクリックします。

ページの読み込みが遅い、または応答しなくなった場合は、「ページの更新に時間がかかりすぎる、または応答しなくなる」をご参照ください。

テンプレートワークフローの使用

ComfyUI は、一般的なタスクのためのテンプレートを提供しています。

1. [Wan VACE text-to-video] などのテンプレートを選択します。

   説明

   テンプレートは ComfyUI のイメージバージョンによって異なる場合があります。サンプルのテンプレートが利用できない場合は、別のテンプレートを使用できます。ローカルファイルシステムからワークフローをロードすることもできます。

2. ワークフローが正常にロードされた後、モデルが見つからないというエラーは無視できます。「このメッセージを再度表示しない」チェックボックスを選択することを推奨します。

3. パスの変更により、ワークフローを直接実行すると以下のエラーが発生する可能性があります。

   

   まず、[Load models here] セクションで、モデル wan2.1_vace_14B_fp16.safetensors と Wan21_CausVid_14B_T2V_lora_rank32.safetensors を再選択します。

   

4. ワークフローが正常に実行されると、生成された動画が [Save Video] セクションに表示されます。

カスタムモデルとノードの使用

1. サービスにストレージボリュームが設定されていることを確認します。カスタムデプロイを使用する場合、コマンドの実行 に --data-dir パラメーターを追加してディレクトリをマウントする必要があります。詳細については、「方法 2：カスタムモデルのデプロイ」をご参照ください。

   サービスのデプロイ後、システムはマウントされた OSS または NAS ストレージに以下のディレクトリ構造を自動的に作成します。

   data-oss/
   ├── custom_nodes/     # ノードファイル (ComfyUI プラグイン) を格納
   ├── models/           # モデルファイルを格納
   ├── input/
   ├── output/
   ├── unet/
   └── temp/

2. モデルまたはノードファイルをアップロードします。例えば、OSS の場合、コンソールで OSS にファイルをアップロードできます。ラージオブジェクトについては、「OSS にラージオブジェクトをアップロードするにはどうすればよいですか？」をご参照ください。

   • モデルファイルのアップロード：ノードのソースリポジトリの指示に従い、models ディレクトリ以下の対応するサブディレクトリにモデルをアップロードします。例：

     • チェックポイントローダー：モデルを models/checkpoints にアップロードします。

     • スタイルモデルローダー：モデルを models/styles にアップロードします。

   • ノードファイルのアップロード：カスタムノードをマウントされたストレージボリューム上の custom_nodes ディレクトリにアップロードすることを推奨します。

3. 新しいコンテンツをロードします。

   • モデル：[PaiCustom] > [Load New Models] をクリックします。それでもモデルが見つからない場合は、[Restart Process] をクリックします。プロセスが正常に再起動した後、ブラウザページをリフレッシュします。

   • ノード：[Restart Process] をクリックします。プロセスが正常に再起動した後、ブラウザページをリフレッシュします。

ワークフローのエクスポート

Web UI でワークフローをデバッグした後、API 呼び出しで使用するために JSON ファイルとして保存します。

API 呼び出しの概要

API 呼び出しをサービスに対して行うことで、ComfyUI をアプリケーションに統合し、AIGC コンテンツの生成を自動化できます。コアプロセスは、ワークフローの JSON 設定を送信し、タスク ID を受け取り、その ID を使用して生成された結果を取得することです。

前提条件：ComfyUI API 呼び出しのリクエストボディは、ワークフローに依存します。まず、WebUI でワークフローを設定し、ワークフローを JSON ファイルとしてエクスポートします。

結果のダウンロード：生成された画像や動画は、マウントされた output ディレクトリに保存されます。API 呼び出しはファイル名とサブディレクトリ名を返します。OSS の場合、ファイルをダウンロードするには完全なファイルパスを構築する必要があります。詳細については、「Alibaba Cloud SDK を使用して OSS からファイルをダウンロードする」をご参照ください。

API リクエストボディ

リクエストボディの形式は、呼び出しメソッドによって異なります：

• 同期呼び出しの場合、リクエストボディはワークフローの JSON コンテンツを prompt キー内にラップする必要があります。

• 非同期呼び出しの場合、リクエストボディはワークフローの JSON コンテンツそのものです。

Wan VACE Text to Video ワークフローは時間がかかるため、このセクションではテスト用のサンプルワークフローを提供します。実行には約 3 分かかります。

{
    "prompt": {
        "3": {
            "inputs": {
                "seed": 423988542100860,
                "steps": 40,
                "cfg": 7,
                "sampler_name": "dpmpp_sde_gpu",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "4",
                    0
                ],
                "positive": [
                    "6",
                    0
                ],
                "negative": [
                    "7",
                    0
                ],
                "latent_image": [
                    "5",
                    0
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "K Sampler"
            }
        },
        "4": {
            "inputs": {
                "ckpt_name": "LandscapeBING_v10.safetensors"
            },
            "class_type": "CheckpointLoaderSimple",
            "_meta": {
                "title": "Checkpoint Loader (Simple)"
            }
        },
        "5": {
            "inputs": {
                "width": 720,
                "height": 1280,
                "batch_size": 1
            },
            "class_type": "EmptyLatentImage",
            "_meta": {
                "title": "Empty Latent"
            }
        },
        "6": {
            "inputs": {
                "text": "Rocket takes off from the ground, fire, sky, airplane",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "7": {
            "inputs": {
                "text": "",
                "speak_and_recognation": {
                    "__value__": [
                        false,
                        true
                    ]
                },
                "clip": [
                    "4",
                    1
                ]
            },
            "class_type": "CLIPTextEncode",
            "_meta": {
                "title": "CLIP Text Encoder"
            }
        },
        "8": {
            "inputs": {
                "samples": [
                    "3",
                    0
                ],
                "vae": [
                    "4",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "9": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "images": [
                    "8",
                    0
                ]
            },
            "class_type": "SaveImage",
            "_meta": {
                "title": "Save Image"
            }
        },
        "13": {
            "inputs": {
                "seed": 788620942678235,
                "steps": 40,
                "cfg": 2.5,
                "sampler_name": "euler_ancestral",
                "scheduler": "karras",
                "denoise": 1,
                "model": [
                    "17",
                    0
                ],
                "positive": [
                    "16",
                    0
                ],
                "negative": [
                    "16",
                    1
                ],
                "latent_image": [
                    "16",
                    2
                ]
            },
            "class_type": "KSampler",
            "_meta": {
                "title": "K Sampler"
            }
        },
        "14": {
            "inputs": {
                "samples": [
                    "13",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "VAEDecode",
            "_meta": {
                "title": "VAE Decode"
            }
        },
        "15": {
            "inputs": {
                "filename_prefix": "ComfyUI",
                "fps": 10.000000000000002,
                "lossless": false,
                "quality": 85,
                "method": "default",
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "SaveAnimatedWEBP",
            "_meta": {
                "title": "Save WEBP"
            }
        },
        "16": {
            "inputs": {
                "width": 512,
                "height": 768,
                "video_frames": 35,
                "motion_bucket_id": 140,
                "fps": 15,
                "augmentation_level": 0.15000000000000002,
                "clip_vision": [
                    "18",
                    1
                ],
                "init_image": [
                    "8",
                    0
                ],
                "vae": [
                    "18",
                    2
                ]
            },
            "class_type": "SVD_img2vid_Conditioning",
            "_meta": {
                "title": "SVD Image to Video Conditioning"
            }
        },
        "17": {
            "inputs": {
                "min_cfg": 1,
                "model": [
                    "18",
                    0
                ]
            },
            "class_type": "VideoLinearCFGGuidance",
            "_meta": {
                "title": "Linear CFG Guidance"
            }
        },
        "18": {
            "inputs": {
                "ckpt_name": "svd_xt.safetensors"
            },
            "class_type": "ImageOnlyCheckpointLoader",
            "_meta": {
                "title": "Checkpoint Loader (Image Only)"
            }
        },
        "19": {
            "inputs": {
                "frame_rate": 10,
                "loop_count": 0,
                "filename_prefix": "comfyUI",
                "format": "video/h264-mp4",
                "pix_fmt": "yuv420p",
                "crf": 20,
                "save_metadata": true,
                "trim_to_audio": false,
                "pingpong": false,
                "save_output": true,
                "images": [
                    "14",
                    0
                ]
            },
            "class_type": "VHS_VideoCombine",
            "_meta": {
                "title": "Combine to Video"
            }
        }
    }
}

{
    "3": {
        "inputs": {
            "seed": 423988542100860,
            "steps": 40,
            "cfg": 7,
            "sampler_name": "dpmpp_sde_gpu",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "4",
                0
            ],
            "positive": [
                "6",
                0
            ],
            "negative": [
                "7",
                0
            ],
            "latent_image": [
                "5",
                0
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "K Sampler"
        }
    },
    "4": {
        "inputs": {
            "ckpt_name": "LandscapeBING_v10.safetensors"
        },
        "class_type": "CheckpointLoaderSimple",
        "_meta": {
            "title": "Checkpoint Loader (Simple)"
        }
    },
    "5": {
        "inputs": {
            "width": 720,
            "height": 1280,
            "batch_size": 1
        },
        "class_type": "EmptyLatentImage",
        "_meta": {
            "title": "Empty Latent"
        }
    },
    "6": {
        "inputs": {
            "text": "Rocket takes off from the ground, fire, sky, airplane",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "7": {
        "inputs": {
            "text": "",
            "speak_and_recognation": {
                "__value__": [
                    false,
                    true
                ]
            },
            "clip": [
                "4",
                1
            ]
        },
        "class_type": "CLIPTextEncode",
        "_meta": {
            "title": "CLIP Text Encoder"
        }
    },
    "8": {
        "inputs": {
            "samples": [
                "3",
                0
            ],
            "vae": [
                "4",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "9": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "images": [
                "8",
                0
            ]
        },
        "class_type": "SaveImage",
        "_meta": {
            "title": "Save Image"
        }
    },
    "13": {
        "inputs": {
            "seed": 788620942678235,
            "steps": 40,
            "cfg": 2.5,
            "sampler_name": "euler_ancestral",
            "scheduler": "karras",
            "denoise": 1,
            "model": [
                "17",
                0
            ],
            "positive": [
                "16",
                0
            ],
            "negative": [
                "16",
                1
            ],
            "latent_image": [
                "16",
                2
            ]
        },
        "class_type": "KSampler",
        "_meta": {
            "title": "K Sampler"
        }
    },
    "14": {
        "inputs": {
            "samples": [
                "13",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "VAEDecode",
        "_meta": {
            "title": "VAE Decode"
        }
    },
    "15": {
        "inputs": {
            "filename_prefix": "ComfyUI",
            "fps": 10.000000000000002,
            "lossless": false,
            "quality": 85,
            "method": "default",
            "images": [
                "14",
                0
            ]
        },
        "class_type": "SaveAnimatedWEBP",
        "_meta": {
            "title": "Save WEBP"
        }
    },
    "16": {
        "inputs": {
            "width": 512,
            "height": 768,
            "video_frames": 35,
            "motion_bucket_id": 140,
            "fps": 15,
            "augmentation_level": 0.15000000000000002,
            "clip_vision": [
                "18",
                1
            ],
            "init_image": [
                "8",
                0
            ],
            "vae": [
                "18",
                2
            ]
        },
        "class_type": "SVD_img2vid_Conditioning",
        "_meta": {
            "title": "SVD Image to Video Conditioning"
        }
    },
    "17": {
        "inputs": {
            "min_cfg": 1,
            "model": [
                "18",
                0
            ]
        },
        "class_type": "VideoLinearCFGGuidance",
        "_meta": {
            "title": "Linear CFG Guidance"
        }
    },
    "18": {
        "inputs": {
            "ckpt_name": "svd_xt.safetensors"
        },
        "class_type": "ImageOnlyCheckpointLoader",
        "_meta": {
            "title": "Checkpoint Loader (Image Only)"
        }
    },
    "19": {
        "inputs": {
            "frame_rate": 10,
            "loop_count": 0,
            "filename_prefix": "comfyUI",
            "format": "video/h264-mp4",
            "pix_fmt": "yuv420p",
            "crf": 20,
            "save_metadata": true,
            "trim_to_audio": false,
            "pingpong": false,
            "save_output": true,
            "images": [
                "14",
                0
            ]
        },
        "class_type": "VHS_VideoCombine",
        "_meta": {
            "title": "Combine to Video"
        }
    }
}

同期呼び出し

同期呼び出しは、リクエストを直接 Elastic Algorithm Service (EAS) インスタンスに送信します。この方法は、開発、テスト、および低同時実行数のシナリオに適しています。

非同期呼び出し

非同期呼び出しは、高同時実行数の本番環境に適しています。負荷分散のために EAS キューサービスを使用します。リクエストは送信後すぐに返され、結果キューをサブスクライブすることで結果を取得します。

1. 呼び出し情報を表示します。

   オンライン推論サービス タブで、対象のサービス名をクリックして 概要 ページを開きます。基本情報 セクションで、エンドポイント情報の表示 をクリックします。呼び出し情報 ダイアログボックスの 非同期呼び出し タブで、サービスのエンドポイントとトークンを表示できます。

   このドキュメントでは、<EAS_ENDPOINT> は インターネット 呼び出しアドレス (またはクライアントと EAS が同じ VPC にある場合は VCP 呼び出しアドレス) を指し、<EAS_TOKEN> は トークン を指します。

2. リクエストを送信します。

   以下はサンプルコードスニペットです：

   import requests
   import json
   
   service_url = "<EAS_ENDPOINT>"
   token = "<EAS_TOKEN>"
   
   if service_url.endswith("/"):
       service_url = service_url[:-1]
   
   session = requests.session()
   session.headers.update({"Authorization":token})
   
   # ペイロードは有効な JSON である必要があります。キーと文字列の値は二重引用符 ("") を使用する必要があります。
   payload = """{
       '3': 
       ...省略
     }
     """
   payload = json.loads(payload)
   
   for i in range(5):
     # 'task_id' パラメーターはリクエストと結果を一致させるために重要です。各リクエストに一意の ID を割り当てます。
     response = session.post(url=f'{service_url}/api_prompt?task_id=txt2img_{i}', json=payload)
     if response.status_code != 200:
       exit(f"send request error:{response.content}")
     else:
       print(f"send {i} success, index is {response.content}")

3. 結果をサブスクライブします。

   1. eas_prediction SDK をインストールします。

      pip install eas_prediction --user

   2. 以下のコードを実行して結果を取得します。

      from eas_prediction import QueueClient
      from urllib.parse import urlparse, urlunparse
      
      service_url     = "<EAS_ENDPOINT>"
      token           = "<EAS_TOKEN>"
      
      # サービス URL を解析する
      def parse_service_url(service_url):
          parsed = urlparse(service_url)
          service_domain = f"{parsed.scheme}://{parsed.netloc}"
          path_parts = [p for p in parsed.path.strip('/').split('/') if p]
          service_name = path_parts[-1]
          return service_domain, service_name
      
      service_domain, service_name = parse_service_url(service_url)
      print(f"service_domain: {service_domain}, service_name: {service_name}.")
         
      # 結果キュークライアントを作成する
      sink_queue = QueueClient(service_domain, f'{service_name}/sink')
      sink_queue.set_token(token)
      sink_queue.init()
      
      # 結果をリッスンする
      watcher = sink_queue.watch(0, 5, auto_commit=False)
      for x in watcher.run():
          if 'task_id' in x.tags:
              print('index {} task_id is {}'.format(x.index, x.tags['task_id']))
          print(f'index {x.index} data is {x.data}')
          # 受信を確認するためにコミットする
          sink_queue.commit(x.index)

      以下は応答のサンプルです：

      index 42 task_id is txt2img_0
      index 42 data is b'[{"type": "executed", "data": {"node": "9", "output": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "15", "output": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"type": "executed", "data": {"node": "19", "output": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}, "prompt_id": "c3c983b6-f92b-4dd5-b4dc-442db4d1736f"}}, {"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 43 task_id is txt2img_1
      index 43 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 44 task_id is txt2img_2
      index 44 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 45 task_id is txt2img_3
      index 45 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'
      index 46 task_id is txt2img_4
      index 46 data is b'[{"9": {"images": [{"filename": "ComfyUI_1712647318_8e7f3c93-d2a8-4377-92d5-8eb552adc172_.png", "subfolder": "", "type": "output"}]}, "15": {"images": [{"filename": "ComfyUI_1712647895_.webp", "subfolder": "", "type": "output"}], "animated": [true]}, "19": {"gifs": [{"filename": "comfyUI_00001.mp4", "subfolder": "", "type": "output", "format": "video/h264-mp4"}]}}]'

      推論結果ファイルは、マウントされたストレージの output ディレクトリで確認できます。

デプロイの問題

モデルとノードの問題

実行時の例外

その他

Python パッケージのインストール

イメージバージョンの更新

サービスに OSS または NAS からストレージがマウントされている場合、カスタムモデルはそのストレージに保存されます。イメージバージョンを更新しても、既存のカスタムモデルには影響しません。

1. サービス詳細ページの右上隅で、更新 をクリックします。

2. サービスがシナリオベースのデプロイでデプロイされた場合は、カスタムデプロイに切り替えます。

3. 対応する JSON 設定 セクションで、JSON 構成を編集し、containers の image フィールドを更新します。たとえば、図に示すように 1.9 を目的のバージョンに変更します。

4. [今すぐ更新] をクリックします。

署名付き URL の有効期間の延長

API を呼び出して、指定した有効期間を持つ署名付き Web アクセス URL を取得できます。

1. DescribeServiceSignedUrl API ページに移動します。

2. リージョンを選択します。

3. パラメーターを設定します：

   • ClusterId (リージョン) と ServiceName：サービスのリージョンと名前を入力します。この情報は EAS サービスの概要ページで確認できます。

     

   • Type：ドロップダウンリストから webview を選択します。

   • Expire：秒単位の整数値を入力します。最大有効期間は 43,200 秒 (12 時間) です。必要に応じてこの値を設定することを推奨します。

   • Internal：パブリックアクセスには false を、VPC アクセスには true を設定します。

4. [呼び出しを開始] をクリックします。応答の SignedUrl が、サービスへのログイン不要の Web アクセス用 URL です。

WebUI のデフォルト言語の変更

クラスターサービスのアーキテクチャ

以下の図はアーキテクチャを示しています：

複数ユーザーシナリオ向けに設計されたクラスター版サービスは、クライアントとバックエンドの GPU 高速化推論インスタンスを分離するためにプロキシレイヤーを導入しています。

• 各ユーザーは隔離されたバックエンド環境と作業ディレクトリを持ちますが、バックエンドの GPU 高速化推論インスタンスの共通プールを共有します。

• ユーザーが推論リクエストを開始すると、プロキシはプールからアイドル状態のインスタンスを選択してリクエストを処理します。

このタイムシェアリングメカニズムにより、ユーザー環境の隔離が確保され、GPU リソースの利用率が向上し、複数ユーザーシナリオでの推論コストが削減されます。