PAI での ComfyUI と WanVideo による AI スタイル変換動画作成 - PAI - Alibaba Cloud - Platform For AI

このトピックでは、ComfyUI ツールの使用方法について説明します。

PAI ArtLab コンソールにログインします。

前提条件

PAI ArtLab を有効化し、必要な権限を付与しました。詳細については、「PAI ArtLab を有効化して権限を付与する」をご参照ください。
（オプション）無料トライアルリソースまたはクーポンを取得済み、またはリソースプランを購入済みである必要があります。詳細については、「PAI ArtLab の課金」をご参照ください。
無料トライアルリソース、クーポン、またはリソースプランは、有効期間内にご利用ください。詳細については、「使用量と有効期間の確認」をご参照ください。

操作手順

このセクションでは、ComfyUI (Shared Edition) を使用してスタイル転送画像を生成し、その画像から動画を作成する方法を説明します。

PAI ArtLab にログインします。右上隅でアイコンにカーソルを合わせ、China (Shanghai) リージョンを選択します。
toolbox ページで、ComfyUI (Shared Edition) カードをクリックしてツールを起動します。
スタイル転送画像を生成します。
1. サンプルワークフローファイルを ComfyUI インターフェイスにドラッグします。
2. Upload Style Image ① エリアにサンプルスタイル画像をアップロードします。Upload Style Image ② エリアにサンプル建物画像をアップロードします。その後、Execute をクリックして、画像の生成が完了するまで待ちます。

動画を生成します。

ワークフローページで、アイコンをクリックしてサンプルテンプレートを参照します。
ComfyUI-WanVideoWrapper > wanvideo_480p_I2V_example_01 を選択します。

以下のパラメーターを設定します。

ノード	説明
#22 WanVideoWrapper (WanVideo Model Loader)	model には、WanVideo/Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors を選択します。
#16 WanVideoWrapper (WanVideo TextEncode)	`This iconic building is completely covered by beautiful pink flowers, lush green leaves, intricate vines, spring garden aesthetics, as well as falling petals and fluttering butterflies. Surrealism, rich details, warm sunshine, 8K resolution, realistic natural and architectural scenes, advanced aesthetics, surrealism, high quality, and ultra clarity.`
#21 WanVideoWrapper (WanVideo VAE Loader)	model_name には、WanVideo_1_VAE_bf16.safetensors を選択します。
#18 (Load Image)	upload をクリックして、生成したスタイル転送画像を選択します。

Execute をクリックして、動画の生成が完了するまで待ちます。

関連操作

使用サードパーティのモデルとカスタムノード

ComfyUI (Exclusive Edition) を使用していることを確認してください。ComfyUI (Shared Edition) は、サードパーティ製モデルおよびカスタムノードをサポートしていません。
ワークフローにマウントされている OSS ストレージディレクトリに移動します。右上隅でアイコンをクリックし、ストレージバケットへのリンクをクリックします。
OSS パスには、以下のディレクトリ構造が含まれます。
このディレクトリには、custom_nodes/、input/、models/、output/、temp/、および unet/ サブディレクトリが含まれます。
- custom_nodes：このディレクトリにはノードファイルを格納します。
  - 例：サードパーティ製ノードをインストールするには、そのライブラリパッケージをダウンロードし、フォルダを custom_nodes ディレクトリにアップロードします。たとえば、ComfyUI_FlashVSR-main という名前のフォルダをダウンロードし、ご利用の custom_nodes ディレクトリにアップロードします。GitHub リポジトリページでは、Code > Download ZIP をクリックしてパッケージを取得できます。ダウンロードした ZIP ファイルを解凍すると、ノードフォルダが見つかります。
- models：このディレクトリにはモデルファイルを格納します。
  - 例 1： ノードライブラリが依存するモデル
    - 前述のように、ノードライブラリはさまざまなモデルを使用することがあります。ノードを正しく実行するには、必要なモデルをダウンロードしてアップロードする必要があります。対応するモデルを models ディレクトリ内のサブディレクトリ（FlashVSR ディレクトリおよび vae ディレクトリ）にアップロードします。上記のすべてのモデルファイルは、models/FlashVSR および models/vae にアップロードする必要があります。
```
ComfyUI/models/FlashVSR
├── LQ_proj_in.ckpt                                          # v1.1 or v1.0
├── TDecoder.ckpt
├── diffusion_pytorch_model_streaming_dmd.safetensors         # v1.1 or v1.0
├── posi_prompt.pth
ComfyUI/models/vae
├── Wan2.1_VAE.pth                                           # or safetensors
├── lightvae2_1.pth                                          # 32.2M or taev2_1.pth, lighttaev2_1.pth
├── Wan2.1_VAE_upscale2x_imageonly_real_v1_diff.safetensors   # rename from diffusion_p
```
  - 例 2： ワークフローでモデル不足エラーが発生する場合
    - モデル不足エラーは、プラットフォームがデフォルトでパブリックインターネットに接続できないために発生することがよくあります。これを解決するには、必要なモデルを models ディレクトリに追加します。たとえば、depth_anything_v2_vits_fp16.safetensors モデルが不足している場合は、OSS の models/depthanything/ ディレクトリに追加します。エラーメッセージには、モデルを必要とするノード（例：DownloadAndLoadDepthAnythingV2Model）および完全なファイルパスが記載されています。
    - 必要なパスが OSS に存在しない場合は、作成してください。
新しいモデルまたはノードの読み込み
マウントされたストレージスペースにモデルをアップロードした後、PaiCustom > Load New Model をクリックします。モデルが見つからない場合は、Restart Process をクリックします。プロセスが再起動したら、ブラウザページをリフレッシュします。
ノードファイルをアップロードした後は、Restart Process をクリックします。プロセスが再起動したら、ブラウザページをリフレッシュします。
新しいモデルまたはノードが引き続き見つからない場合は、左側のナビゲーションウィンドウで デベロッパーセンター をクリックします。該当する ComfyUI サービスを見つけ、Stop してから、Start し直してください。
モデルまたはノードファイルのアップロード コンソールを使用して OSS にファイルをアップロードできます。大容量ファイルの場合は、「OSS へのラージオブジェクトのアップロード方法」をご参照ください。

ワークフローのエクスポート

Shared edition (新 UI)

Workflow > Export (API) をクリックして、ワークフローを API 形式でエクスポートします。Export をクリックして、ワークフローを元の形式でエクスポートします。

Shared edition (旧 UI)

Save (API format) をクリックして、ワークフローを API 形式でエクスポートします。Save をクリックして、ワークフローを元の形式でエクスポートします。

Exclusive edition

Export (API) をクリックして、ワークフローを API 形式でエクスポートします。Export をクリックして、ワークフローを元の形式でエクスポートします。

UI バージョンの切り替え

旧 UI から新 UI への切り替え：
Settings ダイアログボックスを開きます。左側のペインで Comfy を選択します。右側の Region settings エリアで、ドロップダウンリストから New を選択します。
新 UI から旧 UI への切り替え：
Settings ダイアログボックスを開き、Comfy セクションに移動します。Region settings エリアで、ドロップダウンリストから Old を選択します。

ComfyUI API 統合の検証

詳細については、「PAI ArtLab デベロッパーセンター使用ガイド」をご参照ください。