Buat video transfer gaya AI dengan ComfyUI & WanVideo di PAI - PAI - Alibaba Cloud - Platform For AI

Topik ini menjelaskan cara menggunakan tool ComfyUI.

Login ke Konsol PAI ArtLab.

Prasyarat

Anda telah menyelesaikan Aktivasi dan Otorisasi PAI ArtLab.
(Opsional) Anda telah mengklaim resource uji coba gratis atau kupon, atau membeli paket sumber daya. Untuk informasi selengkapnya, lihat Penagihan PAI ArtLab.

Gunakan resource, kupon, atau paket sumber daya tersebut dalam periode validitasnya. Untuk informasi selengkapnya, lihat Lihat Penggunaan dan Periode Validitas Anda.

Prosedur

Bagian ini menjelaskan cara menggunakan ComfyUI (Edisi Shared) untuk menghasilkan gambar style transfer, lalu membuat video dari gambar tersebut.

Login ke PAI ArtLab. Di pojok kanan atas, arahkan kursor ke ikon dan pilih wilayah China (Shanghai).
Pada halaman Toolbox, klik kartu ComfyUI (Shared Edition) untuk memulai tool tersebut.
Hasilkan gambar style transfer.
1. Seret file alur kerja contoh ke antarmuka ComfyUI.
2. Di area Upload Style Image ①, unggah gambar gaya contoh. Di area Upload Style Image ②, unggah gambar bangunan contoh. Kemudian, klik execute dan tunggu hingga gambar selesai dihasilkan.

Hasilkan video.

Pada halaman alur kerja, klik ikon untuk menelusuri templat contoh.
Pilih ComfyUI-WanVideoWrapper > wanvideo_480p_I2V_example_01.

Konfigurasikan parameter berikut.

Node	Description
#22 WanVideoWrapper (WanVideo Model Loader)	Atur model menjadi WanVideo/Wan2_1-I2V-14B-480P_fp8_e4m3fn.safetensors.
#16 WanVideoWrapper (WanVideo TextEncode)	`This iconic building is completely covered by beautiful pink flowers, lush green leaves, intricate vines, spring garden aesthetics, as well as falling petals and fluttering butterflies. Surrealism, rich details, warm sunshine, 8K resolution, realistic natural and architectural scenes, advanced aesthetics, surrealism, high quality, and ultra clarity.`
#21 WanVideoWrapper (WanVideo VAE Loader)	Atur model_name menjadi WanVideo_1_VAE_bf16.safetensors.
#18 (Load Image)	Klik upload untuk memuat gambar style transfer yang telah dihasilkan.

Klik execute dan tunggu hingga video selesai dihasilkan.

Operasi terkait

Model pihak ketiga dan node kustom (plug-in ComfyUI)

Hanya ComfyUI (Edisi Eksklusif) yang mendukung model pihak ketiga dan node kustom.
Buka direktori Object Storage Service (OSS) yang dipasang ke alur kerja Anda. Di pojok kanan atas, klik ikon , lalu klik tautan bucket penyimpanan.

Jalur OSS memiliki struktur direktori sebagai berikut:
- custom_nodes: Direktori ini digunakan untuk menyimpan file node.
  - Contoh: Untuk menginstal node pihak ketiga, unduh paket library-nya dari platform pihak ketiga dan unggah ke direktori custom_nodes. Misalnya, unduh folder ComfyUI_FlashVSR-main, yaitu library untuk node tertentu, lalu unggah ke direktori custom_nodes.
- models: Direktori ini digunakan untuk menyimpan file model.
  - Contoh 1: Model yang dibutuhkan oleh library node.
    - Seperti disebutkan sebelumnya, library node umumnya melibatkan berbagai model. Agar node dapat berjalan dengan benar, unduh dan unggah model yang diperlukan. Seperti yang ditunjukkan pada gambar berikut, unggah model yang sesuai ke subdirektori FlashVSR dan vae dalam direktori models. Untuk file model yang ditampilkan pada gambar, unggah semuanya ke models/FlashVSR dan models/vae.
  - Contoh 2: Alur kerja melaporkan model tidak ditemukan.
    - Misalnya, error berikut terjadi karena platform tidak dapat terhubung ke internet publik secara default. Untuk mengatasinya, tambahkan model ke direktori models. Sebagai contoh, tambahkan model depth_anything_v2_vits_fp16.safetensors ke direktori models/depthanything/ di OSS.
    - Jika direktori yang diperlukan belum ada di bucket OSS Anda, buatlah direktori tersebut.
Muat model atau node baru.

Setelah mengunggah model ke storage space yang dipasang, klik PaiCustom > load new model. Jika model tidak muncul, klik restart process. Setelah proses dimulai ulang, refresh browser Anda.

Setelah mengunggah file node, klik restart process. Setelah proses dimulai ulang, refresh browser Anda.

Jika model atau node baru masih tidak ditemukan, buka Developer Center di panel navigasi kiri, temukan layanan ComfyUI yang sesuai, Stop layanan tersebut, lalu Start kembali.
Unggah file model atau node. Anda dapat mengunggah file ke OSS melalui konsol. Untuk file besar, lihat Cara mengunggah objek besar ke OSS?.