All Products
Search

This Product

    Platform For AI:Penyulingan teks-ke-video

    Document Center

    Platform For AI:Penyulingan teks-ke-video

    Last Updated:Sep 30, 2026

    Templat penyulingan teks-ke-video membangun set data SFT berpasangan teks-video berkualitas tinggi dalam skala besar. Dimulai dari kumpulan kecil prompt seed, templat ini menjalankan pipeline yang mencakup augmentasi prompt, generasi video, dan penilaian tingkat frame untuk menghasilkan data pelatihan bagi fine-tuning model teks-ke-video.

    Ikhtisar templat

    Templat ini menghasilkan data pelatihan teks-ke-video dalam skala besar. Dimulai dari kumpulan kecil prompt seed, templat ini melakukan augmentasi dan diversifikasi prompt, menyelaraskannya dengan format instruksi model generasi, menggunakan model teks-ke-video untuk menghasilkan video secara batch, lalu menilai video yang dihasilkan berdasarkan konsistensi prompt, kualitas visual, dan konsistensi subjek. Sampel berkualitas rendah disaring sehingga menghasilkan set data SFT teks-ke-video yang siap untuk fine-tuning.

    Penting

    Templat ini hanya mendukung satu tahap: konstruksi data penyulingan. Templat ini tidak mencakup tahap pelatihan model siswa.

    Pipeline penyulingan teks-ke-video terdiri dari langkah-langkah berikut:

    Langkah

    Nama

    Deskripsi

    1

    Data augmentation

    Mengaugmentasi kumpulan kecil prompt seed menjadi kumpulan prompt video yang lebih besar dan beragam, lalu menyeimbangkan dan menyaringnya.

    2

    Data filtering

    Menyaring dan menyeimbangkan prompt yang telah diaugmentasi untuk mempertahankan sampel berkualitas tinggi.

    3

    Instruction alignment

    Menyelaraskan prompt dengan templat instruksi yang disukai oleh model generasi.

    4

    Teacher generation

    Model teks-ke-video menghasilkan video secara batch dari prompt yang telah diselaraskan.

    5

    Quality scoring

    Menilai video yang dihasilkan melalui pengambilan sampel frame berdasarkan dimensi seperti konsistensi prompt, kualitas visual, dan konsistensi subjek.

    6

    Quality filtering

    Menyaring sampel berkualitas rendah berdasarkan ambang batas. Outputnya adalah set data SFT teks-ke-video yang siap untuk fine-tuning.

    Prosedur

    1. Masuk ke Konsol PAI. Di panel navigasi sebelah kiri, pilih Model Application > Model Distillation (ModelDistill).

    2. Klik Create task untuk membuka tab Distillation Template, atau langsung buka tab Distillation Template.

    3. Pilih Text-to-Video Distillation, klik Use Template, lalu buka halaman Create Distillation Task. Konfigurasikan parameter utama yang dijelaskan di bawah ini dan pertahankan nilai default untuk pengaturan lainnya.

    4. Konfigurasikan Basic Configuration:

      • Task name: Diisi otomatis oleh sistem.

      • Output Path: Tentukan path OSS yang memiliki izin akses, misalnya oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/t2v-distill/.

        Catatan

        Buat direktori output terpisah untuk setiap tugas penyulingan agar file tidak saling menimpa. Bucket OSS harus berada di Wilayah yang sama dengan layanan PAI.

    5. Klik Next untuk membuka Build distillation data:

      • Teacher model: Penyulingan teks-ke-video memerlukan tiga model guru (model instruction builder wajib; model teks-ke-video dan model juri opsional). Lihat bagian Parameter konfigurasi di bawah untuk detail selengkapnya.

      • Dataset: Pilih direktori atau file OSS yang memiliki izin akses. Anda dapat mengunduh dan menggunakan data sampel.

      • Distillation Configuration: Nilai default telah diisi sebelumnya. Ubah sesuai kebutuhan.

        • generation.resolution: Resolusi video. Default: 720P. Nilai yang didukung: 480P, 720P, 1080P. Resolusi yang lebih tinggi meningkatkan biaya generasi.

        • generation.duration: Durasi video dalam detik. Default: 5. Rentang valid: [3, 15].

      • Compute Resource: Atur Resource Type ke General Computing, atur Source ke Public Resources, lalu pilih Instance Type yang sesuai dari Job Resource, misalnya ecs.c6.large.

    6. Klik Create, lalu klik OK pada dialog konfirmasi penagihan. Halaman akan dialihkan ke halaman konfigurasi dasar detail tugas, tempat Anda dapat melacak status tugas.

    Parameter konfigurasi

    Bagian ini menjelaskan parameter konfigurasi utama yang spesifik untuk templat penyulingan teks-ke-video. Konfigurasi dasar dan konfigurasi resource sama seperti penyulingan umum. Hanya perbedaan parameter khusus templat yang tercantum di sini.

    Konfigurasi dasar

    Konfigurasi dasar mencakup nama tugas dan path output. Path output merupakan direktori root untuk semua artefak tugas, termasuk set data penyulingan. Anda tidak perlu menentukan path output terpisah untuk set data.

    Konstruksi data penyulingan

    Teacher model

    Templat penyulingan teks-ke-video memerlukan beberapa model guru, masing-masing memainkan peran berbeda dalam pipeline:

    No.

    Peran model

    Deskripsi

    1

    Instruction-Building Model (wajib)

    Model bahasa teks atau vision language model yang bertanggung jawab atas augmentasi prompt dan penyelarasan instruksi. Pilih model dengan kemampuan kuat dalam mengikuti instruksi dan deskriptif.

    2

    Text-to-Video Model (wajib)

    Model guru yang menghasilkan video sesungguhnya. Generasi video berjalan lambat — satu video bisa memakan waktu hingga 30 menit.

    3

    Judge Model (opsional)

    Vision language model yang menilai video yang dihasilkan melalui pengambilan sampel frame. Jika dibiarkan kosong, model instruction builder akan digunakan kembali. Namun, model berbasis teks biasanya tidak dapat mengurai frame video — tentukan model terpisah.

    Dataset

    Pilih direktori atau file input. Persyaratan format data sebagai berikut:

    • Format: JSONL, satu seed prompt video per baris.

    • Bidang prompt harus diberi nama prompt.

    • Hanya prompt teks yang didukung. Jangan sertakan bidang gambar.

    Data sampel:

    {"id": "t2v_001", "prompt": "A cat walks slowly across the lunar surface, kicking up fine dust, static camera"}
{"id": "t2v_002", "prompt": "Slow push-in on a rainy cyberpunk street at night, neon signs flickering in the reflections"}

    Konfigurasi penyulingan

    Konfigurasi penyulingan disediakan dalam format YAML dengan nilai default yang direkomendasikan oleh tim algoritma. Sesuaikan parameter sesuai kebutuhan. Tabel berikut menjelaskan parameter utama.

    Bagian

    Deskripsi

    backend

    Parameter permintaan untuk model instruction builder.

    • timeout (default: 1200.0): Waktu tunggu maksimum per permintaan dalam detik. Nilai ini harus dapat mengakomodasi tanggapan yang mengisi max_tokens, bukan hanya tanggapan dengan panjang rata-rata. Jika default 120 detik tetap digunakan, tanggapan normal yang panjang akan dianggap sebagai waktu habis.

    t2v_backend

    Parameter permintaan untuk model teks-ke-video.

    • max_poll_wait (default: 1800.0): Teks-ke-video merupakan tugas asinkron. Ini adalah waktu tunggu maksimum dalam detik untuk satu video. Generasi video jauh lebih lambat dibandingkan generasi gambar.

    generation

    • resolution (default: 720P): Resolusi video. Nilai yang didukung: 480P, 720P, 1080P. Resolusi dan durasi yang lebih tinggi meningkatkan biaya dan waktu generasi per video.

    • duration (default: 5): Durasi video dalam detik bilangan bulat. Rentang valid: [3, 15].

    • max_workers (default: 1): Jumlah pekerja generasi video konkuren. Generasi video mahal dan lambat — pertahankan konkurensi rendah.

    eval

    Penilaian video menggunakan VLM (vision language model) untuk menilai melalui pengambilan sampel frame.

    • Dimensi penilaian (metrics): prompt_consistency, visual_quality, dan subject_consistency.

    • frame_sample_count (default: 8): Jumlah frame yang diambil per video untuk penilaian VLM.

    • frame_max_size (default: 768): Dimensi maksimum gambar frame dalam piksel.

    pipeline

    • videos_dir (default: work/t2v_videos): Video yang dihasilkan diunduh ke direktori ini untuk penilaian dan tinjauan. Video tidak disertakan dalam artefak output.

    • Tahap augmentasi prompt (seed_anchored_expansion): rounds default-nya 2 (jumlah putaran augmentasi), dan generations_per_round default-nya 5 (jumlah prompt baru yang dihasilkan per seed per putaran). Ukuran output akhir kira-kira seeds × rounds × generations_per_round. passthrough_fields dapat meneruskan bidang tambahan dari input (seperti first_frame_image).

    • Tahap penyaringan prompt (prompt_filter): dedup default-nya true (deduplikasi), dan drop_off_domain default-nya false (apakah akan membuang prompt di luar domain).

    • Tahap generasi video (t2v_generate): resume default-nya true. Setelah gangguan, eksekusi ulang hanya menghasilkan video yang hilang tanpa meregenerasi video yang sudah ada, sehingga menghindari biaya duplikasi generasi video.

    • Tahap penyaringan kualitas (quality_filter): min_scores menetapkan skor minimum per dimensi (prompt_consistency default-nya 3, visual_quality default-nya 2). Sampel di bawah ambang batas akan dibuang.