Produksi cerdas menyediakan berbagai fitur untuk memproduksi dan memproses konten media, termasuk Video editing, Live editing, Template factory, Intelligent task, Produksi cerdas (pemrosesan media), Digital human, Voice cloning, One-click video generation, dan Video translation.
Ikhtisar
Produksi cerdas merupakan serangkaian fitur dalam Intelligent Media Services (IMS) yang dirancang untuk memproduksi dan memproses konten video, audio, serta gambar. Berikut ini penjelasan fitur-fitur yang dibahas pada halaman ini:
Video editing — Membuat video dari bahan berupa video, audio, gambar, dan teks, dengan kemampuan pengeditan tingkat frame, siaran digital human, serta efek seperti transisi, filter, dan stiker.
Live editing — Merekam, memisahkan, dan mengedit aliran langsung Alibaba Cloud, lalu mengimpor hasil pemisahan tersebut ke editor video untuk pengeditan lanjutan.
Template factory — Menyimpan gaya pengeditan yang sering digunakan sebagai templat reguler atau advanced, lalu membuat video baru dengan mengganti bahan dalam templat tersebut.
Intelligent task — Secara otomatis menghasilkan subtitle, dubbing, hasil matting latar belakang transparan, dan grafik animasi dari bahan yang tersedia.
Produksi cerdas (pemrosesan media) — Memproses konten audio, video, dan gambar dengan fitur seperti thumbnail cerdas, konversi lanskap ke potret, matting gambar, efek buram logo, penghapusan subtitle, ekstraksi subtitle, deteksi chorus, dan deteksi ketukan musik.
Digital human — Menghasilkan manusia digital yang dilatih berdasarkan penampilan orang sungguhan dan dikendalikan oleh teks atau suara untuk mensimulasikan siaran layaknya manusia nyata.
Voice cloning — Melatih model suara berdasarkan suara manusia sungguhan dan mensintesis ucapan menggunakan suara hasil kloning tersebut.
One-click video generation — Secara otomatis memilih bahan dan menghasilkan video berdasarkan skrip yang telah ditentukan atau teks narasi.
Video translation — Menerjemahkan subtitle dalam video ke bahasa tertentu untuk distribusi lintas bahasa.
Video editing
Video editing menyediakan kemampuan produksi video profesional secara daring. Anda dapat menggunakan berbagai bahan berupa video, audio, dan teks untuk menghasilkan video yang menarik. Fitur ini mendukung pemrosesan gambar seperti split, stitching, cropping, dan rotasi; siaran digital human yang dikendalikan teks atau suara; serta peningkatan konten melalui transisi, filter, efek, stiker, dan teks animasi. Anda juga dapat menjalankan beberapa tugas secara bersamaan di latar belakang melalui skrip.
File source
Didukung oleh Alibaba Cloud Object Storage Service (OSS), ApsaraVideo VOD, dan aset media lokal. Aset media lokal harus diunggah ke OSS atau ApsaraVideo VOD.
Trial
Coba fitur ini di Konsol IMS. Untuk informasi selengkapnya, lihat Video editing.
Capability manifest
Tabel berikut menjelaskan kemampuan video editing:
Type | Capability | Description | |
Material processing | General | Jumlah track bahan yang didukung | Secara default, mendukung hingga 100 track bahan. Jika Anda memiliki kebutuhan khusus, bergabunglah dengan grup DingTalk 84650000851 untuk dukungan teknis. |
Material type | Bahan video, audio, gambar, dan teks didukung. | ||
Material segmentation, deletion, and stitching | Didukung. | ||
Editing precision | Mendukung presisi pengeditan tingkat frame. | ||
Video, audio, and image | Image preview | Didukung. | |
Playback speed setting | Didukung. | ||
Toning | Didukung. | ||
Types of materials that support resizing and position adjustments | Bahan video dan gambar mendukung penyesuaian ukuran dan posisi. | ||
Types of materials that support cropping | Bahan video dan gambar mendukung cropping. | ||
Types of materials that support fade-in and fade-out | Bahan video dan audio mendukung fade-in dan fade-out. | ||
Types of materials that support volume adjustments | Bahan video dan audio mendukung penyesuaian volume. | ||
Digital human | Drive mode | Siaran digital human yang dikendalikan teks atau suara didukung. | |
Subtitle | Subtitle format | Format Text, Automatic Speech Recognition (ASR), dan Advanced SubStation Alpha (ASS) didukung. | |
Style settings | Anda dapat mengonfigurasi font, ukuran font, warna, dan word art. File font kustom didukung. | ||
Alignment mode | Penyelarasan kiri, tengah, dan kanan didukung. | ||
Animation effect | Efek animasi berikut didukung: efek masuk, efek keluar, dan efek loop. | ||
Beautification | Visual effect | Berbagai efek visual didukung. Untuk informasi selengkapnya, lihatSample visual effects. | |
Filter effect | Berbagai efek filter didukung. Untuk informasi selengkapnya, lihatSample filter effects. | ||
Transition effect | Berbagai efek transisi didukung. Untuk informasi selengkapnya, lihatSample transition effects. | ||
Sticker effect | Berbagai efek stiker didukung. | ||
Editing and production | Definition | Resolution | Resolusi kustom didukung. Resolusi maksimum adalah 4K. Resolusi default dapat dihitung secara dinamis berdasarkan bahan input. |
Bitrate | Bitrate kustom didukung. Bitrate default dapat dihitung secara dinamis berdasarkan bahan input. | ||
Callback | N/A | Metode callback menggunakan antrian Simple Message Queue (SMQ, sebelumnya MNS) dan permintaan HTTP didukung. Anda dapat mengonfigurasi callback untuk video output. Untuk informasi selengkapnya, lihatConfigure callbacks. |
Live editing
Live editing mendukung Live to VOD dan pemisahan aliran langsung. Editor aliran langsung terintegrasi dengan editor biasa, sehingga Anda dapat langsung mengimpor hasil pemisahan aliran langsung ke editor biasa untuk pengeditan lanjutan.
File source
Aliran aktif dari Alibaba Cloud ApsaraVideo Live.
Trial
Coba fitur ini di Konsol IMS. Untuk informasi selengkapnya, lihat Live editing.
Capability manifest
Tabel berikut menjelaskan kemampuan live editing:
Capability | Description |
Type of live streams | Anda dapat mengedit aliran langsung Alibaba Cloud. |
Scheduled editing | Anda dapat menjadwalkan waktu mulai perekaman atau waktu mulai pengeditan. |
Splitting | Anda dapat mengonfigurasi waktu mulai dan waktu akhir pemisahan. Setelah dikonfirmasi, pemisahan selesai. |
Callback | Metode callback menggunakan antrian SMQ didukung. |
Fine editing | Pengeditan lanjutan untuk hasil pemisahan didukung. Anda dapat menggunakan kemampuan video editing untuk melakukan pengeditan lanjutan. |
Template factory
Template factory memungkinkan Anda menyimpan gaya pengeditan yang sering digunakan sebagai templat. Anda hanya perlu mengganti bahan dalam templat tersebut untuk dengan cepat menghasilkan video baru dengan efek serupa.
Regular template: templat yang dibuat berdasarkan timeline proyek video editing. Beberapa bahan dalam timeline ditumpuk dan digabung. Templat reguler dapat menerapkan efek seperti mengubah gambar menjadi video, album, segmen intro dan outro, serta watermark default.
Advanced template: templat yang dibuat berdasarkan Adobe After Effects (AE). Anda dapat mengonfigurasi efek animasi kompleks untuk menerapkan efek media tingkat lanjut.
Pilih jenis templat berdasarkan efek yang Anda butuhkan: gunakan templat reguler untuk efek berbasis timeline seperti mengubah gambar menjadi video, dan gunakan templat advanced untuk animasi kompleks berbasis AE.
File source
Didukung oleh Alibaba Cloud OSS, ApsaraVideo VOD, dan aset media lokal. Aset media lokal harus diunggah ke OSS atau ApsaraVideo VOD.
Trial
Anda dapat mencoba fitur ini di Konsol IMS. Untuk informasi selengkapnya, lihat Template factory.
Official and custom templates
IMS menyediakan templat resmi dan kemampuan bagi pengguna untuk membuat templat sendiri. Untuk informasi selengkapnya, lihat Official and custom templates.
Capability manifest
Tabel berikut menjelaskan kemampuan template factory:
Template type | Operation | Capability | Description |
Regular template | Create a template | Specify dynamic materials | Didukung. Bahan yang tidak ditentukan sebagai bahan dinamis merupakan bahan tetap. |
Specify time adaptation conditions of dynamic materials | Didukung. Jika durasi bahan pengganti lebih panjang daripada durasi posisi bahan dinamis, opsi pemisahan otomatis dan penundaan bahan berikutnya untuk koneksi lancar didukung. Jika durasi bahan pengganti lebih pendek daripada durasi posisi bahan dinamis, opsi frame hitam, memajukan bahan berikutnya untuk koneksi lancar, dan frame bisu di akhir didukung. | ||
Specify space adaptation conditions of dynamic materials | Didukung. Jika ukuran bahan pengganti tidak sesuai dengan ukuran posisi bahan dinamis, opsi penambahan batang hitam otomatis, warna latar belakang kustom, dan efek buram latar belakang didukung. | ||
Preset production parameters | Didukung. Anda dapat menentukan resolusi dan bitrate default video yang dihasilkan. | ||
Use a template | Replace dynamic materials | Didukung. | |
Submit a template-based editing task | Didukung. Anda dapat mengirimkan bahan untuk mengganti bahan dinamis dan ID templat. Dengan cara ini, Anda dapat menggunakan solusi pengeditan berbasis templat untuk menghasilkan video baru. | ||
Advanced template | Create a template | Create template effects | Didukung. Berbagai Plugin AE didukung. Anda dapat menggunakan Plugin AE untuk memperkaya efek gambar seperti transisi video dan efek lainnya. Untuk informasi selengkapnya, lihatUntuk informasi selengkapnya, lihat. |
Specify dynamic materials | Didukung. Bahan yang tidak ditentukan sebagai bahan dinamis merupakan bahan tetap. | ||
Specify dynamic materials to replace interface styles | Didukung. Anda dapat mengonfigurasi grup pengeditan dan gambar dekoratif. Jika templat digunakan untuk halaman buatan pengguna, produksi cerdas mendistribusikan grup pengeditan dan gambar dekoratif secara terpusat. | ||
Use a template | Replace dynamic materials | Didukung. | |
Submit a template-based editing task | Didukung. Anda dapat mengirimkan bahan untuk mengganti bahan dinamis dan ID templat. Dengan cara ini, Anda dapat menggunakan solusi pengeditan berbasis templat untuk menghasilkan video baru. |
Intelligent task
Intelligent task menyediakan tugas-tugas yang membantu secara otomatis menghasilkan video dari berbagai bahan audio dan visual, seperti video, audio, dan teks.
File source
Didukung oleh Alibaba Cloud OSS, ApsaraVideo VOD, dan aset media lokal. Aset media lokal harus diunggah ke OSS atau ApsaraVideo VOD.
Capability manifest
Intelligent subtitling
Suara dalam audio atau video dapat diubah menjadi informasi subtitle, termasuk konten teks dan informasi waktu.
Intelligent subtitling mencakup dua fitur: Intelligent subtitle generation dan Subtitle quick editing and correction. Untuk menghasilkan subtitle, klik Speech Recognition Subtitles untuk memicu pengenalan. Anda dapat mengatur parameter gaya seperti ukuran font, outline, warna latar belakang, dan posisi. Subtitle quick editing and correction memungkinkan Anda mengedit dan mengoreksi teks subtitle yang dikenali baris demi baris.
Intelligent dubbing
Teks dapat diubah menjadi ucapan. Anda dapat mengonfigurasi suara dubbing dan kecepatan dubbing.
Image matting
Objek dapat dihapus dari gambar layar hijau untuk menghasilkan video atau gambar dengan latar belakang transparan.
Intelligent chart
Tabel Excel atau data berbasis aturan dapat digunakan untuk menghasilkan video grafik animasi yang dapat diputar. Grafik pie, grafik garis, grafik kolom, dan grafik kustom didukung.
Produksi cerdas
Produksi cerdas menyediakan kemampuan pemrosesan konten media dan pembuatan konten dalam berbagai bentuk. Fitur pemrosesan dan pembuatan media yang didukung mencakup thumbnail cerdas, konversi lanskap ke potret, matting gambar, matting potret, efek buram logo, penghapusan subtitle, ekstraksi subtitle, deteksi chorus, dan deteksi ketukan musik. Fitur-fitur ini meningkatkan efisiensi dan kualitas produksi konten media.
Tabel berikut menjelaskan kemampuan produksi cerdas:
Type | Capability | Description |
Audio processing | Chorus detection | Informasi waktu segmen chorus dapat diekstraksi. |
Beat detection | Titik ketukan multi-level dalam musik dapat dianalisis dan diidentifikasi. | |
Intelligent audio mixing | Berbagai jenis audio, seperti vokal dan musik, dapat diproses. | |
Audio quality detection | Masalah dalam audio input, seperti keheningan dan tersendat, dapat diidentifikasi. | |
Intelligent noise reduction | Kebisingan dapat disaring sambil mempertahankan kesetiaan ucapan yang tinggi. | |
Vocal and accompaniment separation | Vokal dan iringan musik dapat dipisahkan dengan cepat menjadi dua file audio independen. | |
Video processing | Intelligent thumbnail | Gambar sampul dan animasi sampul didukung. |
Video synopsis | Klip sorotan dapat diekstraksi dari video dan digabung menjadi ringkasan video representatif berdurasi 5 detik. | |
Subtitle extraction | Subtitle bahasa Tiongkok dan Inggris dapat dikenali dan diekstraksi. | |
Subtitle removal | Subtitle teks dalam video atau gambar dapat dideteksi dan dihapus secara cerdas. | |
Logo blurring | Logo dapat dibuat buram untuk mengembalikan video ke kondisi aslinya sebelum logo ditambahkan. | |
Landscape-to-portrait conversion | Video yang direkam dalam mode lanskap dapat diubah menjadi video yang cocok untuk pemutaran potret di perangkat seluler. | |
Image matting | Latar depan dan latar belakang frame video dapat dianalisis dan diekstraksi. | |
Video retouching | Wajah dapat dideteksi secara otomatis dan diperhalus dengan efek seperti penghalusan kulit, pemutihan kulit, dan warna kulit kemerahan. | |
Image processing | Logo blurring | Logo dapat dibuat buram untuk mengembalikan gambar ke kondisi aslinya sebelum logo ditambahkan. |
Landscape-to-portrait conversion | Gambar lanskap dapat diubah menjadi gambar yang cocok untuk penelusuran potret di perangkat seluler. | |
Face stylization | Gaya anime, komik Amerika, dan gaya lainnya didukung. |
Digital human
Digital human mempelajari dan melatih penampilan orang sungguhan sehingga manusia digital, yang dikendalikan oleh teks atau suara, dapat mensimulasikan siaran layaknya orang nyata. Hal ini menciptakan manusia virtual cerdas yang memberikan pengalaman interaktif.
Kemampuan berikut disediakan:
Custom training
Melalui pelatihan algoritma, penampilan orang sungguhan diubah menjadi model digital. Dengan demikian, perekaman orang sungguhan tidak diperlukan untuk penggunaan selanjutnya, dan video penampilan dapat disintesis oleh algoritma. Untuk informasi selengkapnya, lihat Custom training.
Synthesis
Menyintesis video menggunakan penampilan digital human yang telah dilatih. Untuk informasi selengkapnya, lihat Synthesis.
Voice cloning
Voice cloning mempelajari dan melatih suara manusia sungguhan untuk menerapkan kloning suara personalisasi. Hal ini memberikan pengalaman sintesis suara yang efisien dan nyaman.
Kemampuan berikut disediakan:
Custom voice training
Melalui pelatihan algoritma, suara manusia sungguhan diubah menjadi model digital. Dengan demikian, perekaman orang sungguhan tidak diperlukan untuk penggunaan selanjutnya, dan suara manusia dapat disintesis oleh algoritma. Untuk informasi selengkapnya, lihat Custom voice training.
Voice synthesis
Menyintesis audio menggunakan model suara yang telah dilatih. Untuk informasi selengkapnya, lihat Voice synthesis.
Samples
Untuk informasi selengkapnya, lihat Voice samples.
One-click video generation
One-click video generation adalah fitur produksi video otomatis. Berdasarkan skrip yang telah ditentukan atau teks narasi Anda, fitur ini secara cerdas memilih bahan dan secara otomatis menghasilkan video.
Mode pembuatan berikut disediakan:
Script-based automatic generation
Script-based automatic generation cocok untuk skenario di mana Anda memiliki ekspektasi yang jelas terhadap struktur video dan cadangan bahan yang sesuai. Anda menentukan struktur video dan mengaitkan bahan yang sesuai. Sistem kemudian menyusun bahan sesuai urutan struktur secara keseluruhan, memilih bahan secara acak di setiap node, menggabungkan skrip narasi, dan menyesuaikan durasi. Hingga 100 video berbeda dapat dihasilkan dalam satu batch. Untuk informasi selengkapnya, lihat Script-based automatic generation.
Intelligent text-to-media matching
Intelligent text-to-media matching cocok untuk skenario di mana Anda ingin secara cerdas memotong segmen dari perpustakaan bahan berdasarkan teks narasi dan menggabungkan klip menjadi video. Untuk setiap kalimat teks narasi, sistem secara cerdas memotong segmen dari perpustakaan bahan untuk menyelesaikan produksi video. Untuk informasi selengkapnya, lihat Intelligent text-to-media matching.
Intelligent search-based generation
Jika Anda memiliki banyak bahan dan ingin membuat video berdasarkan inspirasi dan ide Anda sendiri, intelligent search-based generation cocok. Untuk informasi selengkapnya, lihat Intelligent search-based generation.
Samples
Berbagai contoh disediakan sebagai referensi Anda. Untuk informasi selengkapnya, lihat Samples.
Video translation
Terjemahan tingkat subtitle didukung. Subtitle yang muncul dalam video dapat diterjemahkan ke bahasa tertentu. Hal ini mempermudah konversi subtitle lintas bahasa dan memenuhi kebutuhan penonton di berbagai wilayah dan latar belakang budaya.
Kemampuan berikut disediakan:
Video subtitle translation
Konten subtitle dalam video dapat diterjemahkan ke bahasa tertentu.
OCR disediakan untuk mengenali posisi subtitle dan secara cerdas mengenali serta menerjemahkan subtitle dalam video.
Anda dapat mengunggah file subtitle, seperti file SRT, untuk diterjemahkan.
Subtitle removal and custom positioning
Penghapusan subtitle disediakan. Subtitle dalam video asli dapat dikenali dan dihapus secara cerdas.
Anda dapat menentukan area penghapusan subtitle untuk memastikan subtitle hasil terjemahan tidak tumpang tindih dengan konten lain.
Anda dapat menyesuaikan posisi dan gaya subtitle hasil terjemahan untuk meningkatkan pengalaman menonton.
Support for secondary editing
Saat penerjemahan, Anda dapat memilih apakah akan mengaktifkan fitur pengeditan sekunder.
Setelah fitur diaktifkan, sistem menyimpan semua file antara yang dihasilkan selama pemrosesan dan menghasilkan proyek pengeditan untuk pengeditan dan kreasi lanjutan Anda.
Untuk informasi selengkapnya tentang cara menggunakan video translation, lihat Video translation.