Terjemahan video memanfaatkan algoritma AI dan pembelajaran mesin untuk mengonversi konten video dari bahasa sumber ke satu atau beberapa bahasa target secara efisien dan akurat. Teknologi ini mendukung terjemahan subtitle, ucapan, dan sinkronisasi bibir guna menghasilkan output yang terlihat dan terdengar alami, sehingga membantu mengatasi hambatan bahasa, memperkaya konten edukasi, meningkatkan pengalaman hiburan, serta mendorong komunikasi lintas budaya.
Ketersediaan
Jenis terjemahan | Wilayah yang didukung |
Subtitle translation | China (Shanghai), China (Beijing), China (Shenzhen), China (Hangzhou), Singapura, AS (Silicon Valley) |
Speech translation | China (Shanghai), China (Beijing), China (Shenzhen), China (Hangzhou), Singapura, AS (Silicon Valley) |
Lip-sync translation | China (Shanghai), Singapura |
Keunggulan
Banyak bahasa dan dialek:
Mendukung terjemahan lebih dari 40 bahasa.
Mendukung lebih dari 10 dialek Tiongkok untuk memenuhi berbagai kebutuhan ucapan.
Satu task terjemahan dapat menghasilkan output dalam lebih dari 40 bahasa target.
Kompatibilitas format video yang luas:
Mendukung berbagai format video utama, termasuk MP4, WebM, MOV, dan M3U8.
Format audio yang kaya dan opsi kustomisasi:
Mendukung berbagai format audio seperti MP3 dan WAV.
Mendukung konfigurasi khusus untuk kasus penggunaan tertentu.
Fitur
Layanan terjemahan video yang disediakan oleh Intelligent Media Services (IMS) mendukung subtitle translation, speech translation, dan lip-sync translation. Fitur utamanya meliputi:
Fitur | Deskripsi | Keunggulan |
Subtitle translation |
| Terjemahan teks yang efisien dan akurat, ideal untuk skenario yang memerlukan dukungan multi-bahasa secara cepat. |
Speech translation | Selain fitur subtitle translation, metode ini juga mendukung voice cloning, yang mereplikasi suara pembicara asli untuk audio hasil terjemahan. Suara diekstraksi secara otomatis dari file sumber (video atau audio). Mengunggah file audio referensi eksternal tidak didukung. Hasilkan video dalam banyak bahasa target dalam satu task, dan ganti track audio asli dengan audio hasil terjemahan. Speech translation juga mendukung [Emotion Level Dubbing]({EMOTION_LEVEL_DUBBING_URL}) untuk menyesuaikan intensitas emosi pada audio hasil dubbing (hanya untuk terjemahan Tiongkok-Inggris, hanya melalui API). | Menambahkan dimensi audio pada terjemahan teks, mempertahankan keaslian dan penyampaian emosional suara asli untuk meningkatkan pengalaman menonton. |
Lip-sync translation | Selain fitur subtitle dan speech translation, metode ini juga mendukung sinkronisasi gerakan bibir dengan audio hasil terjemahan. | Tingkat terjemahan tertinggi, memastikan konsistensi audio-visual. Ideal untuk konten promosi atau interaktif yang memerlukan realisme tinggi. |
Post-editing |
| Memungkinkan penyesuaian fleksibel untuk menyempurnakan output terjemahan. |
Penagihan
Untuk detail penagihan, lihat Penagihan terjemahan video.
Mulai
Untuk membantu Anda membuat dan mengelola task terjemahan video, Intelligent Media Services menyediakan tiga metode: Konsol, Cloud Editing, dan OpenAPI.
Konsol Intelligent Media Services: Ideal untuk pengguna yang lebih suka menggunakan antarmuka grafis intuitif.
Cloud Editing: Ideal untuk pengguna yang terbiasa dengan pengeditan video dan menginginkan kontrol lebih besar. Anda dapat menambahkan materi ke dalam proyek editing, menggunakan alat terjemahan AI, serta melakukan post-editing pada hasilnya.
OpenAPI: Ideal untuk developer dan staf teknis yang ingin mengintegrasikan terjemahan video ke sistem pihak ketiga dan mengotomatiskan terjemahan untuk volume video yang besar.
Metode yang didukung bervariasi berdasarkan tingkat terjemahan:
subtitle translation: Konsol Intelligent Media Services, Cloud Editing (WebSDK), dan OpenAPI.
speech translation: Konsol Intelligent Media Services, Cloud Editing (WebSDK), dan OpenAPI.
lip-sync translation: Konsol Intelligent Media Services dan OpenAPI.
Buat task terjemahan
Metode 1: Gunakan Konsol
Buka halaman Video Translation di Konsol Intelligent Media Services.
Di pojok kiri atas, pilih Wilayah sesuai kebutuhan Anda.
Klik Create Translation Task untuk menuju halaman Create Translation Task.
Konfigurasikan parameter berikut:
Translation Method: Pilih Subtitle Translation, Speech Translation, atau Lip-sync Translation.
Select Source File: Unggah file video yang ingin diterjemahkan. Format yang didukung adalah MP4, WebM, dan MOV.
Subtitle Source: Konfigurasikan opsi seperti apakah akan menghapus subtitle asli dan sumber subtitle. Sumber yang didukung adalah OCR, ASR, dan Specified SRT File.
OCR: Jika video Anda berisi subtitle hardcoded tetapi Anda tidak memiliki file subtitle, gunakan OCR untuk mengekstrak teks subtitle dari frame video. Untuk meningkatkan efisiensi dan akurasi, Anda juga dapat menentukan OCR Range.
ASR: Jika video Anda tidak memiliki subtitle, gunakan ASR untuk menghasilkan subtitle dengan mentranskripsikan ucapan dari track audio.
OCR/ASR: Ini adalah metode hibrida yang menggabungkan OCR dan ASR. Metode ini memprioritaskan OCR untuk ekstraksi subtitle dan beralih ke ASR jika OCR gagal.
Sistem tidak mendukung mode deteksi sumber subtitle sepenuhnya otomatis. Jika Anda tidak yakin apakah video sumber berisi audio, atau ingin agar task menyesuaikan secara otomatis, atur parameter
TextSourcemenjadiOCR_ASR. Dengan pengaturan ini, sistem pertama-tama mencoba OCR untuk mengekstrak teks subtitle dari frame video, lalu secara otomatis beralih ke ASR untuk mentranskripsikan ucapan jika OCR gagal.Jika sebuah task gagal karena video hanya berisi musik latar (BGM) dan tidak ada ucapan manusia yang valid, atur parameter
NeedSpeechTranslatemenjadifalseuntuk menonaktifkan terjemahan ucapan. Jika Anda tetap memerlukan subtitle teks pada layar, gunakan pengaturan ini bersama dengan mode sumber subtitleOCRatauOCR_ASR.Specified SRT File: Jika Anda memiliki file subtitle yang sudah ada (misalnya dalam format
.srt), Anda dapat mengunggahnya untuk digunakan sebagai sumber.
Target Language: Anda dapat memilih beberapa bahasa target sekaligus. Setelah Anda mengirimkan task terjemahan, sistem akan menghasilkan satu file video untuk setiap bahasa yang dipilih.
Storage Directory and File Name: Tentukan lokasi penyimpanan dan nama file untuk hasil terjemahan.
Setelah memastikan semua parameter sudah benar, klik Submit Translation Task untuk membuat task.
Anda dapat memantau status task, parameter, dan hasilnya di daftar task. Saat status task berubah menjadi Processed, klik View Details untuk melihat detail task.
Halaman detail memiliki tiga bagian: Basic Settings, Advanced Settings, dan Output. Bagian Basic Settings menampilkan informasi seperti jenis file sumber, metode terjemahan, bahasa target (misalnya, Tiongkok > Inggris, Jepang), waktu pembuatan, dan status task. Bagian Advanced Settings menampilkan konfigurasi seperti apakah subtitle sumber dihapus, jenis subtitle target, sumber subtitle, dan apakah post-editing diaktifkan. Bagian Output mencantumkan path output untuk setiap bahasa target dan menyediakan opsi Edit dan Download.
Metode 2: Gunakan Cloud Editing
Sebelum memulai
Jika Anda belum familiar dengan Cloud Editing, kami sarankan Anda terlebih dahulu membaca panduan pengoperasian Cloud Editing.
Prosedur
Buka halaman Cloud Editing.
Di pojok kiri atas, pilih Wilayah sesuai kebutuhan Anda.
Pada tab Video Editing Project, klik Create Editing Project. Ikuti petunjuk di layar untuk membuat proyek, lalu klik Edit di daftar proyek untuk membuka ruang kerja Cloud Editing.
Di panel Materials kiri atas, klik Import. Di kotak dialog Add Material di sebelah kanan, pilih file yang ingin diterjemahkan dan tambahkan ke perpustakaan. Lalu, tambahkan file ke track di timeline di bawah ini dengan mengklik ikon
atau dengan menyeret file langsung. Ruang kerja Cloud Editing menyediakan beberapa menu fungsi di sebelah kiri, seperti Materials, Stock Media, Digital Avatars, Smart Dubbing, Subtitles, dan Stickers. Anda dapat menambahkan file video, audio, atau gambar dengan mengklik tombol + Import di pojok kanan atas.Di timeline, pilih track audio atau video yang ingin diterjemahkan. Di panel properti di sebelah kanan, klik AI translation untuk membuka panel terjemahan video. Ikuti petunjuk di layar untuk mengonfigurasi pengaturan seperti jenis terjemahan, ekstraksi subtitle, dan bahasa target, lalu klik Submit. Contoh ini menggunakan speech translation.
Tunggu beberapa menit. Hasil terjemahan akan muncul di timeline. Setelah task selesai, tiga track akan muncul di area timeline: subtitle track dengan subtitle dalam bahasa target, video track dengan subtitle asli yang telah dihapus, dan audio track dengan audio hasil terjemahan.
Saat task selesai, klik di pojok kanan atas. Sistem akan menampilkan kotak dialog untuk menyusun video. Konfigurasikan parameter sesuai petunjuk dan klik OK untuk menyusun dan mengekspor video hasil terjemahan. Anda dapat mengelola klip hasil terjemahan secara batch di panel Clip Settings di sebelah kanan.
Metode 3: Buat terjemahan video melalui OpenAPI
Buat task terjemahan
Atur parameter API sesuai kebutuhan bisnis Anda dan panggil operasi SubmitVideoTranslationJob. Sebelum mengirim permintaan, pastikan Anda telah membaca Parameter dan contoh untuk terjemahan video untuk mengonfigurasi parameter dengan benar.
Sistem tidak mendukung mode deteksi sumber subtitle sepenuhnya otomatis. Jika Anda tidak yakin apakah video sumber berisi audio, atau ingin agar task menyesuaikan secara otomatis, atur
TextSourcemenjadiOCR_ASR. Sistem pertama-tama mencoba OCR untuk mengekstrak teks subtitle dari frame video dan secara otomatis beralih ke ASR untuk mentranskripsikan ucapan jika OCR gagal. Jika sebuah task gagal karena video hanya berisi musik latar (BGM) dan tidak ada ucapan manusia yang valid, aturNeedSpeechTranslatemenjadifalseuntuk menonaktifkan terjemahan ucapan. Jika Anda tetap memerlukan subtitle teks pada layar, gunakan pengaturan ini bersama dengan mode sumber subtitleOCRatauOCR_ASR.Kueri hasil satu task terjemahan:
Panggil operasi GetSmartHandleJob untuk mendapatkan status dan hasil task terjemahan video tertentu. API ini memungkinkan Anda mengambil informasi detail tentang task tertentu, termasuk progres pemrosesan, waktu penyelesaian, dan URL output akhir.
Kueri daftar task terjemahan
Jika Anda perlu melihat semua task terjemahan video yang sedang berjalan atau telah selesai, Anda dapat memanggil operasi ListSmartJobs untuk menampilkan daftar task tersebut.
Hapus task terjemahan
Panggil operasi DeleteSmartJob untuk menghapus task yang telah selesai dan melepaskan sumber daya sistem.
Post-editing untuk speech translation (opsional)
Untuk melakukan post-editing, Anda harus mengaktifkan opsi "Enable post-editing" sebelum mengirimkan task. Bagian ini menjelaskan dua metode untuk melakukan post-editing pada hasil speech translation.
Catatan: Untuk lip-sync translation, post-editing hanya didukung untuk audio, bukan untuk gerakan bibir yang tersinkronisasi.
Metode 1: Gunakan OpenAPI
Anda dapat memperbaiki hasil speech translation dengan memanggil operasi API terkait. Untuk informasi lebih lanjut, lihat Speech translation - Manual correction.
Metode 2: Gunakan Cloud Editing (Web SDK)
Sebelum memulai
Jika Anda belum familiar dengan Cloud Editing, kami sarankan Anda terlebih dahulu membaca panduan pengoperasian Cloud Editing.
Prosedur
Buka halaman Video Translation, lalu pilih task yang ingin diperbaiki.
Di kolom Aksi, klik Edit untuk membuka proyek Cloud Editing terkait. Untuk langkah selanjutnya, lihat tutorial video di bawah ini:
FAQ
Menyelaraskan waktu subtitle dengan bentuk gelombang audio
Sebagai contoh, jika Anda ingin membagi subtitle hasil terjemahan "Great where are you" menjadi dua segmen, "Great" dan "where are you", sesuaikan waktu mulai dan akhir agar titik awal dan akhir subtitle sejajar dengan lembah bentuk gelombang audio. Hal ini mengoptimalkan hasil post-editing untuk speech translation.
Mengontrol jumlah kata subtitle saat post-editing
Saat melakukan post-editing pada subtitle hasil terjemahan, pastikan jumlah kata pada subtitle yang diedit tidak melebihi 1,5 kali jumlah kata pada terjemahan awal. Jika tidak, ucapan dalam audio hasil edit dapat terdengar terlalu cepat.
Sebagai contoh, salah satu baris dari terjemahan awal berbunyi: “Mari kita bicarakan ini nanti. Kita harus pulang sekarang.”
Contoh yang salah: Mari bahas hal ini lebih detail di lain waktu. Saat ini, sebaiknya kita fokus pulang karena penting untuk tiba dengan selamat dan tepat waktu. Kita dapat melanjutkan percakapan ini ketika keduanya sudah lebih santai dan memiliki cukup waktu untuk membahas semua aspeknya secara menyeluruh.
Contoh yang benar: Mari lanjutkan ini lain waktu. Sebaiknya kita pulang sekarang.
Berapa lama waktu pemrosesan task terjemahan video?
Untuk video berdurasi kurang dari satu menit, pemrosesan biasanya memakan waktu beberapa menit hingga lebih dari sepuluh menit. Secara umum, waktu pemrosesan sekitar tiga kali durasi video sumber, tidak termasuk waktu tunggu dalam antrian. Waktu pemrosesan aktual dipengaruhi oleh faktor-faktor seperti bitrate video, laju frame, beban antrian saat ini, dan kompleksitas algoritma terjemahan. Setelah mengirimkan task, kami sarankan Anda memanggil operasi [GetSmartHandleJob](t2161217.xdita#) untuk mengkueri hasil satu task terjemahan guna mendapatkan hasil akhir, alih-alih menunggu di halaman.
Mengapa rasio aspek video output abnormal atau terdistorsi? Bagaimana cara mempertahankan rasio aspek asli?
Perilaku default: Dalam permintaan standar, jangan sertakan bidang
WidthdanHeightdalamOutputConfig(saat melakukan serialisasi permintaan, lewati bidang yang nilainya0ataunull). Secara default, sistem menghasilkan video menggunakan rasio aspek video sumber.Penyebab masalah: Jika Anda secara eksplisit mengatur
WidthatauHeightdalamOutputConfigmenjadi0, atau jika video sumber menggunakan format non-standar yang bergantung pada sample aspect ratio (SAR) untuk peregangan (misalnya, sumber DVD PAL widescreen), perhitungan rasio aspek mungkin salah.Solusi: Untuk video dengan format khusus, seperti yang memiliki batang hitam atau SAR non-standar, yang tidak terselesaikan hanya dengan mengandalkan rasio aspek sumber default, pertama-tama gunakan analisis media untuk mendapatkan rasio aspek tampilan aktual, lalu atur nilai
WidthdanHeightyang sesuai dalamOutputConfiguntuk memaksakan rasio aspek yang benar.
Bagaimana cara memecahkan masalah task terjemahan video yang gagal atau video yang tidak dapat diunduh?
Pengunduhan gagal atau halaman merespons lambat: Tekan F12 untuk membuka alat developer browser dan periksa tab Network dan Console untuk mencari error. Coba ganti browser lain (misalnya Safari) untuk mengesampingkan pemblokiran dari sisi browser, dan periksa apakah respons API mencakup
RequestId.Kegagalan moderasi konten: Jika task gagal karena diblokir akibat berisi konten terlarang, periksa dan revisi kontennya agar sesuai dengan kebijakan, lalu kirim ulang task tersebut.
Error
src property must be a valid json objectdikembalikan: Error ini biasanya terjadi karena permintaan tidak memiliki konfigurasi output. Misalnya, parameterTimelinehanya berisi track input tanpa konfigurasi output. Rujuk contoh resmi untuk melengkapi parameterOutputConfig.Pemanggilan terjemahan video dari alur kerja VOD gagal: Alur kerja VOD tidak mendukung pemanggilan terjemahan video secara langsung, karena Anda tidak dapat mengonfigurasi bahasa terjemahan dalam alur kerja VOD. Gunakan OpenAPI untuk memanggil terjemahan video sebagai gantinya.
Referensi
Untuk mengirimkan task terjemahan menggunakan OpenAPI, lihat Parameter dan contoh untuk terjemahan video.