Merender video avatar menggunakan audio suara manusia atau teks sebagai input.
Deskripsi operasi
API ini adalah API asinkron. Setelah Tugas dikirimkan, ID Pekerjaan akan dikembalikan (Tugas belum selesai dan akan dimasukkan ke antrean untuk eksekusi asinkron di latar belakang). Hasil akhir akan diberitahukan melalui callback, atau Anda dapat secara aktif mengkueri status Tugas melalui GetSmartHandleJob.
Saat ini, hanya teks atau audio suara manusia yang didukung sebagai input. Audio hanya mendukung format mp3 atau wav.
Mendukung output dalam format mp4 dan webm. Saat output berupa mp4, video yang selesai adalah video dengan latar belakang layar hijau, dan video mask avatar juga dikeluarkan untuk penggunaan selanjutnya. Solusi ini direkomendasikan. Saat output berupa webm, video yang selesai adalah webm dengan saluran transparan, yang dapat digunakan untuk tampilan front-end. Karena masalah pengodean webm, Pencampuran aliran akan lebih lambat.
Hasil output berisi stempel waktu kalimat dari suara manusia untuk penggunaan selanjutnya dalam pengeditan.
Coba sekarang
Test
RAM authorization
|
Action |
Access level |
Resource type |
Condition key |
Dependent action |
|
ice:SubmitAvatarVideoJob |
create |
*全部资源
|
None | None |
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| InputConfig |
string |
No |
Parameter input Tugas avatar. Mendukung teks, file audio OSS, atau Aset media sebagai input. Audio hanya mendukung format mp3 atau wav. Penting Konten input Text harus memiliki panjang minimal 5 karakter. |
{"Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"} |
| EditingConfig |
string |
No |
Informasi konfigurasi Tugas avatar. Mendukung pengaturan ID avatar, suara, laju ucapan, dan informasi lainnya. |
{"AvatarId":"yunqiao"} |
| OutputConfig |
string |
No |
Informasi output Tugas. Mendukung pengaturan alamat output. |
{"MediaURL":"https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4"} |
| Title |
string |
No |
Judul Tugas. Panjangnya tidak boleh melebihi 128 byte. |
测试标题 |
| Description |
string |
No |
Deskripsi Tugas. Panjangnya tidak boleh melebihi 128 byte. |
测试描述 |
| UserData |
string |
No |
Pengaturan yang ditentukan pengguna. Informasi bisnis pelanggan, seperti lingkungan bisnis dan informasi Tugas, dapat diteruskan. Dalam format string JSON. |
{"user":"data","env":"prod"} |
Contoh InputConfig:
Input sebagai URL audio:
{
"InputFile": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp3"
}
Input sebagai teks:
{
"Text": "君不见黄河之水天上来,奔流到海不复回。君不见高堂明镜悲白发,朝如青丝暮成雪。"
}
Input sebagai MediaId:
{
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302"
}
```.
### Contoh EditingConfig:
AvatarId: ID gambar avatar. Wajib. Nilai: [Gambar manusia digital resmi](https://www.alibabacloud.com/help/document_detail/2254005.html)
Voice: Suara. Hanya valid saat input berupa Text. Opsional. Nilai: [Contoh efek suara cerdas](https://www.alibabacloud.com/help/document_detail/449563.html)
CustomizedVoice: Suara yang dipersonalisasi. Jika Anda perlu menggunakan suara yang dipersonalisasi yang dihasilkan oleh kloning suara sebagai pembicara, gunakan bidang ini sebagai pengganti bidang Voice.
LoopMotion: Apakah frame pertama dan terakhir sama. Jika nilai ini diatur ke true, frame pertama dan terakhir dari gambar video manusia digital yang dihasilkan akan sama, sehingga gerakan dan ekspresi karakter tidak akan mengalami fenomena "melompat" saat video diputar secara berulang. Nilai: {true, false}. Nilai default: false.
SpeechRate: Laju ucapan. Hanya valid saat input berupa teks. Rentang nilai: -500 hingga 500. Nilai default: 0.
PitchRate: Nada. Hanya valid saat input berupa teks. Rentang nilai: -500 hingga 500. Nilai default: 0.
Volume: Volume. Hanya valid saat input berupa teks. Rentang nilai: 0 hingga 100. Nilai default: 50.
BackgroundUrl: Gambar latar belakang. Opsional. Jika tidak ditentukan, defaultnya adalah latar belakang hitam. Hanya format jpg dan png yang didukung. Resolusi harus 1080P. Jika avatar vertikal digunakan, harus 1080P vertikal. Jika avatar horizontal digunakan, harus 1080P horizontal.
{ "AvatarId": "xinxin-marketing_standing", "BackgroundUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.jpg", "Voice" : "zhichu", "LoopMotion": true, "SpeechRate": 100, "PitchRate": 10, "Volume": 10 }
### Contoh OutputConfig:
{ "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/xxx.mp4 }
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Skema Tanggapan. |
||
| RequestId |
string |
ID permintaan. |
******11-DB8D-4A9A-875B-275798****** |
| JobId |
string |
ID Pekerjaan pintar. |
****20b48fb04483915d4f2cd8ac**** |
| MediaId |
string |
ID Aset media video yang selesai. |
******70dcc471edaf00e6f6f4****** |
Anda dapat mengkueri status eksekusi Tugas dan hasil Tugas melalui API GetSmartHandleJob . Contoh tanggapan saat Tugas berhasil dieksekusi adalah sebagai berikut.
{
"RequestId": "2014D1A8-4143-164F-94B4-32B8F39B706D",
"JobId": "d9367da8c7184ec7a3f24de530ac5b9a",
"State": "Finished",
"SmartJobInfo": {
"Title": "default_title_2023-03-28T13:37:47Z",
"EditingConfig": "null",
"JobType": "AvatarVideo",
"CreateTime": "2023-03-28T13:37:47Z",
"ModifiedTime": "2023-03-28T13:37:47Z",
"UserId": 1833202230108227,
"outputConfig": {
"mediaUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4"
}
},
"JobResult": {
"MediaId": "4aef0c80cc0071edbf92f6e7c44b6302",
"AiResult": "{\"outputVideoUrl\":\"https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4\",\"subtitleClips\":\"[{\\\"from\\\":0.0,\\\"to\\\":4.692,\\\"content\\\":\\\"君不见黄河之水天上来,奔流到海不复回。\\\"},{\\\"from\\\":4.692,\\\"to\\\":9.061,\\\"content\\\":\\\"君不见高堂明镜悲白发,朝如青丝暮成雪。\\\"}]\"}"
}
}
```.
Format AiResult adalah sebagai berikut:
outputVideoUrl adalah URL video hasil output, dalam format mp4.
subtitleClips adalah stempel waktu kalimat subtitle.
{ "outputVideoUrl": "https://oushu-test-shanghai.oss-cn-shanghai.aliyuncs.com/avatar/222.mp4", "subtitleClips": "[{"from":0.0,"to":4.692,"content":"君不见黄河之水天上来,奔流到海不复回。"},{"from":4.692,"to":9.061,"content":"君不见高堂明镜悲白发,朝如青丝暮成雪。"}]" }
Contoh
Respons sukses
JSONformat
{
"RequestId": "******11-DB8D-4A9A-875B-275798******\n",
"JobId": "****20b48fb04483915d4f2cd8ac****\n",
"MediaId": "******70dcc471edaf00e6f6f4******"
}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.