全部產品
Search
文件中心

Intelligent Media Services:時間軸智慧工作提示平行處理

更新時間:Oct 30, 2024

本文詳細說明了如何通過文字內容、音頻媒資標識(MediaId)、音頻檔案地址(MediaURL)這三種不同方式,將數字人視頻整合到時間軸(Timeline)中。

使用說明

您可以通過如下文檔,快速瞭解數字人:

背景資訊

通過本文所介紹的方法,您可以輕鬆地將數字人功能整合到剪輯時間軸Timeline當中,以此便捷地產生帶數字人的視頻成片。

您可以根據自己的具體情境與使用習慣,選擇以下3種方法中的任意一種,來在剪輯時間軸Timeline上配置數字人相關的內容:

  1. 文字內容 Content;

  2. 音頻媒資標識 MediaId;

  3. 音頻檔案地址 MediaURL。

方式一:通過文字內容 Content產生數字人成片

僅需輸入一段文字內容,就可以輕鬆產生一個以這篇文字作為內容的數字人口播視頻,其具體用法與 AI_TTS 文字轉語音類似。更進一步地,您可以通過指定不同的聲音類型、語調和語速,來產生不同語音風格的數字人視頻成片。

說明
  1. 設定了2條視頻軌,其中第1條中設定了一個全域圖片作為背景圖,第2條視頻軌中包含了一段由文字內容驅動產生的數字人視頻;

  2. 在第2條視頻軌的數字人Clip中,指定“雲晨”作為數字人形象,“知甜”作為智能產生的聲音類型,其常值內容在Content欄位中配置。

  3. 同時,在數字人Clip中設定AI_ASR效果,自動產生對應字幕。

成片效果

Timeline樣本

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "數字人-輸入為文字",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "Content": "近日,隨著消費升級和物流技術的發展,倉儲式購物逐漸受到消費者的歡迎。據瞭解,這種購物方式是指將商品儲存在倉庫中,顧客通過線上平台選擇商品後,到物流中心自行提取商品。避免了傳統購物的排隊、擁堵等問題,同時也提高了商品的物流效率和安全性。目前,不少電商企業已經開始嘗試倉儲式購物,成為未來新零售的重要趨勢之一。",
            "Voice": "zhitian",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式二:通過音頻媒資標識 MediaId產生數字人成片

您可以通過在時間軸Timeline中傳入一段原檔案作為包含口播內容的音頻檔案的MediaId(該MediaId通過IMS媒資上傳或註冊介面取得),來驅動產生對應的數字人視頻成片。

說明
  1. 設定了2條視頻軌,其中第1條中設定了一個全域圖片作為背景圖,第2條視頻軌中包含了一段由音頻媒資標識 MediaId驅動產生的數字人視頻;

  2. 在第2條視頻軌的數字人Clip中,指定“雲新”作為數字人形象;

  3. 同時,在數字人Clip中設定AI_ASR效果,自動產生對應字幕。

成片效果

時間軸樣本

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "eb2dd180********92ee7e7d75b6301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "數字人-輸入為音頻 MediaId",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaId": "596cbd10e********b6e6f7e5696302",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式三:通過音頻檔案地址 MediaURL產生數字人成片

與通過音頻媒資標識 MediaId驅動類似,您也可以直接在Timeline中傳入位於您的OSS bucket地址中音頻檔案的URL地址。依據這段OSS URL地址,就可以產生一段對應的數字人視頻成片,省去了媒資註冊的步驟。

說明
  1. 設定了2條視頻軌,其中第1條中設定了一個全域圖片作為背景圖,第2條視頻軌中包含了一段由音頻 OSS地址MediaURL驅動產生的數字人視頻;

  2. 在第2條視頻軌的數字人Clip中,指定“雲新”作為數字人形象;

  3. 同時,在數字人Clip中設定AI_ASR效果,自動產生對應字幕。

成片效果

時間軸樣本

{
    "VideoTracks": [{
        "VideoTrackClips": [{
            "Type": "GlobalImage",
            "MediaId": "7980d8f************e6f7e5696301"
        }]
    }, {
        "VideoTrackClips": [{
            "Comment": "數字人-輸入為音頻 MediaURL",
            "Type": "AI_Avatar",
            "AvatarId": "fanyu-broadcast_standing",
            "MediaURL": "https://your_bucket.oss-cn-shanghai.aliyuncs.com/your_audio.mp3",
            "Effects": [{
                "Type": "AI_ASR",
                "Font": "Alibaba PuHuiTi",
                "FontSize": 60,
                "Spacing": 1,
                "Ratio": 1
            }]
        }]
    }]
}

方式四:其它成片案例

科普情境

新聞播報情境

相關文檔