AnimateAnyone視頻產生API - Alibaba Cloud Model Studio

AnimateAnyone模型，可基於AnimateAnyone-template模型產生的動作模板，以及通過AnimateAnyone-detect模型檢測的人物映像產生人物動作視頻。本文檔介紹了該模型提供的視頻產生能力的API調用方法。

重要

本文檔僅適用於“中國大陸（北京）”地區。如需使用模型，需使用“中國大陸（北京）”地區的API Key。

模型概覽

模型簡介

模型名	模型簡介
animate-anyone-gen2	animate-anyone-gen2是一個人物動作視頻產生模型，可基於人物圖片和人物動作模板產生人物動作視頻。

模型效果樣本

人物圖片	動作模板	輸出（按圖片背景產生）	輸出（按視頻背景產生）

說明

以上樣本，由整合了“舞動人像AnimateAnyone”的通義APP產生。
動作模板需先通過AnimateAnyone 動作模板產生API製作，請確保動作模板視頻的來源符合相關法律法規，且已獲得該視頻內容（包含音頻）的使用許可。

HTTP調用介面

功能描述

用於產生人物動作視頻。

前提條件

已開通服務並獲得API-KEY：準備工作：擷取與配置 API Key。
輸入的動作模板由AnimateAnyone 動作模板產生API產生；
輸入的映像已通過AnimateAnyone 映像檢測API檢測。

輸入限制

映像格式：格式為jpg、png、jpeg、bmp。
映像要求：影像檔＜5M，寬高比≤2，最大邊長≤4096像素。
上傳的影像檔支援HTTP連結，不支援本地路徑。也可使用平台提供的臨時儲存空間，上傳本地檔案並建立連結。
輸入映像與視頻組建類型的適用關係：
輸入圖片
按圖片背景產生
（即use_ref_img_bg設為true）
按視頻背景產生
（即use_ref_img_bg設為false）
全身人像
支援
支援
半身人像
支援
不推薦
說明
按視頻背景產生時，需將圖片中人像匹配到視頻中人像的對應位置。對於半身人像圖中未出現的地區（如腿部），模型將隨機產生補全，有較大不確定性，故不推薦在該條件下做視頻產生。

作業提交介面

POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/

說明

因該演算法調用耗時較長，故採用非同步呼叫的方式提交任務。
任務提交之後，系統會返回對應的作業ID，後續可通過“作業任務狀態查詢和結果擷取介面”擷取任務狀態及對應結果。

入參描述

欄位	類型	傳參方式	必選	描述	樣本值
Content-Type	String	Header	是	請求類型：application/json。	application/json
Authorization	String	Header	是	API-Key，例如：Bearer d1**2a。	Bearer d1**2a
X-DashScope-Async	String	Header	是	使用 enable，表明使用非同步方式提交作業。	enable
model	String	Body	是	指明需要調用的模型。	animate-anyone-gen2
input.image_url	String	Body	是	使用者上傳的圖片 URL，該圖應先通過AnimateAnyone 映像檢測API，並結合所需產生的畫幅進行適當裁剪。影像檔＜5M，寬高比≤2，最大邊長≤4096 格式支援jpg、png、jpeg、bmp。說明上傳檔案僅支援HTTP連結方式，不支援本地連結方式。	http://aaa/bbb.jpg
input.template_id	String	Body	是	動作模板ID，用於指明所需使用的動作模板。應輸入AnimateAnyone 動作模板產生API產生的template_id。說明動作模板ID會進行許可權校正，請確保所使用的template_id是由當前的雲帳號建立得到的。使用建議：提高模板視頻的解析度和幀率，可有效提升產生視頻的畫質效果。	AACT.xxx.xxx-xxx.xxx
parameters.use_ref_img_bg	Boolean	Body	否	產生視頻的背景控制，可設值為true或false。設true時將以輸入圖片的畫面為背景產生視頻。設false時將以模板檔案的原視頻畫面為背景產生視頻。預設值為false。	false
parameters.video_ratio	String	Body	否	選擇按圖片背景產生視頻時，可選畫幅為 "9:16"或"3:4"，預設為"9:16"。說明選擇按視頻背景產生時，即use_ref_img_bg設false時，該參數不生效。將按模板視頻的比例產生新視頻。說明應確保輸入映像的畫幅與所選畫幅一致，以避免產生視頻的畫面變形	"9:16"

出參描述

欄位	類型	描述	樣本值
output.task_id	String	提交非同步任務的作業 id，實際作業結果需要通過非同步任務查詢介面擷取。	a8532587-fa8c-4ef8-82be-0c46b17950d1
output.task_status	String	提交非同步任務後的作業狀態。	“PENDING”
request_id	String	本次請求的系統唯一碼。	7574ee8f-38a3-4b1e-9280-11c33ab46e51

請求樣本

curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/' \
--header 'X-DashScope-Async: enable' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "animate-anyone-gen2",
    "input": {
        "image_url": "http://xxx/1.jpg",
        "template_id": "AACT.xxx.xxx-xxx.xxx"
    },
      "parameters": {
         "use_ref_img_bg": false,
         "video_ratio": "9:16"
    }
  }'

響應樣本

{
    "output": {
	"task_id": "a8532587-fa8c-4ef8-82be-0c46b17950d1", 
    	"task_status": "PENDING"
    }
    "request_id": "7574ee8f-38a3-4b1e-9280-11c33ab46e51"
}

作業任務狀態查詢和結果擷取介面

GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}

入參描述

欄位	類型	傳參方式	必選	描述	樣本值
Authorization	String	Header	是	API-Key，例如：Bearer d1**2a。	Bearer d1**2a
task_id	String	Url Path	是	需要查詢作業的task_id。	a8532587-fa8c-4ef8-82be-0c46b17950d1

出參描述

欄位	類型	描述	樣本值
output.task_id	String	查詢作業的 task_id	a8532587-fa8c-4ef8-82be-0c46b17950d1
output.task_status	String	被查詢作業的作業狀態	任務狀態： PENDING 排隊中 PRE-PROCESSING 前置處理中 RUNNING 處理中 POST-PROCESSING 後置處理中 SUCCEEDED 成功 FAILED 失敗 UNKNOWN 作業不存在或狀態未知
output.video_url	String	平台輸出的視頻結果，video_url有效期間為作業完成後24小時	https://xxx/1.mp4"
usage.video_duration	Float	本次請求產生視頻時間長度計量，單位：秒	"video_duration": 10.23
usage.video_ratio	String	本次請求產生視頻的畫幅類型，該值為standard	"video_ratio": "standard"
request_id	String	本次請求的系統唯一碼	7574ee8f-38a3-4b1e-9280-11c33ab46e51

請求樣本

curl -X GET \
--header 'Authorization: Bearer <YOUR_API_KEY>' \
https://dashscope.aliyuncs.com/api/v1/tasks/<YOUR_TASK_ID>

響應樣本

{
    "request_id":"7574ee8f-38a3-4b1e-9280-11c33ab46e51",
    "output":{
        "task_id":"a8532587-fa8c-4ef8-82be-0c46b17950d1",
	"task_status":"SUCCEEDED",
        "video_url":"https://xxx/1.mp4"
    },
    "usage":{
        "video_duration": 10.23,
        "video_ratio": "standard"
    }
}

異常響應樣本

{
    "request_id": "7574ee8f-38a3-4b1e-9280-11c33ab46e51"
  	"output": {
        "task_id": "a8532587-fa8c-4ef8-82be-0c46b17950d1", 
    	"task_status": "FAILED",
    	"code": "xxx", 
    	"message": "xxxxxx", 
    }  
}

狀態代碼說明

大模型服務平台通用狀態代碼請查閱：錯誤資訊。

本模型還有如下特定錯誤碼：

http 返回碼*	錯誤碼（code）	錯誤資訊（message）	含義說明
400	InvalidURL.ConnectionRefused	Connection to ${url} refused, please provide available URL	下載被拒絕，請提供可用的url
400	InvalidURL.Timeout	Download ${url} timeout, please check network connection.	下載逾時，10s逾時
400	InvalidFile.Size	Invalid file size, The image file size must be smaller than 5MB.	圖片檔案超過5M大小
400	InvalidFile.Resolution	The image resolution is invalid, please make sure that the largest length of image is smaller than 4096, and the smallest length of image is larger than 224.	上傳圖片大小不符合要求
400	InvalidFile.AspectRatio	Invalid file ratio. The file aspect ratio (height/width) must be between 2.0 and 0.5	圖片檔案寬高比必須在2.0到0.5之間
400	InvalidFile.Template.Content	Invalid template content.	動作模板無許可權，或模板內容不符合要求。
400	InvalidParameter	parameters.video_ratio must be 9:16 or 3:4	video_ratio 入參只能為 9:16 或 3:4