根據音訊樣本建立自訂音色,用於語音合成或即時語音對話。
功能介紹
音色複刻適用於個人化語音助理、品牌專屬播報和有聲內容訂製等情境,無需訓練模型。
說明如需透過自然語言描述建立音色,無需提供音訊樣本,請使用音色設計。
準備工作
-
取得 API Key,並將其設定至環境變數
DASHSCOPE_API_KEY。 -
取得業務空間 ID,將範例中的
YOUR_WORKSPACE_ID(SDK 範例中的{WorkspaceId})替換為實際值。取得方式請參見地域與接入網域。 -
使用 HTTP 方式時,安裝 Python HTTP 程式庫
requests:pip install requests -
使用 Python SDK 方式時,安裝 DashScope SDK(需 2.0.1 及以上版本):
# 本文件範例基於 DashScope Python SDK 2.0 編寫,需 2.0.1 及以上版本 pip install -U "dashscope>=2.0.1" -
準備符合音訊要求的音訊檔案。Qwen-Audio-TTS、Qwen-Audio-Realtime 和 CosyVoice 支援公開 URL 或 Base64 Data URI;MiniMax 仍使用公開 URL。以下範例使用範例音訊的 URL,本機音訊的編碼和傳參方式請參見 HTTP API。
開始使用
說明Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice 的複製音色在建立時綁定至 target_model,不能跨模型使用。如需讓多個模型使用同一段音訊的聲音,應為每個模型分別建立音色。
Qwen-Audio-TTS / CosyVoice
Qwen-Audio-TTS 和 CosyVoice 使用相同的音色建立和基本合成流程。以下以 qwen-audio-3.1-tts-plus 為例。
- 建立音色:傳入參考音訊 URL(HTTP 方式也支援 Base64 Data URI,SDK 方式使用公開 URL),
target_model指定目標模型,prefix為音色名稱前綴。 - 合成語音:將傳回的音色 ID 傳入
voice,使用同一個目標模型合成語音並儲存音訊。
Python SDK
import os
import dashscope
# 以下為華北2(北京)地域的設定。請將 "{WorkspaceId}" 替換為實際的業務空間 ID;不同地域的設定不同。
client = dashscope.Client(
# 若未設定環境變數,請將下一行替換為您的 API Key:api_key="sk-xxx"
api_key=os.getenv("DASHSCOPE_API_KEY"),
workspace="{WorkspaceId}",
region="cn-beijing",
)
target_model = "qwen-audio-3.1-tts-plus"
# 建立音色。
voice = client.audio.voices.create(
target_model=target_model,
prefix="myvoice",
url="https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/cosyvoice/cosyvoice-zeroshot-sample.wav",
)
voice_id = voice.voice_id
print(f"voice_id: {voice_id}")
# 使用綁定模型及傳回的音色 ID 合成語音。
audio = client.audio.tts.synthesize(
"今天天气晴朗,适合外出散步。祝你度过愉快的一天。",
model=target_model,
voice=voice_id,
format="wav",
sample_rate=24000,
)
with open("output.wav", "wb") as f:
f.write(audio)
HTTP
import os
import time
import requests
workspace_id = "YOUR_WORKSPACE_ID"
target_model = "qwen-audio-3.1-tts-plus"
base_url = f"https://{workspace_id}.cn-beijing.maas.aliyuncs.com/api/v1"
headers = {"Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}"}
response = requests.post(
f"{base_url}/services/audio/tts/customization",
headers=headers,
json={
"model": "voice-enrollment",
"input": {
"action": "create_voice",
"target_model": target_model,
"prefix": "myvoice",
"audio": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/cosyvoice/cosyvoice-zeroshot-sample.wav",
},
},
timeout=60,
)
response.raise_for_status()
voice_id = response.json()["output"]["voice_id"]
print(f"voice_id: {voice_id}")
for _ in range(30):
response = requests.post(
f"{base_url}/services/audio/tts/customization",
headers=headers,
json={
"model": "voice-enrollment",
"input": {"action": "query_voice", "voice_id": voice_id},
},
timeout=60,
)
response.raise_for_status()
status = response.json()["output"]["status"]
if status == "OK":
break
if status != "DEPLOYING":
raise RuntimeError(f"Voice status: {status}")
time.sleep(1)
else:
raise TimeoutError("Voice is not ready")
response = requests.post(
f"{base_url}/services/audio/tts/SpeechSynthesizer",
headers=headers,
json={
"model": target_model,
"input": {
"text": "今天天氣晴朗,適合外出散步。祝你度過愉快的一天。",
"voice": voice_id,
"format": "wav",
"sample_rate": 24000,
},
},
timeout=60,
)
response.raise_for_status()
audio_url = response.json()["output"]["audio"]["url"]
audio_response = requests.get(audio_url, timeout=60)
audio_response.raise_for_status()
with open("output.wav", "wb") as f:
f.write(audio_response.content)
執行後,合成音訊儲存為 output.wav。儲存列印的音色 ID,後續可繼續使用。
Qwen-Audio-Realtime
Qwen-Audio-Realtime 的複製音色用於自訂即時語音對話的回覆聲音。以下以 qwen-audio-3.1-realtime-plus 為例建立音色。
Python SDK
import os
import dashscope
# 以下為華北2(北京)地域的設定。請將 "{WorkspaceId}" 替換為實際的業務空間 ID;不同地域的設定不同。
client = dashscope.Client(
# 若未設定環境變數,請將下一行替換為您的 API Key:api_key="sk-xxx"
api_key=os.getenv("DASHSCOPE_API_KEY"),
workspace="{WorkspaceId}",
region="cn-beijing",
)
target_model = "qwen-audio-3.1-realtime-plus"
# 建立音色。
voice = client.audio.voices.create(
target_model=target_model,
prefix="myvoice",
url="https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/cosyvoice/cosyvoice-zeroshot-sample.wav",
)
print(f"voice_id: {voice.voice_id}")
HTTP
import os
import time
import requests
workspace_id = "YOUR_WORKSPACE_ID"
target_model = "qwen-audio-3.1-realtime-plus"
base_url = f"https://{workspace_id}.cn-beijing.maas.aliyuncs.com/api/v1"
headers = {"Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}"}
response = requests.post(
f"{base_url}/services/audio/tts/customization",
headers=headers,
json={
"model": "voice-enrollment",
"input": {
"action": "create_voice",
"target_model": target_model,
"prefix": "myvoice",
"audio": "https://dashscope.oss-cn-beijing.aliyuncs.com/samples/audio/cosyvoice/cosyvoice-zeroshot-sample.wav",
},
},
timeout=60,
)
response.raise_for_status()
voice_id = response.json()["output"]["voice_id"]
print(f"voice_id: {voice_id}")
for _ in range(30):
response = requests.post(
f"{base_url}/services/audio/tts/customization",
headers=headers,
json={
"model": "voice-enrollment",
"input": {"action": "query_voice", "voice_id": voice_id},
},
timeout=60,
)
response.raise_for_status()
status = response.json()["output"]["status"]
if status == "OK":
break
if status != "DEPLOYING":
raise RuntimeError(f"Voice status: {status}")
time.sleep(1)
else:
raise TimeoutError("Voice is not ready")
建立即時語音對話連線後,在首次 session.update 事件中,將 session.voice 設為傳回的音色 ID(替換下方的 VOICE_ID)。工作階段模型必須與建立音色時的 target_model 一致。
{
"type": "session.update",
"session": {
"voice": "VOICE_ID"
}
}
更多音色複刻參數與範例請參見 HTTP API、Python SDK 和 Java SDK。
使用複製音色進行語音合成或即時語音對話的呼叫方式,請參見:
- Qwen-Audio-TTS:WebSocket 接入、AOQ 接入
- CosyVoice:WebSocket 接入、AOQ 接入
- Qwen-Audio-Realtime:WebSocket 接入、WebRTC 接入、AOQ 接入
音訊要求
輸入音訊品質會影響音色的相似度和自然度。按照目標模型的規格準備樣本,並參照下方錄音建議減少雜訊、混響和其他人聲。
| 項目 | 要求 |
|---|---|
支援格式 | WAV(16-bit)、MP3、M4A |
音訊時長 | 建議 10~20 秒,最長不超過 60 秒。 |
檔案大小 | ≤ 10 MB |
取樣率 | ≥ 16 kHz |
聲道 | 單聲道或雙聲道。雙聲道音訊僅處理首聲道,首聲道需包含有效人聲。 |
內容 | 至少包含 5 秒連續清晰的朗讀內容,其餘部分僅允許短暫停頓(≤ 2 秒)。避免背景音樂、環境雜訊和其他人聲。使用正常語速的說話音訊,不使用歌曲或唱歌錄音。 |
支援語言 |
點擊查看 CosyVoice 各模型支援的語言
|
清晰、自然的錄音有助於取得高品質的參考音訊並保留聲音特徵。錄音前可參考以下錄音與操作建議。
點擊查看錄音與操作建議
錄音裝置
可使用手機、數字錄音筆、專業錄音機等。建議使用支援高採樣率(≥ 24 kHz)錄音的裝置,以滿足音頻要求。
錄音環境
場地
- 建議在 10 平方米以內的小型封閉空間錄音。
- 優先選擇配有吸音材料(如吸音棉、地毯、窗帘)的房間。
- 避免空曠大廳、會議室、教室等高混響場所。
噪音控制
- 室外噪音:關閉門窗,避免交通、施工等幹擾。
- 室內噪音:關閉空調、風扇、日光燈鎮流器等裝置;可通過手機錄製環境音並放大播放,識別潛在噪音源。
混響控制
- 混響會導致聲音模糊、清晰度下降。
- 減少光滑表面反射:拉上窗帘、開啟衣櫃門、鋪放衣物或床單覆蓋案頭/櫃面。
- 利用不規則物體(如書架、軟包傢具)實現聲波漫反射。
錄音文案
- 內容無特殊限制,建議與目標應用情境一致。
- 避免短句(如你好、是的),應使用完整句子。
- 保持語義連貫,朗讀時避免頻繁停頓(建議至少連續 3 秒無中斷)。
- 錄音全程保持一致的語速,避免開頭或結尾語速過快導致合成時出現卡頓。
- 可加入適當情緒表達(如溫暖、親切、嚴肅),避免機械朗讀。
- 不包含禁用語(如政治、色情、暴力相關內容),否則會導致複刻失敗。
操作建議
以普通臥室為例,完成降噪和混響控制後:
- 提前熟悉文案,設定角色語氣,自然演繹。
- 與錄音裝置保持約 10 厘米距離,避免噴麥或訊號過弱。
音色管理
Qwen-Audio-TTS、Qwen-Audio-Realtime 和 CosyVoice 使用相同的音色查詢、更新與刪除介面。具體介面與參數請參見音色複刻 HTTP API 參考。
- 查詢音色清單:查看帳號下已有的自訂音色。
- 查詢音色詳情:查看建立時間、綁定模型等資訊。
- 更新音色:替換參考音訊,保留原有音色 ID。
- 刪除音色:刪除不再使用的音色,釋放配額。
建立的音色預設長期有效。儲存音色 ID,需要時可透過查詢介面確認音色是否可用。
支援模型
華北2(北京)
-
Qwen-Audio-TTS:qwen-audio-3.1-tts-plus、qwen-audio-3.1-tts-flash、qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash
-
Qwen-Audio-Realtime:qwen-audio-3.1-realtime-plus、qwen-audio-3.1-realtime-flash、qwen-audio-3.0-realtime-plus、qwen-audio-3.0-realtime-flash
-
CosyVoice:cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-plus、cosyvoice-v3-flash、cosyvoice-v2
新加坡
-
Qwen-Audio-TTS:qwen-audio-3.1-tts-plus、qwen-audio-3.1-tts-flash、qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash
-
CosyVoice:cosyvoice-v3-plus、cosyvoice-v3-flash
配額與限制
-
音色數量:每個阿里雲百煉帳號的自訂音色總數上限為 1000 個。音色複刻和音色設計共用此配額,不按模型分別計算。
說明
- 達到上限後,新的音色複刻或音色設計建立請求將失敗。需先刪除不再使用的音色,釋放配額後再建立。
計費說明
- Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice:建立音色免費。使用複製音色合成語音或進行即時語音對話時,按照目標模型計費。具體費用請參見模型計費。