上傳錄音建立音色,再用於 Qwen-Omni 或 Qwen-Omni-Realtime 對話。本文介紹支援的語言、音訊要求、複刻步驟、費用和音色管理規則。
請求參數、響應和錯誤說明見聲音複刻 API 參考。
相關模型:模型介紹和選型見即時(Qwen-Omni-Realtime)或非即時(Qwen-Omni)。
重要本文檔專用於千問Omni和千問Omni-Realtime聲音複刻介面;若您使用的是語音合成模型,請參見聲音複刻用戶指南。
重要新加坡地域提供業務空間專屬域名,可提高推理性能和穩定性。建議遷移至新域名:
- 新加坡地區:從
https://dashscope-intl.aliyuncs.com遷移至https://WorkspaceId.ap-southeast-1.maas.aliyuncs.com
WorkspaceId 是業務空間 ID,可在百鍊控制台的业务空间详情頁面查看。舊域名仍可使用。
音訊要求
錄音質量影響複刻效果。
系統音色與聲音複刻支援的方言範圍不同。複刻支援的語言和方言見下表,系統音色見音色列表。
項目 | 要求 |
|---|---|
支援格式 | WAV (16bit)、MP3、M4A |
音訊時長 | 推薦10~20秒,最長不得超過60秒 |
文件大小 | < 10 MB |
採樣率 | ≥ 24 kHz |
聲道 | 單聲道 |
內容 | 音訊必須包含至少3秒連續清晰朗讀(無背景音),其餘部分僅允許短暫停頓(≤2秒);整段音訊應避免背景音樂、噪音或其他人聲,確保核心朗讀內容質量;請使用正常說話音訊作為輸入,不要上傳歌曲或唱歌音訊,以確保複刻效果準確和可用 |
語言 | 中文(zh)、英文(en)、德語(de)、意大利語(it)、葡萄牙語(pt)、西班牙語(es)、日語(ja)、韓語(ko)、法語(fr)、俄語(ru)、泰語(th)、印尼語(id)、阿拉伯語(ar)、捷克語(cs)、丹麥語(da)、荷蘭語(nl)、芬蘭語(fi)、希伯來語(he)、印地語(hi)、冰島語(is)、馬來語(ms)、挪威語(no)、波斯語(fa)、波蘭語(pl)、瑞典語(sv)、他加祿語(tl)、土耳其語(tr)、烏爾都語(ur)、越南語(vi) 中文方言:東北話(Dongbei)、陝西話(Shannxi)、四川話(Sichuan)、河南話(Henan)、長沙話(Changsha)、天津話(Tianjin)、杭州話(Hangzhou)、遼寧話(Liaoning)、瀋陽話(Shenyang)、鞍山話(Anshan) |
快速開始:複刻與使用音色
1. 工作流程
先建立音色,再呼叫模型使用音色:
-
建立音色
呼叫建立音色介面,上傳一段音訊。系統會分析該音訊,建立一個專屬的複刻音色。此步驟必須指定
target_model,聲明建立的音色將由哪個全模態模型驅動。若已有建立好的音色(呼叫查詢音色列表介面查看),可跳過這一步直接進行下一步。
-
使用音色進行對話
呼叫 Omni 介面(即時或非即時),傳入建立的音色。呼叫的全模態模型必須與
target_model一致。
2. 模型配置與準備工作
先選擇模型,再完成準備工作。
模型配置
聲音複刻需指定兩個模型:
-
聲音複刻模型:qwen-voice-enrollment
-
驅動音色的全模態模型:
- qwen3.8-omni-flash-realtime
- qwen3.5-omni-plus-realtime
- qwen3.5-omni-flash-realtime
- qwen3.5-omni-plus
- qwen3.5-omni-flash
準備工作
- 獲取API Key:獲取與配置 API Key。建議將 API Key 配置到環境變量,避免寫入代碼。
- 安裝SDK:安裝最新版DashScope SDK。
- 準備待複刻音訊:音訊需符合音訊要求。
3. 端到端示例
以下示例建立音色,再用該音色進行對話。
- 關鍵原則:聲音複刻時,
target_model(驅動音色的全模態模型)必須與後續呼叫 Omni 介面時指定的模型一致,否則會合成失敗。 - 運行前,將示例文件
voice.mp3替換為自己的錄音。
即時
適用於千問Omni-Realtime系列模型,詳見即時(Qwen-Omni-Realtime)。
# 依赖:dashscope >= 1.26.5,pyaudio
import os
import requests
import base64
import pathlib
import time
import pyaudio
from dashscope.audio.qwen_omni import MultiModality, OmniRealtimeCallback, OmniRealtimeConversation
import dashscope
# ======= 常量配置 =======
DEFAULT_TARGET_MODEL = "qwen3.8-omni-flash-realtime" # 声音复刻、实时对话要使用相同的模型
DEFAULT_PREFERRED_NAME = "guanyu"
DEFAULT_AUDIO_MIME_TYPE = "audio/mpeg"
VOICE_FILE_PATH = "voice.mp3" # 用于声音复刻的本地音频文件的相对路径
def create_voice(file_path: str,
url: str,
target_model: str = DEFAULT_TARGET_MODEL,
preferred_name: str = DEFAULT_PREFERRED_NAME,
audio_mime_type: str = DEFAULT_AUDIO_MIME_TYPE) -> str:
"""
创建音色,并返回 voice 参数
"""
# 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
# 若没有配置环境变量,请用百炼API Key将下行替换为:api_key = "sk-xxx"
api_key = os.getenv("DASHSCOPE_API_KEY")
file_path_obj = pathlib.Path(file_path)
if not file_path_obj.exists():
raise FileNotFoundError(f"音频文件不存在: {file_path}")
base64_str = base64.b64encode(file_path_obj.read_bytes()).decode()
data_uri = f"data:{audio_mime_type};base64,{base64_str}"
payload = {
"model": "qwen-voice-enrollment",
"parameters": {"voice_clone_mode": "normal"},
"input": {
"action": "create",
"target_model": target_model,
"preferred_name": preferred_name,
"audio": {"data": data_uri}
}
}
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
resp = requests.post(url, json=payload, headers=headers)
if resp.status_code != 200:
raise RuntimeError(f"创建 voice 失败: {resp.status_code}, {resp.text}")
try:
return resp.json()["output"]["voice"]
except (KeyError, ValueError) as e:
raise RuntimeError(f"解析 voice 响应失败: {e}")
class SimpleCallback(OmniRealtimeCallback):
def __init__(self, pya):
self.pya = pya
self.out = None
def on_open(self):
self.out = self.pya.open(
format=pyaudio.paInt16,
channels=1,
rate=24000,
output=True
)
def on_event(self, response):
if response['type'] == 'response.audio.delta':
self.out.write(base64.b64decode(response['delta']))
elif response['type'] == 'conversation.item.input_audio_transcription.completed':
print(f"[User] {response['transcript']}")
elif response['type'] == 'response.audio_transcript.done':
print(f"[LLM] {response['transcript']}")
if __name__ == '__main__':
# 若没有配置环境变量,请用百炼API Key将下行替换为:dashscope.api_key = "sk-xxx"
dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
# 以下為新加坡地區的 URL,請在範例中填寫實際的業務空間 ID,各地區的 URL 不同。
base_url = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com"
ws_url = base_url.replace("https://", "wss://") + "/api-ws/v1/realtime"
# 1. 声音复刻:创建专属音色
voice = create_voice(VOICE_FILE_PATH, url=f"{base_url}/api/v1/services/audio/tts/customization")
print(f"声音复刻完成,音色: {voice}")
# 2. 使用复刻音色进行实时对话
pya = pyaudio.PyAudio()
callback = SimpleCallback(pya)
conv = OmniRealtimeConversation(model=DEFAULT_TARGET_MODEL, callback=callback, url=ws_url)
conv.connect()
conv.update_session(
output_modalities=[MultiModality.AUDIO, MultiModality.TEXT],
voice=voice # 使用复刻生成的专属音色
)
mic = pya.open(format=pyaudio.paInt16, channels=1, rate=16000, input=True)
print("对话已开始,对着麦克风说话 (Ctrl+C 退出)...")
try:
while True:
audio_data = mic.read(3200, exception_on_overflow=False)
conv.append_audio(base64.b64encode(audio_data).decode())
time.sleep(0.01)
except KeyboardInterrupt:
conv.close()
mic.close()
callback.out.close()
pya.terminate()
print("\n对话结束")
import com.alibaba.dashscope.audio.omni.*;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.google.gson.Gson;
import com.google.gson.JsonObject;
import javax.sound.sampled.*;
import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.nio.ByteBuffer;
import java.nio.file.*;
import java.nio.charset.StandardCharsets;
import java.util.Arrays;
import java.util.Base64;
import java.util.Queue;
import java.util.concurrent.ConcurrentLinkedQueue;
import java.util.concurrent.atomic.AtomicBoolean;
public class Main {
// ===== 常量定义 =====
// 声音复刻、实时对话要使用相同的模型
private static final String TARGET_MODEL = "qwen3.8-omni-flash-realtime";
private static final String PREFERRED_NAME = "guanyu";
// 用于声音复刻的本地音频文件的相对路径
private static final String AUDIO_FILE = "voice.mp3";
private static final String AUDIO_MIME_TYPE = "audio/mpeg";
// 以下為新加坡地區的 URL,請在範例中填寫實際的業務空間 ID,各地區的 URL 不同。
private static final String BASE_URL = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com";
// 生成 data URI
public static String toDataUrl(String filePath) throws IOException {
byte[] bytes = Files.readAllBytes(Paths.get(filePath));
String encoded = Base64.getEncoder().encodeToString(bytes);
return "data:" + AUDIO_MIME_TYPE + ";base64," + encoded;
}
// 调用 API 创建 voice
public static String createVoice() throws Exception {
// 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
// 若没有配置环境变量,请用百炼API Key将下行替换为:String apiKey = "sk-xxx"
String apiKey = System.getenv("DASHSCOPE_API_KEY");
String jsonPayload =
"{"
+ "\"model\": \"qwen-voice-enrollment\","
+ "\"parameters\": {\"voice_clone_mode\": \"normal\"},"
+ "\"input\": {"
+ "\"action\": \"create\","
+ "\"target_model\": \"" + TARGET_MODEL + "\","
+ "\"preferred_name\": \"" + PREFERRED_NAME + "\","
+ "\"audio\": {"
+ "\"data\": \"" + toDataUrl(AUDIO_FILE) + "\""
+ "}"
+ "}"
+ "}";
String url = BASE_URL + "/api/v1/services/audio/tts/customization";
HttpURLConnection con = (HttpURLConnection) new URL(url).openConnection();
con.setRequestMethod("POST");
con.setRequestProperty("Authorization", "Bearer " + apiKey);
con.setRequestProperty("Content-Type", "application/json");
con.setDoOutput(true);
try (OutputStream os = con.getOutputStream()) {
os.write(jsonPayload.getBytes(StandardCharsets.UTF_8));
}
int status = con.getResponseCode();
try (BufferedReader br = new BufferedReader(
new InputStreamReader(status >= 200 && status < 300 ? con.getInputStream() : con.getErrorStream(),
StandardCharsets.UTF_8))) {
StringBuilder response = new StringBuilder();
String line;
while ((line = br.readLine()) != null) {
response.append(line);
}
if (status == 200) {
JsonObject jsonObj = new Gson().fromJson(response.toString(), JsonObject.class);
return jsonObj.getAsJsonObject("output").get("voice").getAsString();
}
throw new IOException("创建语音失败: " + status + " - " + response);
}
}
// 简单的音频播放器
static class SimpleAudioPlayer {
private final SourceDataLine line;
private final Queue<byte[]> audioQueue = new ConcurrentLinkedQueue<>();
private final Thread playerThread;
private final AtomicBoolean shouldStop = new AtomicBoolean(false);
public SimpleAudioPlayer() throws LineUnavailableException {
AudioFormat format = new AudioFormat(24000, 16, 1, true, false);
line = AudioSystem.getSourceDataLine(format);
line.open(format);
line.start();
playerThread = new Thread(() -> {
while (!shouldStop.get()) {
byte[] audio = audioQueue.poll();
if (audio != null) {
line.write(audio, 0, audio.length);
} else {
try { Thread.sleep(10); } catch (InterruptedException ignored) {}
}
}
}, "AudioPlayer");
playerThread.start();
}
public void play(String base64Audio) {
audioQueue.add(Base64.getDecoder().decode(base64Audio));
}
public void close() {
shouldStop.set(true);
try { playerThread.join(1000); } catch (InterruptedException ignored) {}
line.drain();
line.close();
}
}
public static void main(String[] args) {
try {
// 1. 声音复刻:创建专属音色
String voice = createVoice();
System.out.println("声音复刻完成,音色: " + voice);
// 2. 使用复刻音色进行实时对话
SimpleAudioPlayer player = new SimpleAudioPlayer();
AtomicBoolean shouldStop = new AtomicBoolean(false);
OmniRealtimeParam param = OmniRealtimeParam.builder()
.model(TARGET_MODEL)
// 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
// 若没有配置环境变量,请用百炼API Key将下行替换为:.apikey("sk-xxx")
.apikey(System.getenv("DASHSCOPE_API_KEY"))
.url(BASE_URL.replace("https://", "wss://") + "/api-ws/v1/realtime")
.build();
OmniRealtimeConversation conversation = new OmniRealtimeConversation(param, new OmniRealtimeCallback() {
@Override public void onOpen() { System.out.println("连接已建立"); }
@Override public void onClose(int code, String reason) {
System.out.println("连接已关闭 (" + code + "): " + reason);
shouldStop.set(true);
}
@Override public void onEvent(JsonObject event) {
String type = event.get("type").getAsString();
if ("response.audio.delta".equals(type)) {
player.play(event.get("delta").getAsString());
} else if ("conversation.item.input_audio_transcription.completed".equals(type)) {
System.out.println("[User] " + event.get("transcript").getAsString());
} else if ("response.audio_transcript.done".equals(type)) {
System.out.println("[LLM] " + event.get("transcript").getAsString());
}
}
});
conversation.connect();
conversation.updateSession(OmniRealtimeConfig.builder()
.modalities(Arrays.asList(OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT))
.voice(voice) // 使用复刻生成的专属音色
.enableTurnDetection(true)
.enableInputAudioTranscription(true)
.build()
);
System.out.println("对话已开始,对着麦克风说话 (Ctrl+C 退出)...");
AudioFormat format = new AudioFormat(16000, 16, 1, true, false);
TargetDataLine mic = AudioSystem.getTargetDataLine(format);
mic.open(format);
mic.start();
ByteBuffer buffer = ByteBuffer.allocate(3200);
while (!shouldStop.get()) {
int bytesRead = mic.read(buffer.array(), 0, buffer.capacity());
if (bytesRead > 0) {
conversation.appendAudio(Base64.getEncoder().encodeToString(buffer.array()));
}
Thread.sleep(20);
}
conversation.close(1000, "正常结束");
player.close();
mic.close();
System.out.println("\n对话结束");
} catch (NoApiKeyException e) {
System.err.println("未找到API KEY: 请设置环境变量 DASHSCOPE_API_KEY");
} catch (Exception e) {
e.printStackTrace();
}
System.exit(0);
}
}
非即時
適用於千問Omni系列模型,詳見非即時(Qwen-Omni)。
# 依赖:dashscope >= 1.23.9,soundfile,numpy
import os
import requests
import base64
import pathlib
import numpy as np
import soundfile as sf
import dashscope
# ======= 常量配置 =======
DEFAULT_TARGET_MODEL = "qwen3.5-omni-plus" # 声音复刻、非实时对话要使用相同的模型
DEFAULT_PREFERRED_NAME = "guanyu"
DEFAULT_AUDIO_MIME_TYPE = "audio/mpeg"
VOICE_FILE_PATH = "voice.mp3" # 用于声音复刻的本地音频文件的相对路径
def create_voice(file_path: str,
target_model: str = DEFAULT_TARGET_MODEL,
preferred_name: str = DEFAULT_PREFERRED_NAME,
audio_mime_type: str = DEFAULT_AUDIO_MIME_TYPE) -> str:
"""
创建音色,并返回 voice 参数
"""
# 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
# 若没有配置环境变量,请用百炼API Key将下行替换为:api_key = "sk-xxx"
api_key = os.getenv("DASHSCOPE_API_KEY")
file_path_obj = pathlib.Path(file_path)
if not file_path_obj.exists():
raise FileNotFoundError(f"音频文件不存在: {file_path}")
base64_str = base64.b64encode(file_path_obj.read_bytes()).decode()
data_uri = f"data:{audio_mime_type};base64,{base64_str}"
url = dashscope.base_http_api_url + "/services/audio/tts/customization"
payload = {
"model": "qwen-voice-enrollment",
"input": {
"action": "create",
"target_model": target_model,
"preferred_name": preferred_name,
"audio": {"data": data_uri}
}
}
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
resp = requests.post(url, json=payload, headers=headers)
if resp.status_code != 200:
raise RuntimeError(f"创建 voice 失败: {resp.status_code}, {resp.text}")
try:
return resp.json()["output"]["voice"]
except (KeyError, ValueError) as e:
raise RuntimeError(f"解析 voice 响应失败: {e}")
if __name__ == '__main__':
# 以下為新加坡地區的 URL,請在範例中填寫實際的業務空間 ID,各地區的 URL 不同。
dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'
# 1. 声音复刻:创建专属音色
voice = create_voice(VOICE_FILE_PATH)
print(f"声音复刻完成,音色: {voice}")
# 2. 使用复刻音色进行非实时对话
messages = [{"role": "user", "content": [{"text": "你好,请做一段自我介绍"}]}]
response = dashscope.MultiModalConversation.call(
# 若没有配置环境变量,请用百炼API Key将下行替换为:api_key="sk-xxx"
api_key=os.getenv("DASHSCOPE_API_KEY"),
model=DEFAULT_TARGET_MODEL,
messages=messages,
modalities=["text", "audio"],
audio={"voice": voice, "format": "wav"}, # 使用复刻生成的专属音色
stream=True
)
print("模型回复:")
audio_base64_string = ""
for r in response:
try:
content = r.output.choices[0].message.content
for item in content:
if isinstance(item, dict):
if "audio" in item:
audio_base64_string += item["audio"].get("data", "")
elif "text" in item:
print(item["text"], end="")
except Exception:
pass
if audio_base64_string:
wav_bytes = base64.b64decode(audio_base64_string)
audio_np = np.frombuffer(wav_bytes, dtype=np.int16)
sf.write("audio_cloned.wav", audio_np, samplerate=24000)
print("\n音频文件已保存至:audio_cloned.wav")
import com.google.gson.Gson;
import com.google.gson.JsonObject;
import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.file.*;
import java.nio.charset.StandardCharsets;
import java.util.Base64;
public class Main {
// ===== 常量定义 =====
// 声音复刻、非实时对话要使用相同的模型
private static final String TARGET_MODEL = "qwen3.5-omni-plus";
private static final String PREFERRED_NAME = "guanyu";
// 用于声音复刻的本地音频文件的相对路径
private static final String AUDIO_FILE = "voice.mp3";
private static final String AUDIO_MIME_TYPE = "audio/mpeg";
// 以下為新加坡地區的 URL,請在範例中填寫實際的業務空間 ID,各地區的 URL 不同。
private static final String BASE_URL = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com";
// 将 PCM 数据写入标准 WAV 文件
public static void writeWav(String path, byte[] pcmData, int sampleRate) throws IOException {
int channels = 1, bitsPerSample = 16;
int byteRate = sampleRate * channels * bitsPerSample / 8;
int blockAlign = channels * bitsPerSample / 8;
ByteBuffer header = ByteBuffer.allocate(44).order(ByteOrder.LITTLE_ENDIAN);
header.put("RIFF".getBytes()); header.putInt(36 + pcmData.length);
header.put("WAVE".getBytes()); header.put("fmt ".getBytes());
header.putInt(16); header.putShort((short) 1); header.putShort((short) channels);
header.putInt(sampleRate); header.putInt(byteRate);
header.putShort((short) blockAlign); header.putShort((short) bitsPerSample);
header.put("data".getBytes()); header.putInt(pcmData.length);
try (FileOutputStream fos = new FileOutputStream(path)) {
fos.write(header.array());
fos.write(pcmData);
}
}
// 生成 data URI
public static String toDataUrl(String filePath) throws IOException {
byte[] bytes = Files.readAllBytes(Paths.get(filePath));
String encoded = Base64.getEncoder().encodeToString(bytes);
return "data:" + AUDIO_MIME_TYPE + ";base64," + encoded;
}
// 调用 API 创建 voice
public static String createVoice() throws Exception {
// 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
// 若没有配置环境变量,请用百炼API Key将下行替换为:String apiKey = "sk-xxx"
String apiKey = System.getenv("DASHSCOPE_API_KEY");
String jsonPayload =
"{"
+ "\"model\": \"qwen-voice-enrollment\","
+ "\"input\": {"
+ "\"action\": \"create\","
+ "\"target_model\": \"" + TARGET_MODEL + "\","
+ "\"preferred_name\": \"" + PREFERRED_NAME + "\","
+ "\"audio\": {"
+ "\"data\": \"" + toDataUrl(AUDIO_FILE) + "\""
+ "}"
+ "}"
+ "}";
String url = BASE_URL + "/api/v1/services/audio/tts/customization";
HttpURLConnection con = (HttpURLConnection) new URL(url).openConnection();
con.setRequestMethod("POST");
con.setRequestProperty("Authorization", "Bearer " + apiKey);
con.setRequestProperty("Content-Type", "application/json");
con.setDoOutput(true);
try (OutputStream os = con.getOutputStream()) {
os.write(jsonPayload.getBytes(StandardCharsets.UTF_8));
}
int status = con.getResponseCode();
try (BufferedReader br = new BufferedReader(
new InputStreamReader(status >= 200 && status < 300 ? con.getInputStream() : con.getErrorStream(),
StandardCharsets.UTF_8))) {
StringBuilder response = new StringBuilder();
String line;
while ((line = br.readLine()) != null) {
response.append(line);
}
if (status == 200) {
JsonObject jsonObj = new Gson().fromJson(response.toString(), JsonObject.class);
return jsonObj.getAsJsonObject("output").get("voice").getAsString();
}
throw new IOException("创建语音失败: " + status + " - " + response);
}
}
public static void main(String[] args) {
try {
// 新加坡地域和北京地域的API Key不同。获取API Key:https://www.alibabacloud.com/help/model-studio/get-api-key
// 若没有配置环境变量,请用百炼API Key将下行替换为:String apiKey = "sk-xxx"
String apiKey = System.getenv("DASHSCOPE_API_KEY");
// 1. 声音复刻:创建专属音色
String voice = createVoice();
System.out.println("声音复刻完成,音色: " + voice);
// 2. 使用复刻音色进行非实时对话(OpenAI 兼容接口)
String requestBody = "{"
+ "\"model\": \"" + TARGET_MODEL + "\","
+ "\"messages\": [{\"role\": \"user\", \"content\": \"你好,请做一段自我介绍\"}],"
+ "\"modalities\": [\"text\", \"audio\"],"
+ "\"audio\": {\"voice\": \"" + voice + "\", \"format\": \"wav\"},"
+ "\"stream\": true,"
+ "\"stream_options\": {\"include_usage\": true}"
+ "}";
String url = BASE_URL + "/compatible-mode/v1/chat/completions";
HttpURLConnection con = (HttpURLConnection) new URL(url).openConnection();
con.setRequestMethod("POST");
con.setRequestProperty("Authorization", "Bearer " + apiKey);
con.setRequestProperty("Content-Type", "application/json");
con.setDoOutput(true);
try (OutputStream os = con.getOutputStream()) {
os.write(requestBody.getBytes(StandardCharsets.UTF_8));
}
// 3. 解析流式 SSE 响应
StringBuilder audioBase64 = new StringBuilder();
System.out.println("模型回复:");
try (BufferedReader br = new BufferedReader(
new InputStreamReader(con.getInputStream(), StandardCharsets.UTF_8))) {
String line;
while ((line = br.readLine()) != null) {
if (!line.startsWith("data: ") || line.equals("data: [DONE]")) continue;
String json = line.substring(6);
JsonObject chunk = new Gson().fromJson(json, JsonObject.class);
if (!chunk.has("choices") || chunk.getAsJsonArray("choices").size() == 0) continue;
JsonObject delta = chunk.getAsJsonArray("choices").get(0)
.getAsJsonObject().getAsJsonObject("delta");
if (delta.has("content") && !delta.get("content").isJsonNull()) {
System.out.print(delta.get("content").getAsString());
}
if (delta.has("audio") && !delta.get("audio").isJsonNull()) {
JsonObject audio = delta.getAsJsonObject("audio");
if (audio.has("data")) {
audioBase64.append(audio.get("data").getAsString());
}
}
}
}
// 4. 保存音频文件(API 返回原始 PCM 数据,需添加 WAV 头)
if (audioBase64.length() > 0) {
byte[] pcmBytes = Base64.getDecoder().decode(audioBase64.toString());
writeWav("audio_cloned.wav", pcmBytes, 24000);
System.out.println("\n音频文件已保存至:audio_cloned.wav");
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
音色配額與自動清理規則
-
總數限制:1000個音色/賬號
當前介面不提供音色數量查詢功能,可透過呼叫查詢音色列表介面自行統計音色數目
-
自動清理:音色一年內未用於任何模型呼叫請求,系統會自動刪除
計費說明
聲音複刻和模型呼叫分開計費:
-
聲音複刻:建立音色按$0.01/個計費,建立失敗不計費
說明免費額度說明(僅中國站北京地域和國際站新加坡地域有免費額度):
- 阿里雲百鍊開通後90天內,可享1000次免費音色建立機會。
- 建立失敗不佔用免費次數。
- 刪除音色不會恢復免費次數。
- 免費額度用完或超出 90 天有效期後,创建音色将按$0.01/個的價格計費。
-
使用複刻音色對話:按模型呼叫的 token 用量計費,詳見模型呼叫計費
版權與合法性
您需對提供聲音的所有權及合法使用權負責,請閱讀服務協議。
錄音操作指南
錄音設備
建議使用降噪麥克風,或在安靜環境中用手機近距離錄音。
錄音環境
場地
- 建議在 10 平方米以內的小型封閉空間錄音。
- 優先選擇配有吸音材料(如吸音棉、地毯、窗帘)的房間。
- 避免空曠大廳、會議室、教室等高混響場所。
噪音控制
- 室外噪音:關閉門窗,避免交通、施工等幹擾。
- 室內噪音:關閉空調、風扇、日光燈鎮流器等裝置;可通過手機錄製環境音並放大播放,識別潛在噪音源。
混響控制
- 混響會導致聲音模糊、清晰度下降。
- 減少光滑表面反射:拉上窗帘、開啟衣櫃門、鋪放衣物或床單覆蓋案頭/櫃面。
- 利用書架、軟包傢具等不規則物體分散聲波反射。
錄音文案
- 文案可自由選擇,建議貼合應用場景。例如,客服場景可使用客服對話。文案不得包含敏感或非法詞彙(如政治、色情、暴力相關內容),否則複刻會失敗。
- 避免短句(如“你好”、“是的”),應使用完整句子。
- 保持語義連貫,朗讀時避免頻繁停頓(建議至少連續 3 秒無中斷)。
- 可帶入親切、嚴肅等目標情緒。保持語調自然,避免過度誇張的戲劇化朗讀。
操作建議
以普通臥室為例:
- 關閉門窗,隔絕外部噪音。
- 關閉空調、電扇等電器。
- 拉上窗簾,減少玻璃反射。
- 在桌面鋪放衣物或毛毯,降低桌面反射。
- 提前熟悉文案,設定角色語氣,自然演繹。
- 與錄音裝置保持約 10 厘米距離,避免噴麥或訊號過弱。