Alibaba Cloud Model Studio:音声クローニング

Qwen-Audio-TTS 音声クローニング

ステップ 1： 音声の作成

音声クローニング API を呼び出してオーディオをアップロードし、音声を作成します。 url パラメーターはアクセス可能なオーディオファイルの URL を指定し、prefix パラメーターは音声名のプレフィックスを指定します。

curl -X POST 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "qwen-audio-3.0-tts-plus",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

ステップ 2： クローン音声による音声合成

次のリクエストで、前のステップで返された voice_id の値を使用します。

# coding=utf-8

import dashscope
from dashscope.audio.tts_v2 import *
import os

# シンガポールリージョンと北京リージョンでは API キーが異なります。 API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
# 環境変数が設定されていない場合は、次の行を実際の Model Studio API キーに置き換えてください：dashscope.api_key = "sk-xxx"
dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')

# 以下はシンガポールリージョンの設定です。 呼び出し時に "{WorkspaceId}" を実際のワークスペース ID に置き換えてください。 設定はリージョンによって異なります。
dashscope.base_websocket_api_url='wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference'

# 音声クローニングと音声合成では、同じモデルを使用する必要があります
model = "qwen-audio-3.0-tts-plus"
# voice パラメーターを、音声クローニングで生成されたカスタム音声に置き換えてください
voice = "voice_id"

# SpeechSynthesizer をインスタンス化し、モデル、音声、その他のリクエストパラメーターをコンストラクターに渡します
synthesizer = SpeechSynthesizer(model=model, voice=voice)
# テキストを送信して合成し、バイナリオーディオを取得します
audio = synthesizer.call("What's the weather like today?")
# 最初のテキスト送信では WebSocket 接続を確立する必要があるため、初回パケットレイテンシーには接続セットアップ時間が含まれます
print('[Metric] requestId: {}, first-packet latency: {} ms'.format(
    synthesizer.get_last_request_id(),
    synthesizer.get_first_package_delay()))

# オーディオをローカルファイルに保存します
with open('output.mp3', 'wb') as f:
    f.write(audio)

Qwen-Audio-Realtime 音声クローニング

ステップ 1： 音声の作成

DashScope SDK または HTTP API を使用して音声クローニング API を呼び出し、オーディオをアップロードして音声を作成します。 target_model パラメーターはリアルタイム対話モデル名を指定し、prefix パラメーターは音声名のプレフィックスを指定します。

import os
import requests

# 環境変数として設定されていない場合は、実際の API キーに置き換えてください：api_key = "sk-xxx"
api_key = os.environ.get('DASHSCOPE_API_KEY')

# Qwen-Audio-Realtime は北京リージョンでのみ利用可能です。
# {WorkspaceId} を実際のワークスペース ID に置き換えてください (北京リージョンの API キーを使用します)。
url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/audio/tts/customization'

response = requests.post(
    url,
    headers={
        'Authorization': f'Bearer {api_key}',
        'Content-Type': 'application/json'
    },
    json={
        'model': 'voice-enrollment',
        'input': {
            'action': 'create_voice',
            'target_model': 'qwen-audio-3.0-realtime-plus',
            'prefix': 'myvoice',
            'url': 'https://your-audio-url.wav'
        }
    }
)
result = response.json()
print('voice_id:', result['output']['voice_id'])

curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "qwen-audio-3.0-realtime-plus",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

ステップ 2： リアルタイム対話セッションでのクローン音声の使用

前の手順で返された voice_id を、session.update イベントの voice パラメーターに渡します。詳細については、「音声設定」をご参照ください。

{"type":"session.update","session":{"voice":"qwen-audio-3.0-realtime-plus-myvoice-xxxxxx"}}

CosyVoice 音声クローニング

ステップ 1： 音声の作成

音声クローニング API を呼び出してオーディオをアップロードし、音声を作成します。 url パラメーターはアクセス可能なオーディオファイルの URL を指定し、prefix パラメーターは音声名のプレフィックスを指定します。

curl -X POST 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "cosyvoice-v3.5-plus",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

ステップ 2： クローン音声による音声合成

次のリクエストで、前のステップで返された voice_id の値を使用します。

# coding=utf-8

import dashscope
from dashscope.audio.tts_v2 import *
import os

# シンガポールリージョンと北京リージョンでは API キーが異なります。 API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
# 環境変数が設定されていない場合は、次の行を実際の Model Studio API キーに置き換えてください：dashscope.api_key = "sk-xxx"
dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')

# 以下はシンガポールリージョンの設定です。 呼び出し時に "{WorkspaceId}" を実際のワークスペース ID に置き換えてください。 設定はリージョンによって異なります。
dashscope.base_websocket_api_url='wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference'

# 音声クローニングと音声合成では、同じモデルを使用する必要があります
model = "cosyvoice-v3.5-plus"
# voice パラメーターを、音声クローニングで生成されたカスタム音声に置き換えてください
voice = "voice_id"

# SpeechSynthesizer をインスタンス化し、モデル、音声、その他のリクエストパラメーターをコンストラクターに渡します
synthesizer = SpeechSynthesizer(model=model, voice=voice)
# テキストを送信して合成し、バイナリオーディオを取得します
audio = synthesizer.call("What's the weather like today?")
# 最初のテキスト送信では WebSocket 接続を確立する必要があるため、初回パケットレイテンシーには接続セットアップ時間が含まれます
print('[Metric] requestId: {}, first-packet latency: {} ms'.format(
    synthesizer.get_last_request_id(),
    synthesizer.get_first_package_delay()))

# オーディオをローカルファイルに保存します
with open('output.mp3', 'wb') as f:
    f.write(audio)

Qwen-TTS 音声クローニング

以下の例では、ローカルのオーディオファイル voice.mp3 を使用します。 コードを実行する際には、実際のファイルパスに置き換えてください。

import os
import requests
import base64
import pathlib
import dashscope

# ======= 定数 =======
DEFAULT_TARGET_MODEL = "qwen3-tts-vc-2026-01-22"  # 音声クローニングと音声合成では、同じモデルを使用する必要があります
DEFAULT_PREFERRED_NAME = "guanyu"
DEFAULT_AUDIO_MIME_TYPE = "audio/mpeg"
VOICE_FILE_PATH = "voice.mp3"  # 音声クローニングに使用するローカルオーディオファイルの相対パス

def create_voice(file_path: str,
                 target_model: str = DEFAULT_TARGET_MODEL,
                 preferred_name: str = DEFAULT_PREFERRED_NAME,
                 audio_mime_type: str = DEFAULT_AUDIO_MIME_TYPE) -> str:
    """
    音声を生成し、voice パラメーターを返します
    """
    # シンガポールリージョンと北京リージョンでは API キーが異なります。 API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
    # 環境変数が設定されていない場合は、次の行を実際の Model Studio API キーに置き換えてください：api_key = "sk-xxx"
    api_key = os.getenv("DASHSCOPE_API_KEY")

    file_path_obj = pathlib.Path(file_path)
    if not file_path_obj.exists():
        raise FileNotFoundError(f"Audio file not found: {file_path}")

    base64_str = base64.b64encode(file_path_obj.read_bytes()).decode()
    data_uri = f"data:{audio_mime_type};base64,{base64_str}"

    # 以下はシンガポールリージョンの設定です。
    url = "https://dashscope-intl.aliyuncs.com/api/v1/services/audio/tts/customization"
    payload = {
        "model": "qwen-voice-enrollment", # この値は変更しないでください
        "input": {
            "action": "create",
            "target_model": target_model,
            "preferred_name": preferred_name,
            "audio": {"data": data_uri}
        }
    }
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }

    resp = requests.post(url, json=payload, headers=headers)
    if resp.status_code != 200:
        raise RuntimeError(f"Failed to create voice: {resp.status_code}, {resp.text}")

    try:
        return resp.json()["output"]["voice"]
    except (KeyError, ValueError) as e:
        raise RuntimeError(f"Failed to parse voice response: {e}")

if __name__ == '__main__':
    # 以下はシンガポールリージョンの設定です。
    dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

    text = "What's the weather like today?"
    response = dashscope.MultiModalConversation.call(
        model=DEFAULT_TARGET_MODEL,
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        text=text,
        voice=create_voice(VOICE_FILE_PATH), # voice パラメーターを、音声クローニングで生成されたカスタム音声に置き換えてください
        stream=False
    )
    print(response)

curl -X POST 'https://dashscope-intl.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "qwen-voice-enrollment",
    "input": {
        "action": "create",
        "target_model": "qwen3-tts-vc-2026-01-22",
        "preferred_name": "guanyu",
        "audio": {
            "data": "https://xxx.wav"
        }
    }
}'

curl -X POST 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "qwen3-tts-vc-2026-01-22",
    "input": {
        "text": "What's the weather like today?",
        "voice": "YOUR_VOICE_ID"
    }
}'

録音機器

スマートフォン、デジタルボイスレコーダー、またはプロ用の録音機器を使用できます。音声要件を満たすため、高サンプルレート録音 (≥ 24 kHz) をサポートするデバイスを推奨します。

録音環境

場所

• 10 平方メートル以下の小さな密閉空間で録音してください。

• 吸音フォーム、カーペット、カーテンなどの吸音材がある部屋を優先してください。

• オープンホール、会議室、教室など、残響が大きい空間は避けてください。

ノイズコントロール

• 外部ノイズ：ドアと窓を閉めて、交通や工事の音、その他の妨げを避けてください。

• 内部ノイズ：エアコン、扇風機、蛍光灯の安定器、その他の機器の電源を切ってください。スマートフォンで環境音を録音し、大音量で再生することで、潜在的なノイズ源を特定できます。

残響コントロール

• 残響により音がぼやけ、明瞭度が低下します。

• 滑らかな表面からの反射を減らす：カーテンを閉め、ワードローブのドアを開け、テーブルやキャビネットに衣類や毛布をかけてください。

• 不規則な物体 (本棚や布張りの家具など) を使用して乱反射を作り出してください。

録音用の原稿

• 原稿の内容に特定の制限はありません。ターゲットユースケースに合わせて内容を選ぶことを推奨します。

• 短いフレーズ (「こんにちは」や「はい」など) は避け、完結した文章を使用してください。

• 意味的な一貫性を保ち、読みながら頻繁に間を空けないようにしてください (最低 3 秒間の連続した発話を推奨します)。

• 全体を通して一貫した話速を維持してください。冒頭や終わりで速く話しすぎると、合成時に音声の途切れが発生する可能性があります。

• 適切な感情表現 (温かさ、親しみやすさ、真剣さなど) を込めてください。機械的な読み上げは避けてください。

• センシティブなコンテンツ (政治的、性的、暴力的な内容など) を含めないでください。含めるとクローニングが失敗します。

ベストプラクティス

典型的な寝室を例として、ノイズと残響への対策を完了した後：

1. 事前に原稿に慣れ、キャラクターのトーンを決め、自然に話してください。

2. 録音機器から約 10 cm の距離を保ち、破裂音による歪みや弱い信号を避けてください。

音声クォータと自動クリーンアップ

• 音声の上限： 各 Alibaba Cloud Model Studio アカウントは、Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice 用に最大 1,000 個のカスタムボイスを作成でき、Qwen-TTS 用に最大 1,000 個作成できます (2 つのクォータは個別にカウントされます)。上限に達すると、新しい作成リクエストは失敗し、エラーを返します。システムは作成日時が最も古い音声を自動的に削除しません。新しい音声を作成できるようになるには、不要な音声を削除してクォータを解放するか、未使用の音声が自動的にクリーンアップされるまで待つ必要があります (以下の自動クリーンアップルールを参照)。

• 上限到達後の動作： 1,000 個の音声上限に達した後、音声作成 API への後続の呼び出しは失敗し、エラーを返します。システムは、空き容量を確保するために作成日時が最も古い音声を自動的に削除しません。引き続き音声を作成するには、不要な音声を手動で削除してクォータを解放する必要があります。

• 自動クリーンアップルール： 過去 1 年間に音声合成リクエストで使用されていない音声は、システムによって自動的に削除されます。

課金ルール

• Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice： 音声作成は無料です。

• Qwen-TTS： $0.01/音声 で課金されます。作成に失敗した場合は課金されません。

  無料クォータ (Singapore リージョンでのみ利用可能)：

  • Alibaba Cloud Model Studio の有効化から 90 日以内に、最大 1,000 個の音声を無料で作成できます。

  • 作成に失敗した場合、無料クォータは消費されません。

  • 音声を削除しても、無料クォータは復元されません。

  • 無料クォータを使い切った後、または 90 日間の期間が終了した後は、音声作成には $0.01/音声 が課金されます。

Q：作成した音声を別の音声合成モデルで使用できますか？

いいえ。音声は作成時に target_model パラメーターで特定の音声合成モデルに紐付けられるため、モデル間で共用できません。同じオーディオの音声を複数のモデルで使用する必要がある場合は、モデルごとに個別の音声を作成してください。

Q：クローンされた音声の有効期間はどのくらいですか？

Qwen-Audio-TTS、Qwen-Audio-Realtime、Qwen-TTS、および CosyVoice で作成した音声は、デフォルトで無期限に有効です。ただし、過去 1 年間に音声合成リクエストで使用されていない音声は、システムによって自動的に削除されます。詳細については、「音声のクォータと自動クリーンアップ」をご参照ください。音声 ID を保存することを推奨します。音声が引き続き利用可能かどうかは、クエリ API で確認できます。

Q：オーディオの品質が低いと、クローニング結果に影響しますか？

はい。入力オーディオの品質は、クローニング結果に直接影響します。バックグラウンドノイズ、残響、複数の音声は、クローンされた音声の類似度と自然さを低下させます。「オーディオ要件」および「録音のヒント」に従ってサンプルを準備することを推奨します。