Alibaba Cloud Model Studio:CosyVoice iOS SDK

CosyVoice iOS SDKを使用して、iOSアプリでテキストを高品質で表現力豊かな音声に変換します。

NeoNui

• シングルトンパターン：[StreamInputTts get_instance]を通じてグローバルインスタンスを取得します。
• コールバック駆動：StreamInputTtsDelegateプロトコルを通じてイベントと音声データを受信します。
• JSON設定：パラメータをJSON文字列として渡します。

呼び出しフロー

CosyVoiceは、一括入力とストリーミング入力の2つの呼び出しモードをサポートしています。

一括入力：短文合成やSSMLマークアップが必要な場合に最適です。

1. playStreamInputTts()またはasyncPlayStreamInputTts() — 完全なテキストを送信して合成を開始します。前者は同期式で合成完了後に戻り、後者は非同期式で合成開始後すぐに戻ります。
2. onStreamInputTtsDataCallback() — 音声データを受信します。
3. TTS_EVENT_SYNTHESIS_COMPLETE — 合成完了。

ストリーミング入力：リアルタイム会話や長時間の「合成しながら発話」シナリオに最適です。このモードではSSMLマークアップはサポートされていません。

1. startStreamInputTts() — SDKを初期化し、コールバックデリゲートと接続パラメータを設定します。
2. sendStreamInputTts() — 合成するテキストフラグメントを継続的に送信します。
3. onStreamInputTtsDataCallback() — 音声データを受信します。
4. stopStreamInputTts()またはasyncStopStreamInputTts() — 合成終了リクエストを送信します。前者は同期式で合成完了後に戻り、後者は非同期式でリクエスト送信後すぐに戻ります。
5. TTS_EVENT_SYNTHESIS_COMPLETE — 合成完了。

startStreamInputTts

ストリーミング音声合成タスクを開始し、サーバーへの接続を開きます。

- (int) startStreamInputTts:(const char *)ticket parameters:(const char *)parameters sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

エラーコード を返します。 ticket JSONの例： 次の例ではすべてのフィールドをリストしていません。コードが必要とする他のフィールドを追加してください。

{
  "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
  "apikey": "st-****",
  "device_id": "my_device_id"
}

parameters JSONの例：次の例ではすべてのフィールドをリストしていません。コードが必要とする他のフィールドを追加してください。

{
  "model": "cosyvoice-v3-plus",
  "voice": "longanyang",
  "format": "mp3",
  "sample_rate": 24000,
  "volume": 50,
  "rate": 1,
  "pitch": 1,
  "language_hints": ["zh"],
  "enable_ssml": false
}

"hot_fix": {
  "pronunciation": [
    {"天气": "tian1 qi4"}
  ],
  "replace": [
    {"今天": "金天"}
  ]
}

sendStreamInputTts

合成するテキストを送信します。このメソッドはstartStreamInputTtsと一緒に使用します。

startStreamInputTtsを呼び出した後、このメソッドを使用してテキストを継続的にプッシュします。

すべてのテキストを送信した後、stopStreamInputTtsまたはasyncStopStreamInputTtsを呼び出して入力の終了を通知してください。

- (int) sendStreamInputTts:(const char *)text;

エラーコード を返します。

stopStreamInputTts

同期メソッドです。すべてのテキストが送信されたことをサーバーに通知し、すべての音声チャンクが合成されてTTS_EVENT_SYNTHESIS_COMPLETEが受信されるまでブロックします。

ブロックタイムアウトはcomplete_waiting_msによって制御されます。

- (int) stopStreamInputTts;

エラーコード を返します。

asyncStopStreamInputTts

非同期メソッド。すべてのテキストが送信されたことをサーバーに通知し、すぐに返ります。合成はバックグラウンドで続行されます。

合成が完了したことを検出するには、TTS_EVENT_SYNTHESIS_COMPLETEを使用します。

- (int) asyncStopStreamInputTts;

エラーコード を返します。

cancelStreamInputTts

サーバーへの接続を即座に切断し、現在の合成タスクを終了します。このメソッドが呼び出された後、それ以上の音声データコールバックは発生しません。

- (int) cancelStreamInputTts;

エラーコード を返します。

playStreamInputTts

同期ワンショット合成メソッドです。テキストを送信し、すべての音声データが受信されるまでブロックし、合成が完了した後に戻ります。その後、stopStreamInputTtsを呼び出す必要はありません。

このメソッドはデフォルトでSSMLを有効にします。SSMLを無効にするには、parameters内のenable_ssmlフィールドをfalseに設定します。

- (int) playStreamInputTts:(const char *)ticket parameters:(const char *)parameters text:(const char *)text sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

ticket、parameters、およびその他の共有パラメータは、startStreamInputTtsと同じ定義を使用します。

エラーコード を返します。

asyncPlayStreamInputTts

このメソッドは、合成用のすべてのテキストを非同期に送信します。音声データを待たずにすぐに戻ります。その後、stopStreamInputTtsを呼び出す必要はありません。

このメソッドはデフォルトでSSMLを有効にします。SSMLを無効にするには、parameters内のenable_ssmlフィールドをfalseに設定します。

- (int) asyncPlayStreamInputTts:(const char *)ticket parameters:(const char *)parameters text:(const char *)text sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

ticket、parameters、およびその他の共有パラメータは、startStreamInputTtsと同じ定義を使用します。

エラーコード を返します。

StreamInputTtsDelegate

CosyVoiceストリーミング音声合成用のコールバックプロトコルです。合成イベント、音声データ、およびログを受信するには、このプロトコルを実装してください。

onStreamInputTtsEventCallback：イベントのリッスン

- (void)onStreamInputTtsEventCallback:(StreamInputTtsCallbackEvent)event taskId:(char*)taskid sessionId:(char*)sessionId ret_code:(int)ret_code error_msg:(char*)error_msg timestamp:(char*)timestamp all_response:(char*)all_response;

onStreamInputTtsDataCallback：音声データのリッスン

SDKは合成中にこのコールバックを繰り返し発生させます。コールバックから音声データを読み取ります。

- (void)onStreamInputTtsDataCallback:(char*)buffer len:(int)len;

onStreamInputTtsLogTrackCallback：トレースログのリッスン

このコールバックは、トラブルシューティングとデバッグに役立つ詳細なSDK内部ログを配信します。

- (void)onStreamInputTtsLogTrackCallback:(NuiSdkLogLevel)level
                            logMessage:(const char *)log;

StreamInputTtsCallbackEvent

CosyVoiceストリーミング音声合成のイベントタイプ列挙型。

{
        "header": {
            "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
            "event": "task-failed",
            "error_code": "InvalidParameter",
            "error_message": "[tts:]Engine return error code: 418",
            "attributes": {}
        },
        "payload": {}
    }

NuiSdkLogLevel

ログ出力を制御するSDKのログレベル列挙型。

サンプルコード

1. APIキーの取得： APIキーの取得。

2. SDKをダウンロードしてサンプルコードを実行します:
   • 最新のSDKバンドルのダウンロード。
   • ZIPアーカイブを抽出し、nuisdk.frameworkをXcodeプロジェクトに追加します。
   • Build Phases > Link Binary With Librariesで、nuisdk.frameworkを追加します。
   • General > Frameworks, Libraries, and Embedded Contentで、nuisdk.frameworkをEmbed & Signに設定します。
   • Xcodeでサンプルプロジェクトを開きます。サンプルコードはDashCosyVoiceStreamInputTTSViewController.mにあります。プレースホルダーのAPIキーを自身のものに置き換えて、アプリを実行してお試しください。

呼び出しモード

高度な機能

SSMLマークアップ

目的： 入力テキストにXMLタグを埋め込んで、発音、話速、ポーズ、その他のプロソディ詳細を正確に制御します。

制限事項：SSMLはワンショット入力（playStreamInputTtsおよびasyncPlayStreamInputTtsメソッド）でのみサポートされています。ストリーミング入力（sendStreamInputTtsメソッド）ではサポートされていません。

使用方法：playStreamInputTtsまたはasyncPlayStreamInputTtsを呼び出すと、SDKは自動的にSSMLを有効にします。SSMLタグを含むテキストをtextパラメータに直接渡してください。

詳細については、SSMLを参照してください。

数式

目的： モデルに一般的な数式や表現を正しく読み上げさせます。

使用方法：LaTeX形式の数式を含むテキストをtextパラメータに直接渡してください。詳細については、LaTeX数式を音声に変換する（中国語のみ）を参照してください。