Alibaba Cloud Model Studio:CosyVoice Android SDK

CosyVoice テキスト読み上げ（TTS）SDKを使用して、Androidアプリでテキストを表現力豊かで高品質な音声に変換します。

NativeNui

SDKは複数のNativeNuiインスタンスをサポートし、コールバックを使用して合成イベントを配信します。

• 複数のインスタンス：new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS)を呼び出してインスタンスを作成します。

• コールバック駆動：INativeStreamInputTtsCallbackインターフェースを通じてイベントと音声データを受信します。

• イベントタイプ:
  • STREAM_INPUT_TTS_EVENT_SYNTHESIS_STARTED：合成タスクが開始されました。
  • onStreamInputTtsDataCallback：音声データが配信されます。
  • STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE：合成タスクが完了しました。
  • STREAM_INPUT_TTS_EVENT_TASK_FAILED：合成タスクが失敗しました。

使用フロー

CosyVoiceは、一括入力とストリーミング入力の2つの呼び出しモードをサポートしています。

一括入力は、短いテキストやSSMLマークアップを使用するあらゆるシナリオに適しています。

1. playStreamInputTts()またはasyncPlayStreamInputTts() — 完全なテキストを送信して合成を開始します。前者は同期であり、合成が完了した後に戻ります。後者は非同期であり、合成を開始した直後に戻ります。
2. onStreamInputTtsDataCallback() — 音声データを受信します。
3. STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — 合成が完了しました。

ストリーミング入力は、リアルタイム会話や長文の「話しながら生成する」シナリオに適しています。このモードではSSMLはサポートされていません。

1. startStreamInputTts() — SDKを初期化し、コールバックと接続パラメータを設定します。
2. sendStreamInputTts() — テキストが利用可能になり次第、継続的に送信します。
3. onStreamInputTtsDataCallback() — 音声データを受信します。
4. stopStreamInputTts()またはasyncStopStreamInputTts() — 合成終了リクエストを送信します。前者は同期であり、合成が完了した後に戻ります。後者は非同期であり、リクエストを送信した直後に戻ります。
5. STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — 合成が完了しました。

startStreamInputTts

双方向ストリーミング合成を開始し、サービスへの接続を開き、イベントと音声データのコールバックを登録します。

このメソッドはブロックされる可能性があります。非 UI スレッドで呼び出してください。

public synchronized int startStreamInputTts(INativeStreamInputTtsCallback callback,
                                            String ticket,
                                            String parameters,
                                            String session_id,
                                            int log_level,
                                            boolean save_log)

エラーコード を返します。

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "sk-****",
    "device_id": "my_device_id"
}

{
    "model": "cosyvoice-v3-plus",
    "voice": "longanyang",
    "format": "mp3",
    "volume": 50,
    "rate": 1.0,
    "pitch": 1.0
}

"hot_fix": {
  "pronunciation": [
    {"天气": "tian1 qi4"}
  ],
  "replace": [
    {"今天": "金天"}
  ]
}

sendStreamInputTts

合成するテキストを送信します。このメソッドはstartStreamInputTtsと一緒に使用します。

startStreamInputTtsを呼び出した後、このメソッドを呼び出してテキストを継続的にプッシュします。

すべてのテキストを送信したら、stopStreamInputTtsまたはasyncStopStreamInputTtsを呼び出して入力を終了します。

public synchronized int sendStreamInputTts(String text)

エラーコード を返します。

stopStreamInputTts

すべてのテキストが送信されたことをサーバーに通知し、すべての音声が合成されてSTREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETEイベントが受信されるまでブロックする同期メソッド。

待機タイムアウトはcomplete_waiting_msによって制御されます。

public synchronized int stopStreamInputTts()

エラーコード を返します。

asyncStopStreamInputTts

すべてのテキストが送信されたことをサーバーに通知する非同期メソッド。呼び出しはすぐに戻り、合成はバックグラウンドで続行されます。

合成が完了したことを検出するには、STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETEイベントを使用します。

public synchronized int asyncStopStreamInputTts()

エラーコード を返します。

cancelStreamInputTts

サーバーへの接続を即座に閉じ、現在の合成タスクを中止します。この呼び出しの後、それ以上の音声コールバックは配信されません。

public synchronized int cancelStreamInputTts()

エラーコード を返します。

playStreamInputTts

同期一括合成メソッド。呼び出しはテキストを送信し、音声の受信中はブロックされ、合成が完了した後にのみ戻ります。その後、stopメソッドを呼び出す必要はありません。

このメソッドではSSMLがデフォルトで有効になっています。オーバーライドするには、enable_ssmlを明示的に設定してください。

このメソッドは非UIスレッドで呼び出してください。

public synchronized int playStreamInputTts(INativeStreamInputTtsCallback callback,
                                           String ticket,
                                           String parameters,
                                           String text,
                                           String session_id,
                                           int log_level,
                                           boolean save_log)

callback、ticket、およびその他の共有パラメータは、startStreamInputTtsと同じ意味を持ちます。

エラーコード を返します。

asyncPlayStreamInputTts

非同期一括合成メソッド。呼び出しはすぐに戻り、合成はバックグラウンドで実行され、結果はコールバックを通じて配信されます。その後、stopメソッドを呼び出す必要はありません。

このメソッドではSSMLがデフォルトで有効になっています。オーバーライドするには、enable_ssmlを明示的に設定してください。

public synchronized int asyncPlayStreamInputTts(INativeStreamInputTtsCallback callback,
                                           String ticket,
                                           String parameters,
                                           String text,
                                           String session_id,
                                           int log_level,
                                           boolean save_log)

callback、ticket、およびその他の共有パラメータは、startStreamInputTtsと同じ意味を持ちます。

エラーコード を返します。

INativeStreamInputTtsCallback

CosyVoiceストリーミングTTSコールバックインターフェースは、合成イベント、音声データ、およびログを配信します。

onStreamInputTtsEventCallback: イベントの受信

void onStreamInputTtsEventCallback(StreamInputTtsEvent event,
                                   String task_id,
                                   String session_id,
                                   int ret_code,
                                   String error_msg,
                                   String timestamp,
                                   String all_response);

onStreamInputTtsDataCallback: オーディオデータの受信

SDKは合成中にこのコールバックを繰り返し呼び出します。コールバックから音声データを読み取ります。

void onStreamInputTtsDataCallback(byte[] data);

onStreamInputTtsLogTrackCallback: トレースログの受信

このコールバックを使用してSDKから詳細な内部ログを受信します。これはトラブルシューティングとデバッグに役立ちます。

default void onStreamInputTtsLogTrackCallback(Constants.LogLevel level, String log)

StreamInputTtsEvent

CosyVoiceストリーミング音声合成のイベントタイプ列挙型。

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-failed",
        "error_code": "InvalidParameter",
        "error_message": "[tts:]Engine return error code: 418",
        "attributes": {}
    },
    "payload": {}
}

サンプルコード

1. APIキーの取得： APIキーの取得。セキュリティのため、APIキーは環境変数に保存してください。

   注記サードパーティアプリやユーザーに一時的なアクセスを許可する必要がある場合、または機密データへのアクセスや削除などの高リスク操作を厳密に制御したい（want）場合は、一時的なAPIキーを使用してください。一時的なAPIキーは60秒間有効であり、その後は新しいキーをリクエストする必要があります。

2. SDKをダウンロードしてサンプルコードを実行します:
   • 最新のSDKパッケージをダウンロードします。
   • パッケージを解凍します。AARフォーマットのSDKはapp/libsにあります。これをプロジェクトの依存関係に追加してください。Android C++統合の場合、ZIP内のandroid_libsから共有ライブラリを、android_includeからヘッダーを取得します。
   • Android Studioでプロジェクトを開きます。サンプルコードはDashCosyVoiceStreamTtsActivity.javaにあります。APIキーをご自身のものに置き換えて、機能を試してください。

呼び出しモード

高度な機能

SSMLマークアップ

目的：テキストにXMLタグを埋め込んで、発音、話す速度、ポーズ、その他の韻律の詳細を微調整します。

制限事項： SSMLは一括テキスト入力（playStreamInputTtsまたはasyncPlayStreamInputTtsメソッド）でのみサポートされています。ストリーミングテキスト入力（sendStreamInputTtsメソッド）ではSSMLはサポートされていません。

使用法：playStreamInputTtsまたはasyncPlayStreamInputTtsを呼び出すと、SDKはSSMLを自動的に有効にします。SSMLタグを含むテキストをtextパラメータを通じて渡してください。

詳細については、SSMLを参照してください。

数式

目的：モデルに一般的な数式や表現を正しく読み上げさせます。

使用法：LaTeX形式の数式を含むテキストをtextパラメータを通じて渡します。詳細については、LaTeX数式を音声に変換する（中国語のみ）を参照してください。