Alibaba Cloud Model Studio:CosyVoice 音声合成 Java SDK

getBeginTime() - 文の開始時刻の取得

メソッドシグネチャー:

public int getBeginTime()

戻り値: 文の開始時刻（ミリ秒単位）。

getEndTime() - 文の終了時刻の取得

メソッドシグネチャー:

public int getEndTime()

戻り値: 文の終了時刻（ミリ秒単位）。

getWords() - 単語レベルのタイムスタンプの取得

メソッドシグネチャー:

public List<Word> getWords()

戻り値: 単語レベルのタイムスタンプ情報を含む Word オブジェクトの List。空の場合があります。

getBeginTime() - 単語の開始時刻の取得

メソッドシグネチャー:

public int getBeginTime()

戻り値: 単語の開始時刻（ミリ秒単位）。

getEndTime() - 単語の終了時刻の取得

メソッドシグネチャー:

public int getEndTime()

戻り値: 単語の終了時刻（ミリ秒単位）。

getText() - テキストの取得

メソッドシグネチャー:

public String getText()

戻り値: String。テキスト内容です。

getPhonemes() - 音素レベルのタイムスタンプの取得

メソッドシグネチャー:

public List<Phoneme> getPhonemes()

戻り値: 音素レベルのタイムスタンプ情報を含む Phoneme オブジェクトの List。空の場合があります。

getBeginTime() - 音素の開始時刻の取得

メソッドシグネチャー:

public int getBeginTime()

戻り値: 音素の開始時刻（ミリ秒単位）。

getEndTime() - 音素の終了時刻の取得

メソッドシグネチャー:

public int getEndTime()

戻り値: 音素の終了時刻（ミリ秒単位）。

getText() - テキストの取得

メソッドシグネチャー:

public String getText()

戻り値: String。テキスト内容です。

getTone() - トーンの取得

メソッドシグネチャー:

public int getTone()

戻り値: トーン値。

• 英語では、0、1、2 はそれぞれ非強勢、主強勢、副強勢を表します。

• 中国語ピンインでは、1、2、3、4、5 はそれぞれ第1声、第2声、第3声、第4声、軽声を表します。

• 非ストリーミング: 完全なテキストを一度に送信し、完全なオーディオを直接返すブロッキング呼び出し。短いテキストの音声合成に最適です。

• 単方向ストリーミング: 完全なテキストを一度に送信し、コールバック関数を通じてオーディオデータ（チャンクの可能性あり）を配信するノンブロッキング呼び出し。低遅延が求められる短いテキストのシナリオに最適です。

• 双方向ストリーミング: 複数のセグメントに分けてテキストを送信し、コールバック関数を通じてリアルタイムで増分的に合成されたオーディオを配信するノンブロッキング呼び出し。低遅延が求められる長いテキストのシナリオに最適です。

import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.utils.Constants;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;

public class Main {
    // モデル
    private static String model = "cosyvoice-v3-flash";
    // 音声
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // シンガポールおよび中国 (北京) リージョンの API キーは異なります。API キーの取得: https://www.alibabacloud.com/help/en/model-studio/get-api-key
                        // 環境変数が設定されていない場合は、次の行をご利用の Model Studio API キーに置き換えてください: .apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model) // モデル
                        .voice(voice) // 音声
                        .build();

        // 同期モード: コールバックを無効化（第 2 パラメーターは null）
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, null);
        ByteBuffer audio = null;
        try {
            // オーディオが返されるまでブロック
            audio = synthesizer.call("What's the weather like today?");
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後に WebSocket 接続をクローズ
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        if (audio != null) {
            // オーディオデータをローカルファイル "output.mp3" に保存
            File file = new File("output.mp3");
            // 最初のテキスト送信には WebSocket 接続の確立が必要なため、初期パケット遅延には接続設定時間が含まれます
            System.out.println(
                    "[Metric] requestId: "
                            + synthesizer.getLastRequestId()
                            + ", 初期パケット遅延 (ms): "
                            + synthesizer.getFirstPackageDelay());
            try (FileOutputStream fos = new FileOutputStream(file)) {
                fos.write(audio.array());
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }

    public static void main(String[] args) {
        // 次の構成はシンガポールリージョン用です。"{WorkspaceId}" は実際のワークスペース ID に置き換えてください。リージョンによって構成は異なります。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.concurrent.CountDownLatch;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}

public class Main {
    // モデル
    private static String model = "cosyvoice-v3-flash";
    // 音声
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        CountDownLatch latch = new CountDownLatch(1);

        // ResultCallback インターフェイスを実装
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                if (result.getAudioFrame() != null) {
                    // オーディオデータをローカルに保存するロジックをここに実装
                    System.out.println(TimeUtils.getTimestamp() + " オーディオを受信");
                }
                // イベントタイプおよび元のテキストを含む出力情報を取得
                if (result.getOutput() != null && result.getOutput().has("type")) {
                    System.out.println("イベントタイプ: " + result.getOutput().get("type").getAsString()
                            + ", 元のテキスト: " + (result.getOutput().has("original_text") ? result.getOutput().get("original_text").getAsString() : ""));
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 完了を受信、音声合成が終了しました");
                latch.countDown();
            }

            @Override
            public void onError(Exception e) {
                System.out.println("例外が発生しました: " + e.toString());
                latch.countDown();
            }
        };

        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // シンガポールおよび中国 (北京) リージョンの API キーは異なります。API キーの取得: https://www.alibabacloud.com/help/en/model-studio/get-api-key
                        // 環境変数が設定されていない場合は、次の行をご利用の Model Studio API キーに置き換えてください: .apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model) // モデル
                        .voice(voice) // 音声
                        .build();
        // 第 2 パラメーターとして "callback" を渡すことで非同期モードを有効化
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // ノンブロッキング呼び出しで即座に null を返します（実際の結果はコールバックインターフェイスを介して非同期で配信されます）。バイナリオーディオはコールバックインターフェイスの onEvent メソッドを通じてリアルタイムで受信
        try {
            synthesizer.call("What's the weather like today?");
            // 合成が完了するまで待機
            latch.await();
            // 再生スレッドが再生を終了するのを待機
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後に WebSocket 接続をクローズ
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        // 最初のテキスト送信には WebSocket 接続の確立が必要なため、初期パケット遅延には接続設定時間が含まれます
        System.out.println(
                "[Metric] requestId: "
                        + synthesizer.getLastRequestId()
                        + ", 初期パケット遅延 (ms): "
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        // 次の構成はシンガポールリージョン用です。"{WorkspaceId}" は実際のワークスペース ID に置き換えてください。リージョンによって構成は異なります。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}

public class Main {
    private static String[] textArray = {"Streaming text-to-speech SDK, ",
            "can convert input text ", "into audio binary data. ", "Compared to non-streaming speech synthesis, ",
            "streaming synthesis offers better real-time performance. ", "While users input text, ",
            "they can hear nearly synchronous audio output, ", "greatly enhancing the interactive experience ",
            "and reducing user wait time. ", "It is suitable for calling large-scale ", "language models (LLMs) to ",
            "perform speech synthesis ", "with streaming text input."};
    private static String model = "cosyvoice-v3-flash"; // モデル
    private static String voice = "longanyang"; // 音声

    public static void streamAudioDataToSpeaker() {
        // コールバック関数を構成
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                // System.out.println("メッセージを受信: " + result);
                if (result.getAudioFrame() != null) {
                    // オーディオデータを処理するロジックをここに実装
                    System.out.println(TimeUtils.getTimestamp() + " オーディオを受信");
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 完了を受信、音声合成が終了しました");
            }

            @Override
            public void onError(Exception e) {
                System.out.println("例外が発生しました: " + e.toString());
            }
        };

        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // シンガポールおよび中国 (北京) リージョンの API キーは異なります。API キーの取得: https://www.alibabacloud.com/help/en/model-studio/get-api-key
                        // 環境変数が設定されていない場合は、次の行をご利用の Model Studio API キーに置き換えてください: .apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model)
                        .voice(voice)
                        .format(SpeechSynthesisAudioFormat
                                .PCM_22050HZ_MONO_16BIT) // ストリーミング合成には PCM または MP3 を使用
                        .build();
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // コールバック付きの呼び出しメソッドは現在のスレッドをブロックしません
        try {
            for (String text : textArray) {
                // テキストフラグメントを送信し、コールバックインターフェイスの onEvent メソッドを通じてバイナリオーディオをリアルタイムで受信
                synthesizer.streamingCall(text);
            }
            // ストリーミング音声合成が終了するのを待機
            synthesizer.streamingComplete();
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後に WebSocket 接続をクローズ
            synthesizer.getDuplexApi().close(1000, "bye");
        }

        // 最初のテキスト送信には WebSocket 接続の確立が必要なため、初期パケット遅延には接続設定時間が含まれます
        System.out.println(
                "[Metric] requestId: "
                        + synthesizer.getLastRequestId()
                        + ", 初期パケット遅延 (ms): "
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        // 次の構成はシンガポールリージョン用です。"{WorkspaceId}" は実際のワークスペース ID に置き換えてください。リージョンによって構成は異なります。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}