Alibaba Cloud Model Studio:CosyVoice 音声合成 Java SDK

import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;

public class Main {
    // モデル
    private static String model = "cosyvoice-v3-flash";
    // 音声
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // API キーが環境変数として設定されていない場合は、次の行のコメントを解除し、your-api-key をご自身の API キーに置き換えてください。
                        // .apiKey("your-api-key")
                        .model(model) // モデル
                        .voice(voice) // 音声
                        .build();

        // 同期モード：コールバックを無効にします (2 番目のパラメーターは null)。
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, null);
        ByteBuffer audio = null;
        try {
            // 音声が返されるまでブロックします。
            audio = synthesizer.call("今日の天気はどうですか？");
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後、WebSocket 接続を閉じます。
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        if (audio != null) {
            // 音声データを "output.mp3" という名前のローカルファイルに保存します。
            File file = new File("output.mp3");
            // 最初にテキストを送信する際に WebSocket 接続を確立する必要があるため、初回パケット遅延には接続確立にかかる時間が含まれます。
            System.out.println(
                    "[Metric] Request ID: "
                            + synthesizer.getLastRequestId()
                            + ", First-packet latency (ms): "
                            + synthesizer.getFirstPackageDelay());
            try (FileOutputStream fos = new FileOutputStream(file)) {
                fos.write(audio.array());
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }

    public static void main(String[] args) {
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.concurrent.CountDownLatch;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}

public class Main {
    // モデル
    private static String model = "cosyvoice-v3-flash";
    // 音声
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        CountDownLatch latch = new CountDownLatch(1);

        // ResultCallback インターフェイスを実装します。
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                // System.out.println("Message received: " + result);
                if (result.getAudioFrame() != null) {
                    // ここに音声データをローカルファイルに保存するロジックを実装します。
                    System.out.println(TimeUtils.getTimestamp() + " Audio received");
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 'Complete' received. Speech synthesis is finished.");
                latch.countDown();
            }

            @Override
            public void onError(Exception e) {
                System.out.println("An exception occurred: " + e.toString());
                latch.countDown();
            }
        };

        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // API キーを環境変数として設定していない場合は、次の行のコメントを解除し、"your-api-key" をご自身の API キーに置き換えてください。
                        // .apiKey("your-api-key")
                        .model(model) // モデル
                        .voice(voice) // 音声
                        .build();
        // コールバックを 2 番目のパラメーターとして渡し、非同期モードを有効にします。
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // これは非ブロッキング呼び出しであり、すぐに null を返します。実際の結果はコールバックインターフェイスを介して非同期に渡されます。コールバックインターフェイスの onEvent メソッドでバイナリ音声をリアルタイムで取得します。
        try {
            synthesizer.call("今日の天気はどうですか？");
            // 合成が完了するのを待ちます。
            latch.await();
            // すべての再生スレッドが終了するのを待ちます。
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後、WebSocket 接続を閉じます。
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        // 最初にテキストを送信する際に WebSocket 接続を確立する必要があるため、初回パケット遅延には接続確立にかかる時間が含まれます。
        System.out.println(
                "[Metric] Request ID: "
                        + synthesizer.getLastRequestId()
                        + ", First-packet latency (ms): "
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.concurrent.CountDownLatch;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}


public class Main {
    private static String[] textArray = {"ストリーミング音声合成 SDK は、",
            "入力テキストを ", "バイナリ音声データに変換できます。", "非ストリーミング音声合成と比較して、",
            "ストリーミング合成はより強力な ", "リアルタイム性能という利点があります。ユーザーはテキストを入力しながら ",
            "ほぼ同期した音声出力を聞くことができ、", "インタラクティブな体験を大幅に向上させ、",
            "ユーザーの待機時間を短縮します。", "大規模言語モデル (LLM) を呼び出して ", "音声合成を実行するシナリオに適しています。",
            "ストリーミングテキスト入力によって。"};
    private static String model = "cosyvoice-v3-flash"; // モデル
    private static String voice = "longanyang"; // 音声

    public static void streamAudioDataToSpeaker() {
        // コールバック関数を設定します。
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                // System.out.println("Message received: " + result);
                if (result.getAudioFrame() != null) {
                    // ここに音声データを処理するロジックを実装します。
                    System.out.println(TimeUtils.getTimestamp() + " Audio received");
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 'Complete' received. Speech synthesis is finished.");
            }

            @Override
            public void onError(Exception e) {
                System.out.println("An exception occurred: " + e.toString());
            }
        };

        // リクエストパラメーター
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // API キーが環境変数として設定されていない場合は、次の行のコメントを解除し、your-api-key をご自身のキーに置き換えてください。
                        // .apiKey("your-api-key")
                        .model(model)
                        .voice(voice)
                        .format(SpeechSynthesisAudioFormat
                                .PCM_22050HZ_MONO_16BIT) // ストリーミング合成は PCM または MP3 を使用します。
                        .build();
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // コールバック付きの call メソッドは現在のスレッドをブロックしません。
        try {
            for (String text : textArray) {
                // テキストセグメントを送信し、コールバックインターフェイスの onEvent メソッドからバイナリ音声をリアルタイムで受信します。
                synthesizer.streamingCall(text);
            }
            // ストリーミング音声合成が完了するのを待ちます。
            synthesizer.streamingComplete();
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // タスク完了後、WebSocket 接続を閉じます。
            synthesizer.getDuplexApi().close(1000, "bye");
        }

        // 最初のテキストセグメントが送信されるときに WebSocket 接続が確立されます。したがって、初回パケット遅延には接続確立時間が含まれます。
        System.out.println(
                "[Metric] Request ID: "
                        + synthesizer.getLastRequestId()
                        + ", First-packet latency (ms): "
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
    @Override
    public void onEvent(SpeechSynthesisResult result) {
        System.out.println("RequestId: " + result.getRequestId());
        // 再生やバッファへの書き込みなど、音声シャードをリアルタイムで処理します。
    }

    @Override
    public void onComplete() {
        System.out.println("Task completed");
        // プレーヤーの解放など、合成後のロジックを処理します。
    }

    @Override
    public void onError(Exception e) {
        System.out.println("Task failed: " + e.getMessage());
        // ネットワークエラーやサーバー側のエラーコードなど、例外を処理します。
    }
};