即時語音合成CosyVoice Java SDK

getBeginTime() - 擷取句子開始時間

方法簽名：

public int getBeginTime()

傳回值：句子開始時間，單位為ms。

getEndTime() - 擷取句子結束時間

方法簽名：

public int getEndTime()

傳回值：句子結束時間，單位為ms。

getWords() - 擷取字層級時間戳記

方法簽名：

public List<Word> getWords()

傳回值：Word的List集合，批量擷取字層級時間戳記資訊，可能為空白。

getBeginTime() - 擷取詞開始時間

方法簽名：

public int getBeginTime()

傳回值：詞開始時間，單位為ms。

getEndTime() - 擷取詞結束時間

方法簽名：

public int getEndTime()

傳回值：詞結束時間，單位為ms。

getText() - 擷取文本資訊

方法簽名：

public String getText()

傳回值：String，文本資訊。

getPhonemes() - 擷取音素層級時間戳記

方法簽名：

public List<Phoneme> getPhonemes()

傳回值：Phoneme的List集合，批量擷取音素層級時間戳記資訊，可能為空白。

getBeginTime() - 擷取音素開始時間

方法簽名：

public int getBeginTime()

傳回值：音素開始時間，單位為ms。

getEndTime() - 擷取音素結束時間

方法簽名：

public int getEndTime()

傳回值：音素結束時間，單位為ms。

getText() - 擷取文本資訊

方法簽名：

public String getText()

傳回值：String，文本資訊。

getTone() - 擷取音調

方法簽名：

public int getTone()

傳回值：音調。

• 英文中，0、1、2分別代表輕音、重音和次重音。

• 拼音中，1、2、3、4、5分別代表一聲、二聲、三聲、四聲和輕聲。

• 非流式調用：阻塞式，一次性發送完整文本，直接返回完整音頻。適合短文本語音合成情境。

• 單向流式調用：非阻塞式，一次性發送完整文本，通過回呼函數接收音頻資料（可能分區）。適用於對即時性要求高的短文本語音合成情境。

• 雙向流式調用：非阻塞式，可分多次發送文本片段，通過回呼函數即時接收增量合成的音頻流。適合即時性要求高的長文本語音合成情境。

import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.utils.Constants;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.ByteBuffer;

public class Main {
    // 模型
    private static String model = "cosyvoice-v3-flash";
    // 音色
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        // 請求參數
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // 新加坡地區和北京地區的API Key不同。擷取API Key：https://www.alibabacloud.com/help/zh/model-studio/get-api-key
                        // 若沒有配置環境變數，請用百鍊API Key將下行替換為：.apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model) // 模型
                        .voice(voice) // 音色
                        .build();

        // 同步模式：禁用回調（第二個參數為null）
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, null);
        ByteBuffer audio = null;
        try {
            // 阻塞直至音頻返回
            audio = synthesizer.call("今天天氣怎麼樣？");
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // 任務結束關閉websocket串連
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        if (audio != null) {
            // 將音頻資料儲存到本地檔案"output.mp3"中
            File file = new File("output.mp3");
            // 首次發送文本時需建立 WebSocket 串連，因此首包延遲會包含串連建立的耗時
            System.out.println(
                    "[Metric] requestId為："
                            + synthesizer.getLastRequestId()
                            + "首包延遲（毫秒）為："
                            + synthesizer.getFirstPackageDelay());
            try (FileOutputStream fos = new FileOutputStream(file)) {
                fos.write(audio.array());
            } catch (IOException e) {
                throw new RuntimeException(e);
            }
        }
    }

    public static void main(String[] args) {
        // 以下為新加坡地區的配置，調用時請將"{WorkspaceId}"替換為真實的業務空間ID，各地區的配置不同。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.concurrent.CountDownLatch;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}

public class Main {
    // 模型
    private static String model = "cosyvoice-v3-flash";
    // 音色
    private static String voice = "longanyang";

    public static void streamAudioDataToSpeaker() {
        CountDownLatch latch = new CountDownLatch(1);

        // 實現回調介面ResultCallback
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                if (result.getAudioFrame() != null) {
                    // 此處實現儲存音頻資料到本地的邏輯
                    System.out.println(TimeUtils.getTimestamp() + " 收到音頻");
                }
                // 擷取輸出資訊，包含事件類型和原始文本
                if (result.getOutput() != null && result.getOutput().has("type")) {
                    System.out.println("事件類型: " + result.getOutput().get("type").getAsString()
                            + ", 原始文本: " + (result.getOutput().has("original_text") ? result.getOutput().get("original_text").getAsString() : ""));
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 收到Complete，語音合成結束");
                latch.countDown();
            }

            @Override
            public void onError(Exception e) {
                System.out.println("出現異常：" + e.toString());
                latch.countDown();
            }
        };

        // 請求參數
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // 新加坡地區和北京地區的API Key不同。擷取API Key：https://www.alibabacloud.com/help/zh/model-studio/get-api-key
                        // 若沒有配置環境變數，請用百鍊API Key將下行替換為：.apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model) // 模型
                        .voice(voice) // 音色
                        .build();
        // 第二個參數"callback"傳入回調即啟用非同步模式
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // 非阻塞調用，立即返回null（實際結果通過回調介面非同步傳遞），在回調介面的onEvent方法中即時擷取二進位音頻
        try {
            synthesizer.call("今天天氣怎麼樣？");
            // 等待合成完成
            latch.await();
            // 等待播放線程全部播放完
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // 任務結束後關閉websocket串連
            synthesizer.getDuplexApi().close(1000, "bye");
        }
        // 首次發送文本時需建立 WebSocket 串連，因此首包延遲會包含串連建立的耗時
        System.out.println(
                "[Metric] requestId為："
                        + synthesizer.getLastRequestId()
                        + "，首包延遲（毫秒）為："
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        // 以下為新加坡地區的配置，調用時請將"{WorkspaceId}"替換為真實的業務空間ID，各地區的配置不同。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}

import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;

class TimeUtils {
    private static final DateTimeFormatter formatter =
            DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");

    public static String getTimestamp() {
        return LocalDateTime.now().format(formatter);
    }
}


public class Main {
    private static String[] textArray = {"流式文本語音合成SDK，",
            "可以將輸入的文本", "合成為語音位元據，", "相比於非流式語音合成，",
            "流式合成的優勢在於即時性", "更強。使用者在輸入文本的同時",
            "可以聽到接近同步的語音輸出，", "極大地提升了互動體驗，",
            "減少了使用者等待時間。", "適用於調用大規模", "語言模型（LLM），以",
            "流式輸入文本的方式", "進行語音合成的情境。"};
    private static String model = "cosyvoice-v3-flash"; // 模型
    private static String voice = "longanyang"; // 音色

    public static void streamAudioDataToSpeaker() {
        // 配置回呼函數
        ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<SpeechSynthesisResult>() {
            @Override
            public void onEvent(SpeechSynthesisResult result) {
                // System.out.println("收到訊息: " + result);
                if (result.getAudioFrame() != null) {
                    // 此處實現處理音頻資料的邏輯
                    System.out.println(TimeUtils.getTimestamp() + " 收到音頻");
                }
            }

            @Override
            public void onComplete() {
                System.out.println(TimeUtils.getTimestamp() + " 收到Complete，語音合成結束");
            }

            @Override
            public void onError(Exception e) {
                System.out.println("出現異常：" + e.toString());
            }
        };

        // 請求參數
        SpeechSynthesisParam param =
                SpeechSynthesisParam.builder()
                        // 新加坡地區和北京地區的API Key不同。擷取API Key：https://www.alibabacloud.com/help/zh/model-studio/get-api-key
                        // 若沒有配置環境變數，請用百鍊API Key將下行替換為：.apiKey("sk-xxx")
                        .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                        .model(model)
                        .voice(voice)
                        .format(SpeechSynthesisAudioFormat
                                .PCM_22050HZ_MONO_16BIT) // 流式合成使用PCM或者MP3
                        .build();
        SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
        // 帶Callback的call方法將不會阻塞當前線程
        try {
            for (String text : textArray) {
                // 發送文本片段，在回調介面的onEvent方法中即時擷取二進位音頻
                synthesizer.streamingCall(text);
            }
            // 等待結束流式語音合成
            synthesizer.streamingComplete();
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // 任務結束關閉websocket串連
            synthesizer.getDuplexApi().close(1000, "bye");
        }

        // 首次發送文本時需建立 WebSocket 串連，因此首包延遲會包含串連建立的耗時
        System.out.println(
                "[Metric] requestId為："
                        + synthesizer.getLastRequestId()
                        + "，首包延遲（毫秒）為："
                        + synthesizer.getFirstPackageDelay());
    }

    public static void main(String[] args) {
        // 以下為新加坡地區的配置，調用時請將"{WorkspaceId}"替換為真實的業務空間ID，各地區的配置不同。
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        streamAudioDataToSpeaker();
        System.exit(0);
    }
}