Todos os produtos
Search
Central de documentação

Alibaba Cloud Model Studio:SDK Java do Qwen-LiveTranslate-Realtime

Última atualização: Nov 20, 2026

Este documento descreve como usar o SDK Java do DashScope para chamar o modelo de tradução de áudio e vídeo em tempo real (Qwen-LiveTranslate-Realtime).

Para a conexão e a autenticação, consulte Acesso por WebSocket; para os campos de eventos e exemplos JSON, consulte eventos do cliente e eventos do servidor.

Pré-requisitos

  1. Instale o SDK e verifique se a versão do DashScope SDK é 2.22.5 ou posterior.
  2. Obtenha e configure uma chave de API.
  3. Conheça a tradução de fala/áudio e vídeo em tempo real - Qwen.

ImportanteO Alibaba Cloud Model Studio lançou domínios dedicados por workspace para as regiões China (Pequim) e Singapura, que oferecem desempenho superior e maior estabilidade para solicitações de inferência. Recomendamos migrar para os novos domínios:

  • China (Pequim): migre de wss://dashscope.aliyuncs.com para wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com
  • Singapura: migre de wss://dashscope-intl.aliyuncs.com para wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com

Entre eles, {WorkspaceId} é o ID do seu workspace, que você pode visualizar na página Detalhes do workspace no console do Alibaba Cloud Model Studio. Os domínios existentes permanecem disponíveis.

Início rápido

O exemplo a seguir mostra como gravar áudio de um microfone em tempo real e realizar a tradução.

Código de exemplo de tradução em tempo real por microfone

WebSocketwss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime
WebSocketwss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime

import com.alibaba.dashscope.audio.omni.*;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.google.gson.JsonObject;

import javax.sound.sampled.*;
import java.util.*;
import java.util.concurrent.atomic.AtomicBoolean;

/**
 * 实时音视频翻译模型麦克风示例
 */
public class Main {
    private static final int INPUT_CHUNK_SIZE = 3200;   // 100ms 的 16kHz 16bit 单声道音频
    private static final int OUTPUT_CHUNK_SIZE = 4800;  // 100ms 的 24kHz 16bit 单声道音频
    private static final AtomicBoolean running = new AtomicBoolean(true);
    private static SourceDataLine speaker;  // 扬声器

    public static void main(String[] args) throws InterruptedException {
        String apiKey = System.getenv("DASHSCOPE_API_KEY");
        if (apiKey == null || apiKey.isEmpty()) {
            System.err.println("请设置环境变量 DASHSCOPE_API_KEY");
            System.exit(1);
        }

        // 创建连接参数
        OmniRealtimeParam param = OmniRealtimeParam.builder()
                .model("qwen3.5-livetranslate-flash-realtime")
                .url("wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime")
                .apikey(apiKey)
                .build();

        // 创建回调处理
        OmniRealtimeCallback callback = new OmniRealtimeCallback() {
            @Override
            public void onOpen() {
                System.out.println("[连接已建立]");
            }

            @Override
            public void onEvent(JsonObject message) {
                String type = message.get("type").getAsString();
                switch (type) {
                    case "input_audio_buffer.speech_started":
                        System.out.println("====== 检测到语音输入 ======");
                        break;
                    case "input_audio_buffer.speech_stopped":
                        System.out.println("====== 语音输入结束 ======");
                        break;
                    case "conversation.item.input_audio_transcription.completed":
                        String originalText = message.get("transcript").getAsString();
                        System.out.println("[原文] " + originalText);
                        break;
                    case "response.audio_transcript.done":
                        String translatedText = message.get("transcript").getAsString();
                        System.out.println("[翻译结果] " + translatedText);
                        break;
                    case "response.audio.delta":
                        // 解码并播放翻译后的音频
                        String audioB64 = message.get("delta").getAsString();
                        byte[] audioBytes = Base64.getDecoder().decode(audioB64);
                        if (speaker != null) {
                            speaker.write(audioBytes, 0, audioBytes.length);
                        }
                        break;
                    case "error":
                        JsonObject error = message.get("error").getAsJsonObject();
                        System.err.println("[错误] " + error.get("message").getAsString());
                        break;
                }
            }

            @Override
            public void onClose(int code, String reason) {
                System.out.println("[连接已关闭] code: " + code + ", reason: " + reason);
            }
        };

        // 创建会话
        OmniRealtimeConversation conversation = new OmniRealtimeConversation(param, callback);

        try {
            // 初始化扬声器(用于播放翻译后的语音)
            AudioFormat speakerFormat = new AudioFormat(24000, 16, 1, true, false);
            DataLine.Info speakerInfo = new DataLine.Info(SourceDataLine.class, speakerFormat);
            speaker = (SourceDataLine) AudioSystem.getLine(speakerInfo);
            speaker.open(speakerFormat, OUTPUT_CHUNK_SIZE * 4);
            speaker.start();

            // 初始化麦克风(用于采集语音输入)
            AudioFormat micFormat = new AudioFormat(16000, 16, 1, true, false);
            DataLine.Info micInfo = new DataLine.Info(TargetDataLine.class, micFormat);
            if (!AudioSystem.isLineSupported(micInfo)) {
                System.err.println("麦克风不可用");
                System.exit(1);
            }
            TargetDataLine microphone = (TargetDataLine) AudioSystem.getLine(micInfo);
            microphone.open(micFormat);
            microphone.start();

            // 连接服务端
            conversation.connect();

            // 配置翻译参数
            Map<String, Object> phrases = new HashMap<>();
            phrases.put("人工智能", "Artificial Intelligence");
            phrases.put("机器学习", "Machine Learning");

            OmniRealtimeConfig config = OmniRealtimeConfig.builder()
                    .modalities(Arrays.asList(OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT))
                    .voice("Tina")
                    .inputAudioFormat(OmniRealtimeAudioFormat.PCM_16000HZ_MONO_16BIT)
                    .outputAudioFormat(OmniRealtimeAudioFormat.PCM_24000HZ_MONO_16BIT)
                    .InputAudioTranscription("qwen3-asr-flash-realtime")
                    .translationConfig(OmniRealtimeTranslationParam.builder()
                            .language("en")
                            .corpus(OmniRealtimeTranslationParam.Corpus.builder()
                                    .phrases(phrases)
                                    .build())
                            .build())
                    .build();

            conversation.updateSession(config);

            // 注册退出信号处理
            Runtime.getRuntime().addShutdownHook(new Thread(() -> {
                System.out.println("\n[正在退出...]");
                running.set(false);
                microphone.stop();
                microphone.close();
                speaker.stop();
                speaker.close();
                try {
                    conversation.endSession();
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
                conversation.close(1000, "用户停止");
            }));

            System.out.println("[开始实时翻译] 请对着麦克风说话,按 Ctrl+C 退出");

            // 持续采集麦克风音频并发送
            byte[] buffer = new byte[INPUT_CHUNK_SIZE];
            while (running.get()) {
                int bytesRead = microphone.read(buffer, 0, buffer.length);
                if (bytesRead > 0) {
                    conversation.appendAudio(Base64.getEncoder().encodeToString(buffer));
                }
            }

        } catch (NoApiKeyException e) {
            System.err.println("API Key 错误: " + e.getMessage());
        } catch (Exception e) {
            System.err.println("发生异常: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

Parâmetros da solicitação

Referência da API

Classe OmniRealtimeConversation

OmniRealtimeConversation é importado por meio de import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation;.

Assinatura do métodoEventos de resposta do servidor (entregues por callbacks)Descrição
public OmniRealtimeConversation(OmniRealtimeParam param, OmniRealtimeCallback callback)

Nenhum

Construtor.

public void connect() throws NoApiKeyException, InterruptedException

Eventos do servidor

Sessão criada

Eventos do servidor

Configuração da sessão atualizada

Estabelece a conexão com o servidor.

public void updateSession(OmniRealtimeConfig config)

Eventos do servidor

Configuração da sessão atualizada

Usado para atualizar a configuração da sessão. Recomenda-se chamar este método primeiro para aplicar as configurações após o estabelecimento da conexão. Se este método não for chamado, o sistema usará a configuração padrão. Apenas os parâmetros envolvidos em OmniRealtimeConfig precisam ser considerados.

public void appendAudio(String audioBase64)

Nenhum

Anexa blocos de dados de áudio codificados em Base64 ao buffer de áudio de entrada na nuvem. O servidor detecta automaticamente o início e o fim da fala e aciona a tradução.

public void commit()

input_audio_buffer.committed

Buffer de áudio de entrada confirmado

No modo Manual, confirma o áudio anexado anteriormente ao buffer na nuvem por meio do método appendAudio; assim que o servidor o recebe, ele começa automaticamente a gerar a resposta de tradução. No modo VAD, este método não precisa ser chamado, pois o servidor confirma automaticamente.

public void clearAppendedAudio()

input_audio_buffer.cleared

Buffer de áudio de entrada limpo

Limpa os dados de áudio no buffer na nuvem atual que ainda não foram confirmados.

public void endSession() throws InterruptedException

session.finished

O servidor conclui a tradução da fala e encerra a sessão

Notifica o servidor para encerrar a sessão. Após receber a notificação de encerramento da sessão, o servidor concluirá a tradução final da fala.

public void close(int code, String reason)

Nenhum

Interrompe a tarefa e fecha a conexão.

public String getSessionId()

Nenhum

Obtém o session_id da tarefa atual.

public String getResponseId()

Nenhum

Obtém o response_id da resposta mais recente.

public long getFirstTextDelay()

Nenhum

Obtém a latência do primeiro texto da resposta mais recente (em milissegundos).

public long getFirstAudioDelay()

Nenhum

Obtém a latência do primeiro áudio da resposta mais recente (em milissegundos).

Interface de callback (OmniRealtimeCallback)

O servidor retorna os eventos de resposta e os dados ao cliente por meio de callbacks.

Estenda esta classe e implemente os métodos correspondentes para tratar os eventos do servidor.

Importe-a por meio de import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback;.

Assinatura do métodoParâmetroDescrição
public void onOpen()

Nenhum

Acionado quando a conexão WebSocket é estabelecida com sucesso.

public abstract void onEvent(JsonObject message)

message: Eventos do servidor

Acionado quando um evento do servidor é recebido.

public abstract void onClose(int code, String reason)

code: Código de status

reason: Informações de log registradas quando a conexão WebSocket é encerrada

Acionado quando a conexão WebSocket é encerrada.