Alibaba Cloud Model Studio:Speech-to-speech

Migrasi dari model closed-source

Petakan pengaturan OpenAI Realtime atau Gemini Live Anda saat ini ke model Bailian yang setara.

S2S (speech-to-speech) vs. pipeline

Terdapat dua pendekatan untuk membangun aplikasi suara:

• Gunakan S2S untuk latensi rendah, respons yang peka terhadap audio, dan percakapan interaktif.

• Gunakan pipeline jika Anda memerlukan kustomisasi suara atau ingin memilih model ASR, LLM, dan TTS secara independen.

Halaman ini mencakup pendekatan single-model S2S (seri Omni dan Livetranslate). Untuk pendekatan pipeline, pilih masing-masing komponen secara terpisah:

• ASR (speech recognition): Speech-to-text

• LLM (large language model): Text generation

• TTS (text-to-speech): Speech synthesis

Mode real-time atau file?

• Real-time (WebSocket): Asisten suara, pusat panggilan, dan interpretasi simultan. Mengalirkan input audio dan output ucapan. Nama model mengandung -realtime.

• Mode file (HTTP): Latensi lebih tinggi tetapi kualitas lebih baik. Ideal untuk dubbing video, terjemahan podcast, dan pemrosesan offline. Juga mendukung pemanggilan fungsi, pencarian web, mode berpikir, dan konteks video (lihat kemampuan Pendamping di bawah).

Pilih model berdasarkan kasus penggunaan (pendekatan single-model S2S)

Semua kasus penggunaan di bawah menggunakan pendekatan single-model S2S. Untuk pendekatan pipeline, gunakan panduan ASR, LLM, dan TTS yang ditautkan di atas.

Kemampuan pendamping pendekatan single-model S2S

Qwen3.5-Omni dan Qwen3-Omni menyediakan kemampuan ini secara native. Dengan pipeline, fungsionalitas setara berasal dari komponen individual (biasanya LLM).

Terjemahan ucapan

Seri model berikut mendukung terjemahan ucapan:

• Qwen3.5-Livetranslate: 60 bahasa (29 dengan output audio+teks, 31 hanya teks). Mencakup Mandarin, Inggris, Prancis, Jerman, Rusia, Jepang, Korea, Spanyol, Portugis, Arab, dan lainnya.

• Qwen3-Livetranslate: 18 bahasa dan 5 dialek Mandarin (~3 detik latensi). Mode file menerima input video untuk terjemahan yang mempertimbangkan konteks. 7 bahasa menghasilkan output hanya teks.

• Qwen3.5-Omni: 29 bahasa output dan 8 dialek Mandarin. Pemahaman audio/video kuat dan pencarian web. Masukkan terminologi dan konteks domain melalui prompt sistem. Mode real-time dan file.

• Qwen3-Omni-Flash: 11 bahasa output dan 8 dialek Mandarin. Masukkan terminologi dan konteks domain melalui prompt sistem. Mode real-time dan file, dengan biaya lebih rendah.

Model yang direkomendasikan

Tabel ini mencantumkan model titik masuk di setiap seri. Untuk mengunci versi tertentu guna pengujian regresi atau stabilitas, lihat Semua model di bawah.

Semua model

Langkah selanjutnya

Dokumentasi API berdasarkan seri model:

• Qwen3.5-Omni dan Qwen3-Omni (WebSocket, real-time): Qwen-Omni-Realtime

• Qwen3.5-Omni dan Qwen3-Omni (HTTP, file): Non-real-time (Qwen-Omni)

• Qwen3.5-Livetranslate (WebSocket, real-time): Terjemahan audio dan video real-time - Qwen

• Qwen3-Livetranslate (HTTP, file): Terjemahan file audio dan video (Qwen)