Alibaba Cloud Model Studio:音声対音声

クローズドソースモデルからの移行

現在お使いの OpenAI Realtime または Gemini Live のセットアップを、同等の Bailian モデルにマッピングします。

S2S (音声対音声) とパイプラインの比較

音声アプリケーションを構築するには、2 つのアプローチがあります。

• 低レイテンシー、音声認識応答、インタラクティブな会話には S2S を使用します。

• 音声のカスタマイズが必要な場合や、ASR、LLM、TTS モデルを個別に選択したい場合は、パイプラインを使用します。

このページでは、S2S の単一モデルアプローチ (Omni および Livetranslate シリーズ) について説明します。パイプラインアプローチの場合は、各コンポーネントを個別に選択します。

• ASR (音声認識)： 音声テキスト変換

• LLM (大規模言語モデル)： テキスト生成

• TTS (音声合成)： 音声合成

リアルタイムモードとファイルモード

• リアルタイム (WebSocket)：音声アシスタント、コールセンター、同時通訳に使用します。音声入力と音声出力をストリーミングします。モデル名には -realtime が含まれます。

• ファイルモード (HTTP)：レイテンシーは高くなりますが、品質は向上します。動画の吹き替え、ポッドキャスト翻訳、オフライン処理に最適です。また、関数呼び出し、Web 検索、思考モード、動画コンテキストもサポートしています (下記のコンパニオン機能をご参照ください)。

ユースケース別モデル選択 (S2S 単一モデルアプローチ)

以下のすべてのユースケースでは、S2S 単一モデルアプローチを使用します。パイプラインアプローチの場合は、上記の ASR、LLM、TTS ガイドをご参照ください。

S2S 単一モデルアプローチのコンパニオン機能

Qwen3.5-Omni と Qwen3-Omni は、これらの機能をネイティブに提供します。パイプラインを使用する場合、同等の機能は個々のコンポーネント (通常は LLM) から提供されます。

音声翻訳

以下のモデルシリーズが音声翻訳をサポートしています。

• Qwen3.5-Livetranslate：60 言語 (うち 29 言語は音声+テキスト出力、31 言語はテキストのみ)。中国語、英語、フランス語、ドイツ語、ロシア語、日本語、韓国語、スペイン語、ポルトガル語、アラビア語などをカバーしています。

• Qwen3-Livetranslate：18 言語と 5 つの中国語方言 (レイテンシー約 3 秒)。ファイルモードでは、コンテキストを意識した翻訳のために動画入力を受け付けます。7 言語はテキストのみの出力を生成します。

• Qwen3.5-Omni：29 の出力言語と 8 つの中国語方言。強力な音声/動画理解と Web 検索。システムプロンプトを介して専門用語とドメインコンテキストを注入します。リアルタイムモードとファイルモードがあります。

• Qwen3-Omni-Flash：11 の出力言語と 8 つの中国語方言。システムプロンプトを介して専門用語とドメインコンテキストを注入します。低コストでリアルタイムモードとファイルモードを利用できます。

推奨モデル

この表には、各シリーズのエントリポイントモデルがリストされています。回帰テストや安定性のために日付付きバージョンを固定するには、以下の「すべてのモデル」をご参照ください。

すべてのモデル

次のステップ

モデルシリーズ別の API ドキュメント：

• Qwen3.5-Omni および Qwen3-Omni (WebSocket、リアルタイム)： Qwen-Omni-Realtime

• Qwen3.5-Omni および Qwen3-Omni (HTTP、ファイル)： 非リアルタイム (Qwen-Omni)

• Qwen3.5-Livetranslate (WebSocket、リアルタイム)： リアルタイム音声・動画翻訳 - Qwen

• Qwen3-Livetranslate (HTTP、ファイル)： 音声・動画ファイル翻訳 (Qwen)

• Qwen-Audio Realtime (WebSocket、リアルタイム音声会話)： リアルタイム音声チャット (Qwen-Audio-Realtime)