音声会話、音声翻訳、同時通訳のいずれかに適したモデルを選択します。
クローズドソースモデルからの移行
現在ご利用の OpenAI Realtime または Gemini Live の設定を、同等の Bailian モデルにマッピングします。
クローズドソースモデルの例 | Bailian おすすめ | |
|---|---|---|
リアルタイム会話 | OpenAI GPT Realtime、Gemini 3.1 Live |
|
コスト重視の会話 | OpenAI gpt-4o-mini Realtime |
|
リアルタイム翻訳 | Gemini 3.1 Live |
|
このページでは Speech-to-speech (S2S) を扱います。視覚理解、音声/動画分析、コンテンツモデレーションについては、「Omni-modal」ドキュメントをご参照ください。
S2S (speech-to-speech) とパイプライン方式の比較
音声アプリケーションを構築するには、次の 2 つのアプローチがあります。
S2S | パイプライン方式 (ASR + LLM + TTS) | |
|---|---|---|
遅延時間 | 低 -- 単一モデル ストリーム処理 | 上位 — 3 段階のシリアル処理 |
音声理解 | エンドツーエンド — 話者のトーンや感情を認識し、それに応じて応答 | テキスト変換後に処理されるため、微妙な音声情報が失われる |
音声カスタマイズ | システムプロンプトによるプリセット音声の選択 | 音声クローンおよび音声デザイン (CosyVoice) |
- S2S 方式は、低遅延、音声情報を活用した応答、インタラクティブな会話に適しています。
- パイプライン方式は、音声カスタマイズが必要な場合や、ASR、LLM、TTS の各モデルを個別に選択したい場合に適しています。
このページでは S2S 単一モデル方式 (Omni および Livetranslate シリーズ) を説明します。パイプライン方式については、以下の各コンポーネントを個別に選択してください。
- ASR (音声認識):Speech-to-text
- LLM (大規模言語モデル):Text generation
- TTS (音声合成):Speech synthesis
リアルタイムモードとファイルモードの選択
- リアルタイムモード (WebSocket): 音声アシスタント、コールセンター、同時通訳など。音声入力と音声出力をストリーミング処理します。
- ファイルモード (HTTP): 遅延時間は長くなりますが、品質が向上します。動画の吹き替え、ポッドキャスト翻訳、オフライン処理に最適です。また、関数呼び出し、Web 検索、思考モード、動画コンテキストもサポートしています (後述の補助機能をご参照ください)。
ユースケース別のモデル選択 (S2S 単一モデル方式)
以下のすべてのユースケースは S2S 単一モデル方式を使用します。パイプライン方式をご利用の場合は、上記でリンクされている ASR、LLM、TTS のガイドをご参照ください。
ユースケース | 推奨モデル | API |
|---|---|---|
音声アシスタントおよびカスタマーサービス会話 |
| WebSocket |
コスト重視の会話 |
| WebSocket |
同時通訳およびライブ翻訳 |
| WebSocket |
動画の吹き替えおよびポッドキャスト翻訳 |
| HTTP |
動画分析およびバッチラベリング (思考モード必須) |
| HTTP |
セマンティック VAD 対応の音声アシスタントおよびスマートカスタマーサービス (関数呼び出し対応) |
| WebSocket |
S2S 単一モデル方式の補助機能
Qwen3.5-Omni および Qwen3-Omni は、これらの機能をネイティブに提供します。Qwen-Audio Realtime は関数呼び出しのみをサポートし、Web 検索および思考モードはサポートしていません。パイプライン方式では、同等の機能は個々のコンポーネント (通常は LLM) によって提供されます。
関数呼び出し
モデルは、聞き取った内容や視覚情報をもとにナレッジベースを照会したり、スケジュールを確認したり、ワークフローをトリガーしたりできます。Qwen3-Omni (HTTP のみ) または Qwen-Audio Realtime (WebSocket) を使用してください。
Qwen3.5-Omni/Qwen3-Omni のリアルタイム (WebSocket) モデルおよび Livetranslate モデルではサポートされていません。Qwen-Audio Realtime (WebSocket) は関数呼び出しをサポートしています。
Web 検索
最新のニュース、株価、天気などのリアルタイム情報を取得します。Qwen3.5-Omni (WebSocket または HTTP、Plus および Flash の両方) で利用可能です。検索の実行はモデルが自動的に判断します。Qwen-Audio Realtime はこの機能をサポートしていません。
Qwen3-Omni-Flash および Livetranslate モデルではサポートされていません。
思考モード
応答の品質が遅延時間よりも重要である場合は、Qwen3-Omni (HTTP) を使用してください。回答前に段階的に推論を行い、動画分析やバッチラベリングに最適です。Qwen-Audio Realtime はこの機能をサポートしていません。
思考モードでは音声生成はサポートされていません。
音声翻訳
以下のモデルシリーズは音声翻訳をサポートしています。
- Qwen3.5-Livetranslate: 60 言語 (音声＋テキスト出力が 29 言語、テキストのみが 31 言語)。中国語、英語、フランス語、ドイツ語、ロシア語、日本語、韓国語、スペイン語、ポルトガル語、アラビア語などをカバー。
- Qwen3-Livetranslate: 18 言語および中国語方言 5 種類 (遅延時間約 3 秒)。ファイルモードでは動画入力をサポートし、コンテキストを考慮した翻訳が可能。7 言語はテキストのみの出力。
- Qwen3.5-Omni: 出力言語 29 言語および中国語方言 8 種類。優れた音声/動画理解能力と Web 検索機能を備えています。システムプロンプトで専門用語やドメインコンテキストを注入可能。リアルタイムおよびファイルモードの両方に対応。
- Qwen3-Omni-Flash: 出力言語 11 言語および中国語方言 8 種類。システムプロンプトで専門用語やドメインコンテキストを注入可能。リアルタイムおよびファイルモードの両方に対応し、コストを抑えることができます。
注記クイックスタートには Livetranslate シリーズを推奨します。最高品質と広範な言語カバー率を求める場合は Qwen3.5-Omni、コストを重視する場合は Qwen3-Omni-Flash をご検討ください。
サポート言語
言語 | Qwen3.5-Livetranslate | Qwen3-Livetranslate | Qwen3.5-Omni | Qwen3-Omni-Flash |
|---|---|---|---|---|
英語 | サポート | サポート | サポート | サポート |
中国語 (普通話) | サポート | サポート | サポート | サポート |
広東語 | テキストのみ | サポート | サポート | サポート |
四川方言 | サポート | サポート | サポート | サポート |
上海語 | サポート | サポート | サポート | サポート |
北京方言 | サポート | サポート | サポート | サポート |
天津方言 | サポート | サポート | サポート | サポート |
南京方言 | -- | -- | サポート | サポート |
陝西方言 | -- | -- | サポート | サポート |
閩南語 | -- | -- | サポート | サポート |
フランス語 | サポート | サポート | サポート | サポート |
ドイツ語 | サポート | サポート | サポート | サポート |
ロシア語 | サポート | サポート | サポート | サポート |
イタリア語 | サポート | サポート | サポート | サポート |
スペイン語 | サポート | サポート | サポート | サポート |
ポルトガル語 | サポート | サポート | サポート | サポート |
日本語 | サポート | サポート | サポート | サポート |
韓国語 | サポート | サポート | サポート | サポート |
タイ語 | サポート | テキストのみ | サポート | サポート |
インドネシア語 | サポート | テキストのみ | サポート | -- |
ベトナム語 | サポート | テキストのみ | サポート | -- |
アラビア語 | サポート | テキストのみ | サポート | -- |
ヒンディー語 | サポート | テキストのみ | サポート | -- |
トルコ語 | サポート | テキストのみ | サポート | -- |
フィンランド語 | サポート | -- | サポート | -- |
ポーランド語 | サポート | -- | サポート | -- |
オランダ語 | サポート | -- | サポート | -- |
チェコ語 | サポート | -- | サポート | -- |
ウルドゥー語 | サポート | -- | サポート | -- |
タガログ語 | サポート | -- | サポート | -- |
スウェーデン語 | サポート | -- | サポート | -- |
デンマーク語 | サポート | -- | サポート | -- |
ヘブライ語 | サポート | -- | サポート | -- |
アイスランド語 | サポート | -- | サポート | -- |
マレー語 | サポート | -- | サポート | -- |
ノルウェー語 | サポート | -- | サポート | -- |
ペルシア語 | サポート | -- | サポート | -- |
ギリシャ語 | テキストのみ | テキストのみ | -- | -- |
アフリカーンス語 | テキストのみ | -- | -- | -- |
アストゥリアス語 | テキストのみ | -- | -- | -- |
ベラルーシ語 | テキストのみ | -- | -- | -- |
ブルガリア語 | テキストのみ | -- | -- | -- |
ベンガル語 | テキストのみ | -- | -- | -- |
ボスニア語 | テキストのみ | -- | -- | -- |
カタロニア語 | テキストのみ | -- | -- | -- |
セブアノ語 | テキストのみ | -- | -- | -- |
エストニア語 | テキストのみ | -- | -- | -- |
ガリシア語 | テキストのみ | -- | -- | -- |
グジャラート語 | テキストのみ | -- | -- | -- |
クロアチア語 | テキストのみ | -- | -- | -- |
ハンガリー語 | テキストのみ | -- | -- | -- |
ジャワ語 | テキストのみ | -- | -- | -- |
カザフ語 | テキストのみ | -- | -- | -- |
カンナダ語 | テキストのみ | -- | -- | -- |
キルギス語 | テキストのみ | -- | -- | -- |
ラトビア語 | テキストのみ | -- | -- | -- |
マケドニア語 | テキストのみ | -- | -- | -- |
マラヤーラム語 | テキストのみ | -- | -- | -- |
マラーティー語 | テキストのみ | -- | -- | -- |
パンジャーブ語 | テキストのみ | -- | -- | -- |
ルーマニア語 | テキストのみ | -- | -- | -- |
スロバキア語 | テキストのみ | -- | -- | -- |
スロベニア語 | テキストのみ | -- | -- | -- |
スワヒリ語 | テキストのみ | -- | -- | -- |
タジク語 | テキストのみ | -- | -- | -- |
アゼルバイジャン語 | テキストのみ | -- | -- | -- |
ウクライナ語 | テキストのみ | -- | -- | -- |
「サポート」= 音声＋テキスト出力。「テキストのみ」= テキスト出力のみで音声なし。
Qwen3.5-Omni は 113 の入力言語および方言をサポートしています。
Qwen3.5-Livetranslate は 60 言語をサポートしています (音声＋テキストが 29 言語、テキストのみが 31 言語)。
レガシモデル qwen-omni-turbo は中国語と英語のみをサポートしています。
推奨モデル
この表では、各シリーズのエントリーポイントとなるモデルを示しています。回帰テストや安定性のために特定のバージョンを固定したい場合は、以下の「すべてのモデル」をご参照ください。
モデル | API | 入力 | 関数呼び出し | Web 検索 | 思考モード | 翻訳 |
|---|---|---|---|---|---|---|
| WebSocket | 音声、テキスト | サポート | -- | -- | -- |
| WebSocket | 音声、テキスト | サポート | -- | -- | -- |
| WebSocket | テキスト、音声、画像 | サポート | サポート | -- | 29 言語 |
| HTTP | テキスト、音声、画像、動画 | サポート対象外 | サポート | -- | 29 言語 |
| WebSocket | テキスト、音声、画像、動画 | -- | -- | -- | 11 言語 |
| HTTP | テキスト、音声、画像、動画 | サポート | -- | サポート | 11 言語 |
| WebSocket | 音声、画像 | -- | -- | -- | 60 言語 |
| HTTP | 音声、動画 | -- | -- | -- | 18 言語 |
すべてのモデル
Qwen-Audio
モデル | API | 入力 | 関数呼び出し | Web 検索 | 思考モード | 翻訳 |
|---|---|---|---|---|---|---|
| WebSocket | 音声、テキスト | サポート | -- | -- | -- |
| WebSocket | 音声、テキスト | サポート | -- | -- | -- |
Qwen3.5-Omni
モデル | API | 入力 | 関数呼び出し | Web 検索 | 思考モード |
|---|---|---|---|---|---|
| WebSocket | テキスト、音声、画像、動画 | サポート | サポート | -- |
| WebSocket | テキスト、音声、画像、動画 | サポート | サポート | -- |
| HTTP | テキスト、音声、画像、動画 | サポート対象外 | サポート | -- |
| HTTP | テキスト、音声、画像、動画 | サポート対象外 | サポート | -- |
| WebSocket | テキスト、音声、画像、動画 | サポート | サポート | -- |
| WebSocket | テキスト、音声、画像、動画 | サポート | サポート | -- |
| HTTP | テキスト、音声、画像、動画 | サポート対象外 | サポート | -- |
| HTTP | テキスト、音声、画像、動画 | サポート対象外 | サポート | -- |
Qwen3-Omni
モデル | API | 入力 | 関数呼び出し | Web 検索 | 思考モード |
|---|---|---|---|---|---|
| WebSocket | テキスト、音声、画像、動画 | -- | -- | -- |
| WebSocket | テキスト、音声、画像、動画 | -- | -- | -- |
| WebSocket | テキスト、音声、画像、動画 | -- | -- | -- |
| HTTP | テキスト、音声、画像、動画 | サポート | -- | サポート |
| HTTP | テキスト、音声、画像、動画 | サポート | -- | サポート |
| HTTP | テキスト、音声、画像、動画 | サポート | -- | サポート |
Qwen3.5-Livetranslate
モデル | API | 入力 | 言語 |
|---|---|---|---|
| WebSocket | 音声 | 60 |
| WebSocket | 音声 | 60 |
Qwen3-Livetranslate
モデル | API | 入力 | 言語 |
|---|---|---|---|
| WebSocket | 音声 | 18 |
| WebSocket | 音声 | 18 |
| HTTP | 音声、動画 | 18 |
| HTTP | 音声、動画 | 18 |
レガシモデル
これらのモデルは更新されません。新規プロジェクトには Qwen3.5-Omni をご利用ください。
モデル | 入力 | API |
|---|---|---|
| テキスト、音声、画像、動画 | HTTP |
| テキスト、音声、画像、動画 | HTTP |
| テキスト、音声、画像、動画 | HTTP |
| テキスト、音声、画像、動画 | HTTP |
| テキスト、音声 | WebSocket |
| テキスト、音声 | WebSocket |
| テキスト、音声 | WebSocket |
次のステップ
モデルシリーズ別の API ドキュメント:
- Qwen-Audio Realtime (WebSocket、リアルタイム音声会話): Realtime Audio Chat (Qwen-Audio-Realtime)
- Qwen3.5-Omni および Qwen3-Omni (WebSocket、リアルタイム): Qwen-Omni-Realtime
- Qwen3.5-Omni および Qwen3-Omni (HTTP、ファイル): Non-real-time (Qwen-Omni)
- Qwen3.5-Livetranslate (WebSocket、リアルタイム): Real-time audio and video translation - Qwen
- Qwen3-Livetranslate (HTTP、ファイル): Audio and video file translation (Qwen)