Flutter SDK を使用して Qwen-Audio-Realtime に接続するためのガイドです。Dart の呼び出し順序、リクエストパラメーター、イベントを説明します。
Qwen-Audio-Realtime はリアルタイム音声を受け取り、モデルの応答を返します。セッションの設定に応じて、応答のテキストや音声を受信できます。
前提条件
- 対象プラットフォームの Flutter 開発環境を用意します。サンプルアプリには Dart 3.4 以上、4.0 未満が必要です。
- API キーを取得します。API キーと同じリージョンのサービスエンドポイントを選択します。ワークスペース専用ドメインを使用する場合は、ワークスペース ID も取得します。
モバイルアプリに有効期間の長い API キーをハードコードしないでください。一時 API キーに対応するモデルを使用する場合は、アプリケーションサーバーで一時 API キーを生成し、クライアントに送信します。
SDK のインストール
モバイル音声 SDK の選択とダウンロードを開き、Flutter タブからパッケージをダウンロードして展開します。
展開した SDK ディレクトリを Flutter プロジェクトの packages/aliyun_neonui にコピーし、pubspec.yaml にローカル依存関係を追加します。
dependencies:
aliyun_neonui:
path: packages/aliyun_neonui
flutter pub get を実行し、Dart ファイルで SDK をインポートします。
import 'package:aliyun_neonui/neonui.dart';
クイックスタート
サンプルアプリを実行する
-
対象のデバイスを接続し、展開した SDK ディレクトリで次のコマンドを実行します。
cd example flutter pub get flutter run -
サンプルアプリのホーム画面で 百炼(DashScope) を開き、サービスエンドポイントを選択して API Key を入力します。ワークスペース専用ドメインを使用する場合は、WorkspaceId も入力します。
-
Qwen-Audio 实时语音对话 を開き、サンプルを実行します。
録音サンプルを実行するには、マイクへのアクセスを許可してください。
完全なサンプルは SDK パッケージの example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart にあります。
同梱サンプルで選択できるモデル
qwen-audio-3.1-realtime-plusqwen-audio-3.0-realtime-plusqwen-audio-3.0-realtime-flash
呼び出し手順
NativeNui() で取得したインスタンスで、以下のメソッドを呼び出します。
リクエストパラメーターの接続用 JSON とタスク用 JSON を、それぞれ initJson と sessionJson に使用します。各呼び出しが成功してから次に進みます。
-
メソッドを呼び出す前に
eventStreamとttsAudioStreamを購読します。 -
接続パラメーターとタスクパラメーターを設定してから、セッションを開始します。
await nui.nuiInitialize(params: initJson); await nui.dialogSetParams(sessionJson); await nui.dialogStart(vadMode: VadMode.p2t.code, dialogParams: sessionJson); -
セッション開始後、音声を取得して
sendAudioで PCM データを継続的に送信します。同梱の録音サンプルでは、16 kHz、16 ビット、モノラルの PCM を取得します。iOS では、マイクを起動してからプレーヤーを起動します。プレーヤーがすでに起動している場合は、マイクの起動後にプレーヤーを再起動し、応答音声が再生されるようにします。
-
音声の取得を停止して
dialogStopを呼び出します。最後のイベントを処理した後、nuiReleaseを呼び出し、購読を解除します。
リクエストパラメーター
以下はパッケージに同梱するモデルのサンプルです。その他の設定については、パッケージ内の example/lib/dashscope_params.dart を参照してください。その他のパラメーターについては、Android SDK、iOS SDK、HarmonyOS SDKをご参照ください。
YOUR_WS_HOST を対象リージョンの WebSocket ホスト名、YOUR_DEVICE_ID をデバイス識別子、YOUR_API_KEY をそのリージョンの API キーに置き換えます。
接続パラメーター
次の JSON は、文字列として Dart メソッドに渡します。
{
"device_id": "YOUR_DEVICE_ID",
"url": "wss://YOUR_WS_HOST/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
"service_mode": "1",
"audio_update_manually": "false"
}
タスクパラメーター
次の JSON は、文字列として Dart メソッドに渡します。
{
"apikey": "YOUR_API_KEY",
"nls_config": {
"model": "qwen-audio-3.1-realtime-plus",
"sr_format": "pcm",
"modalities": "[\"text\",\"audio\"]",
"voice": "longanqian_v3.1",
"turn_detection": "{\"type\":\"server_vad\",\"threshold\":0.5,\"silence_duration_ms\":800}"
},
"service_type": 4
}
URL のクエリパラメーター model と nls_config.model に同じモデル ID を指定します。この Dart SDK では、modalities と turn_detection を JSON 文字列で設定します。
API リファレンス
メソッド
戻り値が Future<int> のメソッドでは、結果コード 0 が成功を表します。sendAudio の戻り値の型は Future<Object?> です。
| メソッドのシグネチャ | 用途 |
|---|---|
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false}) | 接続パラメーターを JSON 文字列で渡して SDK を初期化します。 |
Future<int> dialogSetParams(String params) | 現在のセッションに JSON パラメーターを設定します。 |
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"}) | セッションを開始します。vadMode は発話の区切り方を選択し、dialogParams はセッション固有の JSON 文字列を受け取ります。 |
Future<Object?> sendAudio(Uint8List data) | PCM 音声のチャンクを送信します。 |
Future<int> dialogStop() | 現在の録音セッションを終了し、接続を維持します。 |
Future<int> dialogCancel() | 現在のセッションまたは合成タスクをキャンセルします。 |
Future<int> nuiRelease() | SDK リソースを解放します。 |
Future<int> dialogAction(String actionParams) | ツール呼び出しの結果をセッションに送信します。 |
イベントとオーディオストリーム
eventStream からイベントを受信します。イベントが Dart の Map の場合は、event でイベント名を確認し、resultCode でタスクのエラーを確認します。
ttsAudioStream から音声チャンクを受信し、アプリで再生します。
| イベント | 用途 |
|---|---|
EVENT_ASR_PARTIAL_RESULT | 認識の途中結果 |
EVENT_SENTENCE_END | 現在の文の最終認識結果 |
EVENT_AUDIO_TRANSCRIPTION_COMPLETED | 音声応答の文字起こしが完了 |
EVENT_ASR_TTS_START | 合成または応答の音声出力が開始 |
EVENT_ASR_TTS_COMPLETE | タスクまたは現在の音声出力が完了 |
EVENT_ASR_ERROR | タスクの失敗 |