Alibaba Cloud Model Studio:Fun-ASR-Realtime iOS SDK

Fun-ASR-Realtime の iOS SDK のパラメーター、インターフェイス、コールバックと使用方法を説明します。

クイックスタート

1. API キーを取得： API キーを取得

2. SDK をダウンロードしてサンプルコードを実行：
   • 最新の SDK パッケージをダウンロード。
   • ZIP パッケージを展開し、同梱の nuisdk.xcframework をプロジェクトに追加します。
   • Build Phases → Link Binary With Libraries に nuisdk.xcframework を追加します。
   • General → Frameworks, Libraries, and Embedded Content で、nuisdk.xcframework を Embed & Sign に設定します。
   • Xcode でサンプルプロジェクトを開きます。サンプルコードは DashFunAsrSpeechTranscriberViewController.m にあります。API キーを自分のキーに置き換えて機能を試します。

呼び出し手順

1. SDK を初期化します。
2. 用途に応じてパラメーターを設定します。nui_initialize で接続・制御パラメーターを、nui_set_params で認識品質パラメーターを設定します。
3. nui_dialog_start を呼び出して認識を開始します。
4. onNuiAudioStateChanged コールバックで、音声の状態に応じて録音デバイスを開きます。
5. onNuiNeedAudioData コールバックで録音データを継続的に供給するか、nui_update_audio_data を呼び出して能動的に送信します。
6. onNuiEventCallback でイベントを監視し、音声認識結果を取得します。
7. nui_dialog_cancel を呼び出して認識を停止し、EVENT_TRANSCRIBER_COMPLETE イベントで終了を確認します。
8. 認識機能が不要になったら、nui_release を呼び出して SDK リソースを解放します。

リクエストパラメーター

接続・制御パラメーター

nui_initialize の parameters 引数に JSON 文字列を渡して設定します。

パラメーターの例： 以下の JSON 文字列は例であり、すべてのパラメーターを網羅していません。コードを書く際に必要なパラメーターを追加してください。

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

認識品質パラメーター

nui_set_params の params 引数に JSON 文字列を渡して設定します。

パラメーターの例： 以下の JSON 文字列は例であり、すべてのパラメーターを網羅していません。コードを書く際に必要なパラメーターを追加してください。

{
    "service_type": 4,
    "nls_config": {
        "model": "fun-asr-realtime",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

主要 API

NeoNui

nui_initialize

音声認識 SDK インスタンスを初期化します。SDK はシングルトンです。nui_release を呼ぶ前に再初期化しないでください。

-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

nui_set_params

認識品質パラメーターを JSON 形式で設定します。nui_dialog_start の前に呼び出します。

-(NuiResultCode) nui_set_params:(const char *)params;

nui_dialog_start

認識を開始します。

-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

nui_dialog_cancel

認識を終了するか、現在の対話を直ちにキャンセルします。

-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

nui_dialog_action

対話中にアクションを送信し、認識コンテキストやその他の実行時動作を更新します。

-(NuiResultCode) nui_dialog_action:(const char *)action_params;

{
  "context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

nui_update_audio_data

audio_update_manually が "true" の場合、onNuiNeedAudioData で録音データを供給せず、このメソッドで能動的に送信します。

-(NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;

nui_push_reference_data

audio_update_manually が "true" でデバイス側 AEC が有効な場合、このメソッドでプレーヤーの再生音声を参照信号として送信します。

-(NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;

nui_release

SDK の内部リソースをすべて解放し、実行中のタスクをすべて強制終了します。呼び出し後はインスタンスを使用できません。再使用するには、nui_initialize で再初期化します。

-(NuiResultCode) nui_release;

nui_get_version

現在の SDK バージョンを取得します。nui_initialize の呼び出し後のみ値を返します。

-(const char*) nui_get_version;

現在の SDK バージョン。

nui_get_all_response

現在のイベントコールバックの完全な情報を取得します。

-(const char*) nui_get_all_response;

JSON 文字列形式の完全なイベント情報。

NeoNuiSdkDelegate：コールバックリスナー

onNuiEventCallback：イベントと音声認識結果の受信

-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

onNuiAudioStateChanged：音声状態の監視

SDK はこのコールバックで録音の開始・停止タイミングを通知します。

-(void) onNuiAudioStateChanged:(NuiAudioState)state;

onNuiNeedAudioData：認識用音声データの供給

認識開始後、このコールバックは継続的に呼ばれます。認識する音声データをここで供給します。

-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

onNuiAssistEventCallback：補助データと情報の受信

SDK から補助イベントと関連データを受信します。

-(void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;

onNuiLogTrackCallback：追跡ログの受信

SDK の詳細な内部ログを受信し、問題の特定とデバッグに使用します。

-(void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent：イベントの種類