Alibaba Cloud Model Studio:Qwen-Audio-ASR-Message iOS SDK

Découvrez les paramètres, les interfaces, les rappels et l'utilisation du SDK iOS pour Qwen-Audio-ASR-Message.

Démarrage rapide

1. Obtenir une clé API : Obtenir une clé API

2. Télécharger le SDK et exécuter l’exemple :
   • Téléchargez le dernier package du SDK.
   • Extrayez le package ZIP et ajoutez le fichier nuisdk.xcframework inclus à votre projet.
   • Dans Build Phases → Link Binary With Libraries, ajoutez nuisdk.xcframework.
   • Dans General → Frameworks, Libraries, and Embedded Content, définissez nuisdk.xcframework sur Embed & Sign.
   • Ouvrez le projet d'exemple dans Xcode. Le code se trouve dans DashFunAsrSpeechTranscriberViewController.m. Remplacez la clé API par la vôtre pour essayer la fonctionnalité.

Séquence d'appel

1. Initialisez le SDK.
2. Configurez les paramètres selon votre cas d'usage : utilisez nui_initialize pour les paramètres de connexion et de contrôle, et nui_set_params pour les paramètres de qualité de reconnaissance.
3. Appelez nui_dialog_start pour démarrer la reconnaissance.
4. Dans le rappel onNuiAudioStateChanged, ouvrez le périphérique d'enregistrement selon l'état audio.
5. Fournissez continuellement les données enregistrées dans onNuiNeedAudioData, ou appelez nui_update_audio_data pour les envoyer activement.
6. Dans onNuiEventCallback, écoutez les événements et récupérez les résultats de reconnaissance vocale.
7. Appelez nui_dialog_cancel pour arrêter la reconnaissance et attendez l'événement EVENT_TRANSCRIBER_COMPLETE pour confirmer sa fin.
8. Lorsque la reconnaissance n'est plus nécessaire, appelez nui_release pour libérer les ressources du SDK.

Paramètres de requête

Paramètres de connexion et de contrôle

Configurez ces paramètres en passant une chaîne JSON à l'argument parameters de nui_initialize.

Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

Paramètres de qualité de reconnaissance

Configurez ces paramètres en passant une chaîne JSON à l'argument params de nui_set_params.

Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.

{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.1-asr-flash-message",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

API principales

NeoNui

nui_initialize

Initialise l'instance du SDK de reconnaissance vocale. Le SDK est un singleton. Ne le réinitialisez pas avant d'appeler nui_release.

-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_set_params

Définit les paramètres de qualité de reconnaissance au format JSON. Appelez cette méthode avant nui_dialog_start.

-(NuiResultCode) nui_set_params:(const char *)params;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_dialog_start

Démarre la reconnaissance.

-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_dialog_cancel

Termine la reconnaissance ou annule immédiatement l'interaction en cours.

-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_dialog_action

Envoie une action pendant l'interaction pour mettre à jour le contexte de reconnaissance ou d'autres comportements à l'exécution.

-(NuiResultCode) nui_dialog_action:(const char *)action_params;

{
  "context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_update_audio_data

Si audio_update_manually vaut "true", les données enregistrées ne sont plus fournies par onNuiNeedAudioData. Envoyez-les activement avec cette méthode.

-(NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_push_reference_data

Lorsque audio_update_manually vaut "true" et que l'AEC sur l'appareil est activé, utilisez cette méthode pour envoyer l'audio du lecteur comme signal de référence.

-(NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_release

Libère toutes les ressources internes du SDK et force l'arrêt de toutes les tâches en cours. L'instance devient inutilisable. Pour la réutiliser, réinitialisez-la avec nui_initialize.

-(NuiResultCode) nui_release;

Renvoie un code d’erreur. Consultez la référence des codes d’erreur.

nui_get_version

Obtient la version actuelle du SDK. Cette méthode ne renvoie une valeur qu'après l'appel de nui_initialize.

-(const char*) nui_get_version;

La version actuelle du SDK.

nui_get_all_response

Obtient les informations complètes du rappel d'événement actuel.

-(const char*) nui_get_all_response;

Les informations complètes de l'événement sous forme de chaîne JSON.

NeoNuiSdkDelegate : écouteurs de rappel

onNuiEventCallback : réception des événements et résultats de reconnaissance vocale

-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

onNuiAudioStateChanged : suivi de l'état audio

Le SDK utilise ce rappel pour indiquer quand démarrer ou arrêter l'enregistrement.

-(void) onNuiAudioStateChanged:(NuiAudioState)state;

onNuiNeedAudioData : fourniture des données audio à reconnaître

Après le démarrage de la reconnaissance, ce rappel est déclenché en continu. Fournissez-y les données audio à reconnaître.

-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

onNuiAssistEventCallback : réception de données et informations auxiliaires

Reçoit les événements auxiliaires et les données associées du SDK.

-(void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;

onNuiLogTrackCallback : réception des journaux de suivi

Ce rappel reçoit les journaux internes détaillés du SDK pour faciliter le diagnostic et le débogage.

-(void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent : types d'événements