Alibaba Cloud Model Studio:Qwen-Audio-ASR-Message Python SDK

Oui

Oui

Le taux d’échantillonnage en Hz. Seule la valeur 16000 est prise en charge.

Oui

Le format audio.

Valeurs valides :

• pcm
• wav
• mp3
• opus
• speex
• aac
• amr

Non

Par défaut : false, pour transcrire les dialectes en chinois standard. Définissez sur true pour conserver les expressions dialectales. Transmettez-le comme argument nommé portant le même nom.

Ce paramètre s’applique uniquement aux résultats finaux (sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false).

Non

Modèle VAD : near_meeting_16k (champ proche) ou far_field_meeting_16k (champ lointain, par défaut). Transmettez-le comme argument nommé portant le même nom.

Non

Indique s’il faut supprimer les mots de remplissage et améliorer le texte produit. Par défaut : false. Définissez sur true pour activer. Transmettez-le comme argument nommé portant le même nom.

Non

Indique s’il faut renvoyer les résultats intermédiaires en streaming. Par défaut : false. Définissez sur true pour les recevoir. Transmettez-le comme argument nommé portant le même nom.

Non

L'ID d'une liste de mots clés précompilée.

Générez cet ID à l'avance en appelant l'API de création de liste de mots clés. Transmettez l'ID lors de la reconnaissance pour utiliser les mots clés de la liste.

Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots entre plusieurs requêtes.

Pour plus de détails sur l'utilisation, consultez la rubrique Mots clés précompilés.

Non

Mots clés instantanés.

Transmis sous forme de paires clé-valeur, où la clé correspond au texte du mot clé (string) et la valeur au poids du mot clé (integer). Aucune liste de mots clés ne doit être créée à l'avance. Le poids varie de [1, 5] ou est défini sur 50 : une valeur comprise entre [1, 5] augmente la probabilité que le modèle génère le mot à mesure que la valeur augmente ; une valeur de 50 désigne un super mot clé, ce qui améliore considérablement le rappel, mais le nombre de super mots clés ne peut pas dépasser 50.

Adapté à l'optimisation temporaire des mots clés au niveau de la session.

Lorsqu'ils sont configurés conjointement avec des mots clés précompilés, seuls les mots clés instantanés prennent effet. Pour plus de détails sur l'utilisation, consultez la rubrique Mots clés instantanés.

Exemple :

from dashscope.audio.asr import Recognition

vocab = {"John Smith": 5, "Jane Doe": 5}
recognition = Recognition(
    model='qwen-audio-3.1-asr-flash-message',
    format='wav',
    sample_rate=16000,
    vocabulary=vocab,
    callback=None)

Non

La langue de l'audio à reconnaître. Il n'y a pas de valeur par défaut ; si ce paramètre n'est pas défini, le modèle détecte automatiquement la langue.

Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières prennent effet.

Transmettez-le comme argument nommé portant le même nom.

Ce paramètre s’applique uniquement aux résultats finaux (sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false).

Non

Seuil de silence VAD pour la segmentation, en millisecondes. La phrase est considérée comme terminée si le silence après la parole dépasse ce seuil. Par défaut : 800. Plage valide : [200, 6000].

Non

Indique s'il faut activer les paquets de maintien de connexion (heartbeat).

Par défaut : False.

• True : maintient la connexion au serveur active pendant l'envoi continu d'audio silencieux.
• False (par défaut) : même lorsque de l'audio silencieux est envoyé en continu, la connexion expire et se ferme après un certain temps.

L'audio silencieux désigne le contenu d'un fichier audio ou d'un flux de données ne contenant aucun signal sonore. Vous pouvez générer de l'audio silencieux de plusieurs manières, par exemple en utilisant des logiciels de montage audio tels qu'Audacity ou Adobe Audition, ou des outils en ligne de commande comme FFmpeg.

Ce champ nécessite la version 1.23.1 ou ultérieure du SDK.

Non

Le seuil permettant de distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).

Valeurs valides : [-1,0, 1,0].

Descriptions des valeurs :

• Plus la valeur se rapproche de -1 : le seuil de bruit diminue, ce qui rend le bruit plus susceptible d'être reconnu comme de la parole, pouvant entraîner la transcription de davantage de bruit.
• Plus la valeur se rapproche de +1 : le seuil de bruit augmente, ce qui rend la parole plus susceptible d'être identifiée à tort comme du bruit, pouvant entraîner le filtrage de certaines parties de la parole.

Il s'agit d'un paramètre de configuration avancé. Son ajustement peut affecter significativement les résultats de reconnaissance. Recommandations :

• Testez et vérifiez minutieusement les résultats avant tout ajustement.
• Ajustez par petits incréments en fonction de l'environnement audio réel (un pas de 0,1 est recommandé).

Non

Interface de rappel (RecognitionCallback).

Non

L'objet d'entrée utilisé pour transmettre le contexte de conversation. L'amélioration contextuelle améliore la précision de la reconnaissance pour les termes spécifiques à un domaine. Pour l'utilisation, consultez le guide de démarrage rapide.

Le dictionnaire doit inclure une clé context dont la valeur est une liste de messages (list[dict]). Chaque message contient les champs suivants :

• role (str, obligatoire) : le rôle du message. user représente les résultats de reconnaissance des tours précédents de l'utilisateur ou une liste de mots spécifiques à un domaine. assistant représente les réponses du grand modèle de langage des tours précédents.
• content (list[dict], obligatoire) : la liste du contenu du message. Chaque élément contient type (str ; défini sur input_text lorsque le rôle est user, et sur text lorsque le rôle est assistant) et text (str, le contenu textuel).

Transmettez raw_input à la méthode start ou call de l'instance Recognition :

# Build the input to pass in
          input_context = {
              "context": [
                  {
                      "role": "user",
                      "content": [
                          {
                              "type": "input_text",
                              "text": "Hello there"
                          }
                      ]
                  },
                  {
                      "role": "assistant",
                      "content": [
                          {
                              "type": "text",
                              "text": "Hello, I am Qwen. How can I help you?"
                          }
                      ]
                  }
              ]
          }

          # Pass it in through the raw_input parameter
          recognition.start(raw_input=input_context)
          # Or
          recognition.call(raw_input=input_context)

def call(self, file: str, phrase_id: str = None, **kwargs) -> RecognitionResult

Un appel non diffusé basé sur un fichier local. Cette méthode bloque le thread actuel jusqu'à ce que tout l'audio soit lu et nécessite une autorisation de lecture sur le fichier.

Le résultat de reconnaissance est renvoyé sous forme d'objet RecognitionResult.

def start(self, phrase_id: str = None, **kwargs)

Démarre la reconnaissance vocale.

Une reconnaissance en temps réel en flux continu basée sur des rappels. Cette méthode ne bloque pas le thread actuel. Utilisez-la conjointement avec les méthodes send_audio_frame et stop.

def send_audio_frame(self, buffer: bytes)

Envoie l'audio. Veillez à ce que chaque trame audio envoyée ne soit ni trop grande ni trop petite : environ 100 ms par trame, entre 1 Ko et 16 Ko.

Les résultats de reconnaissance sont obtenus via la méthode on_event de l'interface de rappel (RecognitionCallback).

def stop(self)

Arrête la reconnaissance vocale. Bloque l'exécution jusqu'à ce que le serveur ait terminé de reconnaître tout l'audio reçu, puis met fin à la tâche.

def get_last_request_id(self)

Récupère le request_id. Disponible après l'appel du constructeur (création de l'objet).

def get_first_package_delay(self)

Récupère la latence du premier paquet : le délai entre l'envoi du premier paquet audio et la réception du premier résultat de reconnaissance. À utiliser après la fin de la tâche.

def get_last_package_delay(self)

Récupère la latence du dernier paquet : le temps écoulé entre l'envoi de la commande stop et la réception du dernier résultat de reconnaissance. À utiliser après la fin de la tâche.

def get_response(self)

Récupère le dernier message. Utilisez cette méthode pour récupérer une erreur en cas d'échec de la tâche.

def on_open(self) -> None

None

Appelée immédiatement après l'établissement de la connexion au serveur.

def on_event(self, result: RecognitionResult) -> None

result : Résultat de reconnaissance (RecognitionResult)

None

Appelée lorsque le serveur envoie une réponse.

def on_complete(self) -> None

None

Appelée après le renvoi de tous les résultats de reconnaissance.

def on_error(self, result: RecognitionResult) -> None

result : Résultat de reconnaissance (RecognitionResult)

None

Appelée lorsqu'une erreur se produit.

def on_close(self) -> None

None

Appelée après la fermeture de la connexion par le serveur.

def get_sentence(self) -> Union[Dict[str, Any], List[Any]]

Récupère la phrase reconnue actuelle et ses informations d'horodatage. Un rappel renvoie une seule phrase, donc cette méthode retourne Dict[str, Any].

Pour plus de détails, consultez la rubrique Phrase (Sentence).

def get_request_id(self) -> str

Récupère le request_id de la requête.

@staticmethod
def is_sentence_end(sentence: Dict[str, Any]) -> bool

Détermine si la phrase donnée est terminée. Cette méthode vérifie si le champ end_time dans sentence est None : une valeur end_time différente de None indique que la phrase est terminée. Appelez-la sous la forme RecognitionResult.is_sentence_end(sentence), où sentence est le dictionnaire de phrase unique renvoyé par get_sentence(), et non un champ booléen sur une instance Sentence.