Événements client pour l'API Qwen-Omni-Realtime.
Voir Qwen-Omni-Realtime .
session.update
Une fois la connexion WebSocket établie, envoyez cet événement en premier pour modifier la configuration de session par défaut. Le serveur valide les paramètres à la réception de l'événement session.update. Si les paramètres sont invalides, le serveur renvoie une erreur. S'ils sont valides, il applique la configuration et retourne la configuration complète mise à jour.
type Type de l'événement. La valeur doit être | |
session Configuration de la session. | |
temperature Température d'échantillonnage contrôlant la diversité des sorties. Une valeur élevée produit un contenu plus varié, tandis qu'une valeur faible génère des sorties plus déterministes. Plage valide : [0, 2). Puisque temperature et top_p contrôlent tous deux la diversité, n'en configurez qu'un seul. Valeurs par défaut :
| |
top_p Seuil de probabilité pour l'échantillonnage nucléaire, contrôlant la diversité des sorties. Une valeur élevée produit un contenu plus varié, tandis qu'une valeur faible génère des sorties plus déterministes. Plage valide : (0, 1.0]. Puisque temperature et top_p contrôlent tous deux la diversité, n'en configurez qu'un seul. Valeurs par défaut :
| |
top_k Taille de l'ensemble de candidats pour l'échantillonnage. Par exemple, une valeur de 50 limite chaque étape de génération aux 50 tokens ayant obtenu le meilleur score. Une valeur plus grande augmente l'aléatoire, tandis qu'une valeur plus petite accroît le déterminisme. Définissez cette valeur sur Valeur minimale : 0. Valeurs par défaut :
| |
max_tokens Nombre maximal de tokens à retourner.
Les valeurs par défaut et maximale correspondent à la longueur de sortie maximale du modèle. Consultez la Liste des modèles. Utilisez max_tokens pour limiter la longueur de sortie dans le cadre de tâches telles que la synthèse, l'extraction de mots-clés, le contrôle des coûts ou la réduction de la latence. | |
repetition_penalty Contrôle la répétition dans la sortie du modèle. Une valeur plus élevée réduit les répétitions ; 1,0 signifie aucune pénalité. La valeur doit être supérieure à 0. Valeurs par défaut :
| |
presence_penalty Contrôle la répétition du contenu dans la sortie du modèle. Plage valide : [-2.0, 2.0]. Une valeur positive réduit les répétitions, tandis qu'une valeur négative les augmente. Valeurs par défaut :
Cas d'utilisation : Des valeurs plus élevées conviennent aux tâches créatives comme la narration ou le brainstorming, où la diversité et l'intérêt de la sortie priment. Des valeurs plus faibles sont adaptées aux contenus techniques ou formels nécessitant cohérence et terminologie précise. | |
seed Rend la génération plus déterministe. Fournissez la même valeur de seed avec des paramètres inchangés pour obtenir des résultats cohérents entre plusieurs exécutions. Plage valide : 0 à 231−1. Valeur par défaut : -1. |
response.create
L'événement response.create demande au serveur de générer une réponse du modèle. En mode VAD, le serveur génère les réponses automatiquement ; cet événement n'est donc pas nécessaire. Dans les scénarios d'appel d'outil, envoyez cet événement après avoir retourné le résultat de l'outil via conversation.item.create afin de déclencher la réponse finale du modèle.
Le serveur répond par un événement response.created, suivi d'un ou plusieurs événements d'élément et de contenu — tels que conversation.item.created et response.content_part.added — et enfin un événement response.done.
type Type de l'événement. La valeur doit être | |
response.cancel
Envoyez cet événement pour annuler une réponse en cours. Si aucune réponse n'est en cours de génération, le serveur renvoie une erreur.
type Type de l'événement. La valeur doit être | |
input_audio_buffer.append
Ajoute des octets audio au tampon audio d'entrée.
type Type de l'événement. La valeur doit être | |
audio Données audio encodées en Base64. |
input_audio_buffer.commit
Valide le tampon audio d'entrée, créant ainsi un nouvel élément de message utilisateur dans la conversation. Si le tampon est vide, le serveur renvoie une erreur.
- Mode VAD : Le client n'a pas besoin d'envoyer cet événement. Le serveur valide le tampon audio automatiquement.
- Mode manuel : Le client doit valider le tampon audio pour créer un élément de message utilisateur.
La validation du tampon ne déclenche pas de réponse du modèle. Le serveur répond par un événement input_audio_buffer.committed.
Si le client a envoyé un événement input_image_buffer.append , l'événement input_audio_buffer.commit valide également le tampon d'images.
type Type de l'événement. La valeur doit être | |
input_audio_buffer.clear
Efface les octets audio du tampon. Le serveur répond par un événement input_audio_buffer.cleared.
type Type de l'événement. La valeur doit être | |
input_image_buffer.append
Ajoute des données d'image au tampon d'images. Les images peuvent provenir de fichiers locaux ou d'un flux vidéo en direct.
Les limites suivantes s'appliquent aux entrées d'images :
- Format : JPG ou JPEG. Résolution recommandée : 480p ou 720p ; maximum : 1080p.
- Une image unique après encodage Base64 ne doit pas dépasser 256 Ko. Nous recommandons de conserver la taille de l'image brute sous 190 Ko avant l'encodage.
- Les données d'image doivent être encodées en Base64.
- Fréquence d'envoi recommandée : 1 image par seconde.
- Envoyez au moins un événement
input_audio_buffer.appendavant d'envoyer un événementinput_image_buffer.append.
Le tampon d'images est validé conjointement avec le tampon audio via l'événement input_audio_buffer.commit .
type Type de l'événement. La valeur doit être | |
image Données d'image encodées en Base64. |
conversation.item.create
Envoyez cet événement pour retourner au serveur le résultat d'exécution d'une fonction d'outil. Après le déclenchement d'un appel d'outil par le modèle, exécutez l'outil localement, puis renvoyez le résultat à l'aide de cet événement. Faites suivre cet envoi d'un événement response.create pour déclencher la réponse finale du modèle.
RemarqueSeuls les éléments de type function_call_output sont actuellement pris en charge.
type Type de l'événement. La valeur doit être | |
item Élément de conversation à créer. Ne peut pas être vide. |