Alibaba Cloud Model Studio:CosyVoice iOS SDK

Utilisez le SDK iOS CosyVoice pour transformer du texte en parole expressive et de haute qualité dans vos applications iOS.

NeoNui

• Modèle singleton : obtenir l'instance globale via [StreamInputTts get_instance].
• Piloté par rappels : recevoir les événements et les données audio via le protocole StreamInputTtsDelegate.
• Configuration JSON : transmettre les paramètres sous forme de chaînes JSON.

Flux d'appel

CosyVoice prend en charge deux modes d'appel : l'entrée unique et l'entrée en streaming.

Entrée en une seule fois : idéale pour la synthèse de texte court ou lorsque vous avez besoin du balisage SSML.

1. playStreamInputTts() ou asyncPlayStreamInputTts() — Envoyez un texte complet et démarrez la synthèse. La première est synchrone et retourne une fois la synthèse terminée ; la seconde est asynchrone et retourne immédiatement après le démarrage de la synthèse.
2. onStreamInputTtsDataCallback() — Recevoir les données audio.
3. TTS_EVENT_SYNTHESIS_COMPLETE — Synthèse terminée.

Entrée en streaming : idéal pour les conversations en temps réel ou les scénarios de synthèse à la volée de longs textes. Ce mode ne prend pas en charge le balisage SSML.

1. startStreamInputTts() — Initialiser le SDK et définir le délégué de rappel ainsi que les paramètres de connexion.
2. sendStreamInputTts() — Envoyer en continu des fragments de texte à synthétiser.
3. onStreamInputTtsDataCallback() — Recevoir les données audio.
4. stopStreamInputTts() ou asyncStopStreamInputTts() — Envoyez la requête de fin de synthèse. La première est synchrone et retourne une fois la synthèse terminée ; la seconde est asynchrone et retourne immédiatement après l'envoi de la requête.
5. TTS_EVENT_SYNTHESIS_COMPLETE — Synthèse terminée.

startStreamInputTts

Démarre une tâche de synthèse vocale en streaming et ouvre une connexion au serveur.

- (int) startStreamInputTts:(const char *)ticket parameters:(const char *)parameters sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

Renvoie un code d'erreur. Exemple de JSON ticket : l'exemple suivant ne répertorie pas tous les champs. Ajouter les autres selon les besoins de votre code :

{
  "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
  "apikey": "st-****",
  "device_id": "my_device_id"
}

Exemple de JSON parameters : l'exemple suivant ne répertorie pas tous les champs. Ajouter les autres selon les besoins de votre code :

{
  "model": "cosyvoice-v3-plus",
  "voice": "longanyang",
  "format": "mp3",
  "sample_rate": 24000,
  "volume": 50,
  "rate": 1,
  "pitch": 1,
  "language_hints": ["zh"],
  "enable_ssml": false
}

"hot_fix": {
  "pronunciation": [
    {"天气": "tian1 qi4"}
  ],
  "replace": [
    {"今天": "金天"}
  ]
}

sendStreamInputTts

Envoie le texte à synthétiser. Utilisez cette méthode conjointement avec startStreamInputTts.

Après avoir appelé startStreamInputTts, utiliser cette méthode pour pousser du texte en continu.

Une fois tout le texte envoyé, appelez stopStreamInputTts ou asyncStopStreamInputTts pour signaler la fin de l'entrée.

- (int) sendStreamInputTts:(const char *)text;

Renvoie un code d'erreur.

stopStreamInputTts

Méthode synchrone. Notifie au serveur que tout le texte a été envoyé, puis bloque jusqu'à ce que chaque bloc audio soit synthétisé et que TTS_EVENT_SYNTHESIS_COMPLETE soit reçu.

Le délai d'attente du blocage est contrôlé par complete_waiting_ms.

- (int) stopStreamInputTts;

Renvoie un code d'erreur.

asyncStopStreamInputTts

Méthode asynchrone. Notifie au serveur que tout le texte a été envoyé et retourne un résultat immédiatement. La synthèse se poursuit en arrière-plan.

Utiliser TTS_EVENT_SYNTHESIS_COMPLETE pour détecter la fin de la synthèse.

- (int) asyncStopStreamInputTts;

Renvoie un code d'erreur.

cancelStreamInputTts

Interrompt immédiatement la connexion au serveur et met fin à la tâche de synthèse en cours. Après l'appel de cette méthode, aucun autre rappel de données audio n'est déclenché.

- (int) cancelStreamInputTts;

Renvoie un code d'erreur.

playStreamInputTts

Méthode de synthèse synchrone en une seule fois. Envoie le texte et bloque pendant la réception de toutes les données audio, puis retourne une fois la synthèse terminée. Vous n'avez pas besoin d'appeler stopStreamInputTts par la suite.

Cette méthode active SSML par défaut. Pour désactiver SSML, définissez le champ enable_ssml dans parameters sur false.

- (int) playStreamInputTts:(const char *)ticket parameters:(const char *)parameters text:(const char *)text sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

Les paramètres ticket, parameters et autres paramètres partagés utilisent les mêmes définitions que startStreamInputTts.

Renvoie un code d'erreur.

asyncPlayStreamInputTts

Cette méthode envoie tout le texte pour la synthèse de manière asynchrone. Elle retourne immédiatement sans attendre les données audio. Vous n'avez pas besoin d'appeler stopStreamInputTts par la suite.

Cette méthode active SSML par défaut. Pour désactiver SSML, définissez le champ enable_ssml dans parameters sur false.

- (int) asyncPlayStreamInputTts:(const char *)ticket parameters:(const char *)parameters text:(const char *)text sessionId:(const char *)sessionId logLevel:(NuiSdkLogLevel)logLevel saveLog:(BOOL)saveLog;

Les paramètres ticket, parameters et autres paramètres partagés utilisent les mêmes définitions que startStreamInputTts.

Renvoie un code d'erreur.

StreamInputTtsDelegate

Protocole de rappel pour la synthèse vocale en streaming CosyVoice. Implémentez ce protocole pour recevoir les événements de synthèse, les données audio et les journaux.

onStreamInputTtsEventCallback : écouter les événements

- (void)onStreamInputTtsEventCallback:(StreamInputTtsCallbackEvent)event taskId:(char*)taskid sessionId:(char*)sessionId ret_code:(int)ret_code error_msg:(char*)error_msg timestamp:(char*)timestamp all_response:(char*)all_response;

onStreamInputTtsDataCallback : écouter les données audio

Le SDK déclenche ce rappel de manière répétée pendant la synthèse. Lire les données audio depuis le rappel.

- (void)onStreamInputTtsDataCallback:(char*)buffer len:(int)len;

onStreamInputTtsLogTrackCallback : écouter les journaux de trace

Ce rappel fournit des journaux internes détaillés du SDK pour aider au dépannage et au débogage.

- (void)onStreamInputTtsLogTrackCallback:(NuiSdkLogLevel)level
                            logMessage:(const char *)log;

StreamInputTtsCallbackEvent

Énumération des types d'événements pour la synthèse vocale en streaming CosyVoice.

{
        "header": {
            "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
            "event": "task-failed",
            "error_code": "InvalidParameter",
            "error_message": "[tts:]Engine return error code: 418",
            "attributes": {}
        },
        "payload": {}
    }

NuiSdkLogLevel

Énumération du niveau de journal du SDK qui contrôle la sortie des journaux.

Code d'exemple

1. Obtenir votre clé API : Obtenir une clé API.

2. Téléchargez le SDK et exécutez l'exemple de code :
   • Télécharger le dernier bundle SDK.
   • Extraire l'archive ZIP et ajouter nuisdk.framework à votre projet Xcode.
   • Dans Build Phases > Link Binary With Libraries, ajouter nuisdk.framework.
   • Dans General > Frameworks, Libraries, and Embedded Content, définir nuisdk.framework sur Embed & Sign.
   • Ouvrez le projet d'exemple dans Xcode. Le code d'exemple se trouve dans DashCosyVoiceStreamInputTTSViewController.m. Remplacez la clé API fictive par la vôtre et exécutez l'application pour l'essayer.

Modes d'appel

Fonctionnalités avancées

Balisage SSML

Objectif : intégrer des balises XML dans le texte d'entrée pour contrôler précisément la prononciation, le débit de parole, les pauses et autres détails de prosodie.

Limites : SSML n'est pris en charge qu'avec l'entrée unique (les méthodes playStreamInputTts et asyncPlayStreamInputTts). Il n'est pas pris en charge avec l'entrée en streaming (la méthode sendStreamInputTts).

Utilisation : Lorsque vous appelez playStreamInputTts ou asyncPlayStreamInputTts, le SDK active automatiquement SSML. Transmettez le texte contenant des balises SSML directement dans le paramètre text.

Pour plus de détails, consulter SSML.

Expressions mathématiques

Objectif : faire en sorte que le modèle lise correctement les formules et expressions mathématiques courantes.

Utilisation : Transmettez le texte contenant des expressions mathématiques au format LaTeX directement dans le paramètre text. Pour plus de détails, consultez Convertir des formules LaTeX en parole (uniquement en chinois).