Alibaba Cloud Model Studio:CosyVoice Android SDK

Convertissez du texte en parole expressive et de haute qualité dans votre application Android avec le SDK de synthèse vocale (TTS) CosyVoice.

NativeNui

Le SDK prend en charge plusieurs instances NativeNui et utilise des rappels pour fournir les événements de synthèse.

• Instances multiples : Créez une instance en appelant new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS).

• Piloté par rappels : Recevez les événements et les données audio via l'interface INativeStreamInputTtsCallback.

• Types d'événements :
  • STREAM_INPUT_TTS_EVENT_SYNTHESIS_STARTED : La tâche de synthèse a démarré.
  • onStreamInputTtsDataCallback : Les données audio sont fournies.
  • STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE : La tâche de synthèse est terminée.
  • STREAM_INPUT_TTS_EVENT_TASK_FAILED : La tâche de synthèse a échoué.

Flux d'utilisation

CosyVoice prend en charge deux modes d'appel : l'entrée unique et l'entrée en streaming.

L'entrée unique est adaptée aux textes courts et à tout scénario utilisant le balisage SSML.

1. playStreamInputTts() ou asyncPlayStreamInputTts() : envoyer un texte complet et démarrer la synthèse. La première est synchrone et retourne un résultat une fois la synthèse terminée ; la seconde est asynchrone et retourne un résultat immédiatement après le démarrage de la synthèse.
2. onStreamInputTtsDataCallback() — réception des données audio.
3. STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — la synthèse est terminée.

L'entrée en streaming est adaptée aux conversations en temps réel et aux scénarios de longue durée de type « parler au fil de l'eau ». Le SSML n'est pas pris en charge dans ce mode.

1. startStreamInputTts() — initialisation du SDK et configuration des paramètres de rappel et de connexion.
2. sendStreamInputTts() — envoi de texte en continu au fur et à mesure qu'il devient disponible.
3. onStreamInputTtsDataCallback() — réception des données audio.
4. stopStreamInputTts() ou asyncStopStreamInputTts() : envoyer la requête de fin de synthèse. La première est synchrone et retourne un résultat une fois la synthèse terminée ; la seconde est asynchrone et retourne un résultat immédiatement après l'envoi de la requête.
5. STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — la synthèse est terminée.

startStreamInputTts

Démarre la synthèse en flux bidirectionnel, ouvre la connexion au service et enregistre le rappel pour les événements et les données audio.

Cette méthode peut bloquer. Appelez-la sur un thread autre que celui de l'interface utilisateur.

public synchronized int startStreamInputTts(INativeStreamInputTtsCallback callback,
                                            String ticket,
                                            String parameters,
                                            String session_id,
                                            int log_level,
                                            boolean save_log)

Renvoie un code d'erreur.

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "sk-****",
    "device_id": "my_device_id"
}

{
    "model": "cosyvoice-v3-plus",
    "voice": "longanyang",
    "format": "mp3",
    "volume": 50,
    "rate": 1.0,
    "pitch": 1.0
}

"hot_fix": {
  "pronunciation": [
    {"天气": "tian1 qi4"}
  ],
  "replace": [
    {"今天": "金天"}
  ]
}

sendStreamInputTts

Envoie le texte à synthétiser. Utilisez cette méthode conjointement avec startStreamInputTts.

Après avoir appelé startStreamInputTts, appelez cette méthode pour pousser du texte en continu.

Lorsque vous avez envoyé tout le texte, appelez stopStreamInputTts ou asyncStopStreamInputTts pour terminer l'entrée.

public synchronized int sendStreamInputTts(String text)

Renvoie un code d'erreur.

stopStreamInputTts

Méthode synchrone qui indique au serveur que tout le texte a été envoyé et qui bloque jusqu'à ce que tout l'audio ait été synthétisé et que l'événement STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE soit reçu.

Le délai d'attente est contrôlé par complete_waiting_ms.

public synchronized int stopStreamInputTts()

Renvoie un code d'erreur.

asyncStopStreamInputTts

Méthode asynchrone qui indique au serveur que tout le texte a été envoyé. L'appel retourne immédiatement et la synthèse se poursuit en arrière-plan.

Utilisez l'événement STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE pour détecter la fin de la synthèse.

public synchronized int asyncStopStreamInputTts()

Renvoie un code d'erreur.

cancelStreamInputTts

Ferme immédiatement la connexion au serveur et interrompt la tâche de synthèse en cours. Aucun autre rappel audio n'est fourni après cet appel.

public synchronized int cancelStreamInputTts()

Renvoie un code d'erreur.

playStreamInputTts

Méthode de synthèse synchrone à entrée unique. L'appel envoie le texte, bloque pendant la réception de l'audio et ne retourne qu'une fois la synthèse terminée. Vous n'avez pas besoin d'appeler la méthode stop par la suite.

Le SSML est activé par défaut pour cette méthode. Pour modifier ce comportement, définissez explicitement enable_ssml.

Appeler cette méthode sur un thread non UI.

public synchronized int playStreamInputTts(INativeStreamInputTtsCallback callback,
                                           String ticket,
                                           String parameters,
                                           String text,
                                           String session_id,
                                           int log_level,
                                           boolean save_log)

Le rappel, le ticket et les autres paramètres partagés ont la même signification que dans startStreamInputTts.

Renvoie un code d'erreur.

asyncPlayStreamInputTts

Méthode de synthèse asynchrone à entrée unique. L'appel retourne immédiatement, la synthèse s'exécute en arrière-plan et les résultats sont fournis via le rappel. Vous n'avez pas besoin d'appeler la méthode stop par la suite.

Le SSML est activé par défaut pour cette méthode. Pour modifier ce comportement, définissez explicitement enable_ssml.

public synchronized int asyncPlayStreamInputTts(INativeStreamInputTtsCallback callback,
                                           String ticket,
                                           String parameters,
                                           String text,
                                           String session_id,
                                           int log_level,
                                           boolean save_log)

Le rappel, le ticket et les autres paramètres partagés ont la même signification que dans startStreamInputTts.

Renvoie un code d'erreur.

INativeStreamInputTtsCallback

L'interface de rappel TTS en streaming CosyVoice fournit les événements de synthèse, les données audio et les journaux.

onStreamInputTtsEventCallback : réception des événements

void onStreamInputTtsEventCallback(StreamInputTtsEvent event,
                                   String task_id,
                                   String session_id,
                                   int ret_code,
                                   String error_msg,
                                   String timestamp,
                                   String all_response);

onStreamInputTtsDataCallback : réception des données audio

Le SDK invoque ce rappel de manière répétée pendant la synthèse. Lisez les données audio à partir du rappel.

void onStreamInputTtsDataCallback(byte[] data);

onStreamInputTtsLogTrackCallback : réception des journaux de suivi

Utilisez ce rappel pour recevoir les journaux internes détaillés du SDK, ce qui facilite le dépannage et le débogage.

default void onStreamInputTtsLogTrackCallback(Constants.LogLevel level, String log)

StreamInputTtsEvent

Énumération des types d'événements pour la synthèse vocale en flux continu CosyVoice.

{
    "header": {
        "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
        "event": "task-failed",
        "error_code": "InvalidParameter",
        "error_message": "[tts:]Engine return error code: 418",
        "attributes": {}
    },
    "payload": {}
}

Code d'exemple

1. Obtenir une clé API : Obtenir une clé API. Pour des raisons de sécurité, stockez la clé API dans une variable d'environnement.

   RemarqueUtilisez une clé API temporaire lorsque vous devez accorder un accès temporaire à une application ou à un utilisateur tiers, ou lorsque vous want contrôler strictement les opérations à haut risque telles que l'accès ou la suppression de données sensibles. Une clé API temporaire est valide pendant 60 secondes, après quoi vous devez en demander une nouvelle.

2. Téléchargez le SDK et exécutez l'exemple de code :
   • Téléchargez le dernier package du SDK.
   • Décompressez le package. Le SDK au format AAR se trouve dans app/libs — ajoutez-le aux dépendances de votre projet. Pour l'intégration C++ Android, récupérez les bibliothèques partagées depuis android_libs et les en-têtes depuis android_include à l'intérieur du ZIP.
   • Ouvrez le projet dans Android Studio. Le code d'exemple se trouve dans DashCosyVoiceStreamTtsActivity.java — remplacez la clé API par la vôtre pour tester la fonctionnalité.

Modes d'invocation

Fonctionnalités avancées

Balisage SSML

Objectif : Intégrer des balises XML dans le texte pour affiner la prononciation, la vitesse de parole, les pauses et autres détails prosodiques.

Limites : le SSML est pris en charge uniquement avec l'entrée de texte en une seule fois (les méthodes playStreamInputTts ou asyncPlayStreamInputTts). L'entrée de texte en streaming (la méthode sendStreamInputTts) ne prend pas en charge le SSML.

Utilisation : Lorsque vous appelez playStreamInputTts ou asyncPlayStreamInputTts, le SDK active automatiquement le SSML. Transmettez le texte contenant des balises SSML via le paramètre text.

Pour plus d'informations, consultez SSML.

Expressions mathématiques

Objectif : Permettre au modèle de lire correctement à voix haute les formules et expressions mathématiques courantes.

Utilisation : Transmettez le texte contenant des expressions mathématiques au format LaTeX via le paramètre text. Pour plus d'informations, consultez Convertir des formules LaTeX en parole (uniquement en langue chinoise).