Intelligent workflow configuration best practices - Intelligent Media Services

Les workflows intelligents permettent de créer des pipelines de traitement multimédia modulaires et personnalisables. Cette rubrique présente des exemples de configuration pour la traduction de flux en direct et la reconnaissance de sous-titres RTC.

Scénario 1 : Traduction de flux en direct

Un workflow intelligent assure la reconnaissance vocale sur un flux en direct, génère des traductions en temps réel et envoie les résultats intermédiaires et finaux de chaque phrase à votre serveur HTTP via un callback.

Configuration de la topologie globale

La topologie comprend six nœuds : Start, Automatic Speech Recognition (ASR), Large Language Model (LLM), Code Execution, HTTP Request et End.

Configurez les nœuds comme suit :

Nœud Start

Au lancement du workflow, transmettez les paramètres d'entrée suivants au nœud Start :

{
  "live_url": {
      "Url": "rtmp://test.com/test_app/test_stream?auth_key=test",
      "MaxIdleTime": 20
  },
  "source_language_id": "es"
}

Paramètre

Obligatoire

Description

live_url

Oui

Transmis sous forme d'objet contenant les champs suivants :

Url : URL de streaming en direct accessible publiquement.
MaxIdleTime : délai d'expiration pour la récupération du flux en direct. La tâche s'arrête si aucune donnée n'est reçue pendant plus de 20 secondes.

source_language_id

Oui

Langue source. Sélectionnez une valeur dans la liste suivante.

Mandarin Chinese: zh
English: en
Spanish: es
Japanese: ja
Korean: ko
French: fr
Thai: th
Russian: ru
German: de
Guangxi dialect: guangxi
Portuguese: pt
Cantonese: yue
Traditional Cantonese: yue_hant
Minnan: minnan
Polish: pl
Italian: it
Ukrainian: uk
Dutch: nl
Arabic: ar
Indonesian: id
Turkish: tr
Vietnamese: vi

Nœud ASR

Définissez la variable d'entrée sur le paramètre live_url du nœud Start et la langue d'entrée sur le paramètre source_language_id du même nœud. Conservez les autres paramètres par défaut ou configurez-les selon vos besoins.

Nœud LLM

Cet exemple configure le modèle qwen-mt-turbo via la méthode Custom Model Integration (OpenAI-compliant). Pour obtenir une clé API, consultez Obtenir une clé API. Dans les paramètres du modèle, spécifiez la langue source (pouvant être définie sur auto) ainsi que la langue cible. Le prompt utilisateur peut référencer directement les résultats intermédiaires ou finaux du nœud ASR.

Nœud Code Execution

Pour fusionner les résultats de l'ASR et de la traduction LLM destinés au callback, utilisez un script Python dans le nœud Code Execution. Affectez la sortie du LLM au champ TransText du résultat ASR, puis retournez un JSONObject comme données de callback.

Nœud HTTP Request

Configurez les paramètres suivants :

Configuration de l'API : adresse publique de votre serveur de callback.
Paramètres d'URL : result_type=mid_en. Vous pouvez personnaliser le type de callback.
Type de corps de requête : json.
Données du corps de requête : référencez la sortie JSON des données de callback.

Scénario 2 : Reconnaissance de sous-titres RTC

Un workflow intelligent exécute l'ASR sur un flux audio spécifique d'un canal Real-Time Communication (RTC). Les résultats de reconnaissance sont envoyés au client via un callback DataChannel pour afficher les sous-titres.

Configuration de la topologie globale

Cette topologie se compose de quatre nœuds : Start, ASR, RTC Ingest et End.

Configurez les nœuds comme suit :

Nœud Start

Description des variables :

rtc : transmettez les paramètres RTC lors du démarrage du workflow, notamment AppId, ChannelId et UserId. Sélectionnez également le flux audio de sortie.
source_language_id : langue source pour la reconnaissance.
push_app_id : AppId RTC utilisé pour le callback DataChannel.
push_channel_id : ChannelId RTC associé au callback DataChannel.
push_uid : UserId RTC correspondant au callback DataChannel.

Exemple de variables :

{
  "rtc": {
    "AppId": "xxx",
    "ChannelId": "rtcaitest1",
    "UserId": "userA"
  },
  "source_language_id": "zh",
  "push_app_id": "app_id",
  "push_channel_id": "channel_id",
  "push_uid": "user_id"
}

Nœud ASR

Définissez la variable d'entrée sur l'audio provenant du flux en direct du nœud Start et la langue d'entrée sur le paramètre source_language_id du même nœud. Conservez les autres paramètres par défaut ou ajustez-les selon vos besoins.

Nœud RTC Ingest

La variable d'entrée text doit référencer le texte produit par le nœud ASR. L'App ID, le Channel ID et le User ID correspondent respectivement aux champs push_app_id, push_channel_id et push_uid du nœud Start. Ils identifient le rôle utilisé pour l'ingestion du flux DataChannel.