Intelligent Media Services:Praktik terbaik konfigurasi alur kerja cerdas

Skenario 1: Terjemahan aliran langsung

Alur kerja cerdas melakukan pengenalan ucapan pada aliran langsung, menghasilkan terjemahan waktu nyata, serta mengirim hasil antara dan hasil akhir untuk setiap kalimat ke server HTTP Anda melalui callback.

Konfigurasi node adalah sebagai berikut:

Node Start

Saat memulai alur kerja, berikan parameter input berikut ke node Start:

{
  "live_url": {
      "Url": "rtmp://test.com/test_app/test_stream?auth_key=test",
      "MaxIdleTime": 20
  },
  "source_language_id": "es"
}

Mandarin Chinese: zh
English: en
Spanish: es
Japanese: ja
Korean: ko
French: fr
Thai: th
Russian: ru
German: de
Guangxi dialect: guangxi
Portuguese: pt
Cantonese: yue
Traditional Cantonese: yue_hant
Minnan: minnan
Polish: pl
Italian: it
Ukrainian: uk
Dutch: nl
Arabic: ar
Indonesian: id
Turkish: tr
Vietnamese: vi

Node ASR

Panel konfigurasi node ASR berisi pengaturan berikut:

• Model configuration: Pilih System preset (opsi lain termasuk Third-party plugin dan Custom integration)

• Silence timeout: Nilai default adalah 400 ms

• Custom hotwords: Unggah file TXT (maksimal 500 kata, tiap kata maksimal 10 karakter, ukuran file maksimal 100 KB, encoding UTF-8 tanpa BOM)

Tetapkan variabel input ke parameter live_url dari node Start, dan tetapkan bahasa input ke parameter source_language_id dari node Start. Biarkan parameter lainnya menggunakan nilai default atau sesuaikan sesuai kebutuhan.

Node LLM

Contoh ini mengonfigurasi model qwen-mt-turbo menggunakan metode Custom Model Integration (OpenAI-compliant). Tetapkan Target protocol address ke https://dashscope.aliyuncs.com/compatible-mode/v1. Untuk informasi lebih lanjut tentang cara mendapatkan Kunci API, lihat Obtain an API Key. Dalam parameter model (JSON), konfigurasikan bidang source_lang dan target_lang di dalam objek translation_options. Prompt pengguna dapat langsung mereferensikan hasil antara atau hasil akhir dari node ASR.

Node Code execution

Node ini bernama Intermediate English Translation Result Assembly. Konfigurasikan dua variabel input: arg1 (tipe Object, mereferensikan hasil pengenalan ASR) dan arg2 (tipe String, mereferensikan hasil terjemahan). Skrip Python 3 mengeksekusi arg1['TransText'] = arg2 dan return {"result": arg1}. Variabel output result bertipe Object.

Untuk menggabungkan hasil pengenalan ASR dan terjemahan LLM guna callback, gunakan skrip Python di node Code Execution. Tetapkan output LLM ke bidang TransText dari hasil ASR, lalu kembalikan JSONObject sebagai data callback.

Node HTTP request

Konfigurasikan pengaturan berikut:

• Metode permintaan: POST.

• Konfigurasi API: Alamat publik server callback Anda.

• Parameter URL: result_type=mid_en. Anda dapat menyesuaikan tipe callback.

• Tipe body permintaan: json.

• Data body permintaan: Referensikan output JSON dari data callback.

Skenario 2: Pengenalan takarir RTC

Alur kerja cerdas melakukan ASR pada aliran audio tertentu di saluran Real-Time Communication (RTC). Hasil pengenalan dikirim ke klien melalui callback DataChannel untuk menampilkan takarir.

Konfigurasi node adalah sebagai berikut:

Node Awal

Deskripsi variabel:

• rtc: Saat memulai alur kerja, berikan parameter RTC yang mencakup AppId, ChannelId, dan UserId. Anda juga perlu memilih aliran audio output.

• source_language_id: Bahasa sumber untuk pengenalan.

• push_app_id: RTC AppId untuk callback DataChannel.

• push_channel_id: RTC ChannelId untuk callback DataChannel.

• push_uid: RTC UserId untuk callback DataChannel.

Contoh variabel:

{
  "rtc": {
    "AppId": "xxx",
    "ChannelId": "rtcaitest1",
    "UserId": "userA"
  },
  "source_language_id": "zh",
  "push_app_id": "app_id",
  "push_channel_id": "channel_id",
  "push_uid": "user_id"
}

Node ASR

Di panel konfigurasi node ASR, Model configuration mendukung tiga mode: System preset, Third-party plugin, dan Custom integration. Silence timeout default-nya adalah 400 ms. Custom hotwords mendukung pengunggahan file TXT dengan maksimal 500 kata, tiap kata maksimal 10 karakter, ukuran file maksimal 100 KB, encoding UTF-8 tanpa BOM.

Tetapkan variabel input ke audio dari input aliran langsung node Start, dan tetapkan bahasa input ke parameter source_language_id dari node Start. Biarkan parameter lainnya menggunakan nilai default atau sesuaikan sesuai kebutuhan.

Node RTC ingest

Tipe variabel input audio adalah Stream. Referensikan nilai variabel aliran audio.

Variabel input text harus mereferensikan teks output dari node ASR. App ID, channel ID, dan user ID sesuai dengan bidang push_app_id, push_channel_id, dan push_uid dari node Start dan merepresentasikan informasi peran untuk pengambilan aliran DataChannel.