Buat agen pesan interaktif untuk mengaktifkan percakapan berbasis AI dengan kemampuan speech recognition dan text-to-speech.
Sebelum memulai, pastikan Anda memenuhi persyaratan berikut:
Real-time Conversational AI telah diaktifkan. Untuk mengaktifkan fitur ini, buka halaman pembelian.
Langkah 1: Buat alur kerja pesan interaktif
-
Login ke Konsol Intelligent Media Service (IMS) dan klik Create Workflow Template.
-
Pilih tipe alur kerja Messaging dan konfigurasikan node alur kerja sesuai kebutuhan.
CatatanUntuk mengaktifkan kemampuan speech recognition atau text-to-speech, Anda harus mengonfigurasi node berikut:
-
Konfigurasikan node Speech-to-text untuk mengaktifkan speech recognition berbasis push-to-talk.
-
Konfigurasikan node Text-to-speech untuk mengaktifkan respons berupa suara.
Speech-to-text
Mengonversi input suara menjadi teks. Mendukung beberapa bahasa.
Versi model yang tersedia meliputi System Preset ASR (direkomendasikan untuk skenario campuran Tiongkok-Inggris karena akurasi lebih tinggi), Qwen3-ASR-Realtime, Fun-ASR-Realtime, dan NLS-ASR (direkomendasikan untuk skenario latensi ultra-rendah). Waktu diam default adalah 400 ms. Persyaratan untuk file hotword dan kata sensitif yang diunggah: format TXT, maksimal 500 kata, maksimal 10 karakter per kata, ukuran maksimal 100 KB, dan encoding UTF-8 tanpa BOM.
-
Preset: Model preset memungkinkan Anda memilih model bahasa, mengatur waktu diam, dan mengonfigurasi hotword kustom.
-
Model: Pilih model bahasa yang sesuai dengan skenario Anda.
-
Silent Time: Durasi agen menunggu input pengguna sebelum timeout.
-
Custom Hotword: Hotword meningkatkan akurasi pengenalan untuk kosakata spesifik domain. Untuk informasi selengkapnya, lihat Hotword pengenalan suara.
-
Sensitive Words: Setelah Anda mengonfigurasi kata sensitif, sistem secara otomatis menyensor setiap kata sensitif yang terdeteksi dengan tanda bintang (*) pada subtitle sisi client. Untuk informasi selengkapnya, lihat Kata sensitif kustom.
-
-
Third-party Plug-in: Saat ini, Anda dapat memilih iFLYTEK Speech Recognition. Untuk mendapatkan parameter yang diperlukan, kunjungi iFLYTEK Real-time Speech Dictation.
Text-to-speech
Mengonversi teks menjadi ucapan sehingga pengguna dapat mendengar respons agen.
Dialog konfigurasi juga mencakup: pemilihan Version (Text-to-Speech 2.0 dan Text-to-Speech 1.0 (Legacy)), pemilihan Voice (misalnya Yunfeng), pengaturan Volume (rentang 0–100), dan area input Preview Content (maksimal 200 karakter). Klik Play untuk mempratinjau ucapan.
Anda dapat memilih model text-to-speech yang sesuai dengan skenario aplikasi Anda, termasuk Preset Template, Self-developed Template, dan Third-party Plug-in.
-
System Preset Template: Termasuk System Default TTS, CosyVoice, dan Qwen3-TTS.
-
Self-developed Template: Integrasikan model Anda sendiri melalui protokol standar. TTS Standard Interface.
-
Third-party Plug-in: Hanya MiniMax Speech Model yang didukung. Gunakan versi terbaru. MiniMax Speech Model.
LLM
LLM memproses output STT untuk memahami dan menghasilkan respons dalam bahasa alami.
Konfigurasikan System Persona (peran, tujuan, kemampuan, persyaratan respons, dan batasan; maksimal 3.072 karakter) dan Conversation Memory Rounds (0–30). Semakin banyak putaran yang disimpan, semakin banyak konteks yang dipertahankan tetapi mungkin meningkatkan waktu pemrosesan.
Penyedia LLM yang didukung: Qwen (preset sistem), Alibaba Cloud Model Studio, Tongyi Xingchen, dan model besar self-developed yang kompatibel dengan OpenAI.
Alibaba Cloud Model Studio
Platform untuk pengembangan model besar dan pembuatan aplikasi. Terhubung melalui pusat Model atau pusat Application.
-
Model center: Di Model Marketplace, pilih model dan salin kodenya sebagai ModelId.
-
Application Center: Buat aplikasi agen di Alibaba Cloud Model Studio, lalu dapatkan AppId.
-
Buka halaman Key Management untuk membuat dan menyalin kunci API.
Tongyi Xingchen
Tongyi Xingchen memungkinkan agen yang sangat personal dengan persona unik, dapat dikombinasikan dengan interaksi suara real-time berbasis avatar.
-
ModelId: Tongyi Xingchen menyediakan lima model:
xingchen-lite,xingchen-base,xingchen-plus,xingchen-plus-v2, danxingchen-max. -
API key: Buka Konsol Tongyi Xingchen untuk membuat dan mendapatkan kunci API.
Self-developed model
Hubungkan model besar buatan Anda sendiri menggunakan spesifikasi OpenAI.
Masukkan parameter berikut:
Parameter
Description
Example
ModelId
Nama model. Memetakan ke bidang
modeldalam spesifikasi OpenAI.abc
API key
Kredensial autentikasi API. Memetakan ke bidang
api_keydalam spesifikasi OpenAI.AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI
Model URL (HTTPS)
URL titik akhir layanan. Memetakan ke bidang
base_urldalam spesifikasi OpenAI.http://www.abc.com
-
-
Klik Save untuk membuat alur kerja pesan interaktif.
Langkah 2: Buat agen pesan interaktif
-
Login ke Konsol Intelligent Media Service (IMS) dan klik Create AI Agent.
-
Konfigurasikan informasi dasar dan tautkan alur kerja perpesanan interaktif.
Atur Workflow Type ke Interactive Messaging, pilih alur kerja target dari daftar drop-down Workflow ID, dan konfigurasikan Interactive Messaging Application.
-
Buat Interactive Messaging Application.
CatatanAplikasi pesan interaktif berfungsi sebagai jembatan komunikasi yang mengaktifkan fitur percakapan.
Dalam dialog Create Application, pilih Region (misalnya, China (Shanghai)), masukkan Application Name (2 hingga 16 karakter), atur Message Storage Duration (default 30 hari), aktifkan sakelar Callback Settings dan Security Audit sesuai kebutuhan, lalu klik Create.
-
Konfigurasikan Interactive Messaging Application dan klik Submit untuk membuat agen pesan interaktif.
Langkah 3: Uji agen
Setelah membuat agen, uji dengan memindai kode QR demo.
-
Hasilkan kode QR demo di Konsol.
Di panel navigasi kiri, klik AI Agents. Temukan agen target dan klik Demo QR Code di kolom Aksi. Pilih waktu kedaluwarsa (1 jam, 7 jam, 24 jam, atau 3 hari) lalu klik Generate.
-
Pindai kode QR menggunakan DingTalk, WeChat, atau browser, atau salin URL demo ke browser Anda untuk menggunakan demo H5.
Dalam dialog Demo QR Code, kode QR APP berada di kiri dan kode QR H5 di kanan. H5 Demo URL, Experience Token, dan Expiration Time ditampilkan di bagian bawah.
Integrasi agen
Kumpulkan parameter berikut untuk integrasi. Untuk petunjuk lengkap, lihat Integrasikan agen pesan interaktif.
-
Region ID: Wilayah alur kerja dan agen Anda. Temukan Region ID Anda di pemilih wilayah di pojok kiri atas Konsol.
Region name
Region ID
China (Hangzhou)
cn-hangzhou
China (Shanghai)
cn-shanghai
China (Beijing)
cn-beijing
China (Shenzhen)
cn-shenzhen
Singapore
ap-southeast-1
-
AppId dan AppKey aplikasi pesan interaktif:
Di halaman detail Agent Management, Anda dapat menemukan AppId terkait di bidang Interactive Messaging Application dalam bagian Workflow Configuration.
Di halaman Application Management Konsol ApsaraVideo Live, klik aplikasi target untuk membuka panel detailnya. Temukan bidang AppId dan AppKey, lalu klik ikon salin di sampingnya untuk menyalin nilainya.
-
AccessKey ID dan AccessKey secret: Untuk mendapatkannya, lihat Buat Pasangan Kunci Akses.