Intelligent Media Services:Ikhtisar Real-time Conversational AI

SessionId

Identifier unik yang ditentukan developer untuk catatan chat. Contoh:

• Asosiasi pengguna: Hubungkan sesi lintas waktu di perangkat mobile atau PC menggunakan sessionId.

• Isolasi sesi: Gunakan sessionId untuk memisahkan beberapa sesi dari pengguna yang sama.

Chat messages

Pengguna berinteraksi dengan AI agent melalui suara atau teks dalam kotak dialog chat untuk mengajukan pertanyaan atau memperoleh informasi.

Voice calls

Pengguna berbicara dengan asisten AI untuk memperoleh informasi dan dukungan secara cepat.

3D digital human calls

Digital human 3D mensimulasikan karakter virtual dengan interaksi suara, bahasa tubuh, dan ekspresi wajah untuk meningkatkan realisme dan keterlibatan.

Visual understanding calls

Menggabungkan feed kamera langsung dan perintah suara melalui interaksi multimodal untuk memberikan umpan balik yang presisi, intuitif, dan personal—melampaui komunikasi berbasis suara atau teks saja.

Video calls

Panggilan video menggabungkan digital humans dan visual understanding. Kedua pihak muncul di layar, dan digital human memahami serta merespons feed video pengguna.

Interactive messages

Pesan interaktif meningkatkan komunikasi antar pengguna dan memperkuat keterlibatan selama live streaming.

Real-Time Communication (ARTC)

Alibaba Cloud ARTC menggunakan WebRTC dan lebih dari 3.200 node global untuk menghadirkan panggilan audio dan video berkualitas tinggi, ketersediaan tinggi, dan latensi ultra-rendah antara pengguna dan AI agent. Ikhtisar Real-Time Communication.

Real-time workflow

Bagian inti dari AI agent, dibangun dengan menyeret dan meletakkan komponen AI seperti speech-to-text, model bahasa besar, text-to-speech, dan database vektor Alibaba Cloud. AI agent menjalankan setiap langkah alur kerja secara berurutan.

AI agent

Pengguna berbasis cloud yang sangat realistis, dibuat sebelumnya atau dikustomisasi, yang berinteraksi dengan end user melalui audio dan video.

Fitur

Deskripsi

Real-time workflow

Bangun alur kerja AI agent menggunakan antarmuka visual drag-and-drop.

• Speech-to-text:

  • Kemampuan Tongyi Qwen bawaan.

• Text-to-speech:

  • Kemampuan Tongyi Qwen bawaan.

  • Sambungkan modul text-to-speech kustom Anda menggunakan protokol standar.

  • Integrasikan kemampuan speech MiniMax sebagai plugin pihak ketiga.

• Large language model (text-to-text):

  • Kemampuan Tongyi Qwen bawaan.

  • Pilih model AI dari Model Hub atau Application Center di Alibaba Cloud Model Studio.

  • Integrasikan model bahasa besar kustom Anda menggunakan standar OpenAI.

• Digital human

  • Integrasikan kemampuan digital human Xiangxin sebagai plugin pihak ketiga.

• Video frame extraction

• Multimodal large language model:

  • Kemampuan Tongyi Qwen bawaan.

  • Integrasikan model bahasa besar multimodal kustom Anda menggunakan standar OpenAI.

Custom AI agent appearance

Unggah gambar untuk merepresentasikan AI agent Anda selama panggilan suara.

AI agent emotion recognition

AI agent mendeteksi emosi pengguna saat ini dan memberikan respons dengan konteks emosional.

Welcome message

Atur pesan selamat datang di Konsol. Agen AI akan mengucapkan pesan tersebut saat percakapan dimulai.

Proactive announcements

Server bisnis Anda menggunakan OpenAPI untuk memicu output audio-video dari AI agent.

Real-time captions

Menampilkan teks percakapan secara real-time pada antarmuka end user.

Intelligent noise reduction

AI agent menyaring kebisingan latar belakang dari sisi pengguna. Saat beberapa orang berbicara sekaligus, AI agent menangkap suara paling keras terlebih dahulu.

Intelligent interruption detection

AI agent mendeteksi saat pengguna mencoba menyela selama percakapan.

Intelligent Sentence Segmentation

AI agent membagi kalimat panjang atau kompleks secara otomatis untuk meningkatkan keterbacaan.

Per-sentence audio callbacks

Konfigurasikan audio callbacks di Konsol untuk menyimpan audio data real-time di OSS.

Walkie-talkie mode

Aktifkan walkie-talkie mode saat startup atau selama panggilan. Tekan tombol untuk berbicara dengan AI agent.

ASR hotwords

Tentukan hotword spesifik bisnis untuk meningkatkan akurasi pengenalan suara.

Voiceprint noise reduction

Dalam percakapan kelompok, AI agent mengidentifikasi dan mempertahankan voiceprint pembicara utama sambil mengurangi kebisingan yang tidak relevan.

Live agent takeover

Jika AI agent tidak dapat menangani permintaan atau diperlukan keputusan penting, alihkan percakapan ke live agent.

Graceful shutdown

Saat server bisnis Anda menghentikan AI agent, biarkan agent menyelesaikan responsnya terlebih dahulu sebelum dimatikan agar tidak terjadi gangguan mendadak.

Data archiving

Konversi percakapan AI agent ke teks dan ambil melalui API. Simpan rekaman audio-video di OSS atau ApsaraVideo VOD.