Intelligent Media Services:FAQ AI Percakapan Real-time

Fitur

• Apakah saya perlu menerapkan agent di server origin saya?

• Bagaimana cara menghubungkan agent ke model bahasa besar yang diterapkan di Alibaba Cloud Model Studio?

• Di mana saya dapat melihat konsumsi token model bahasa besar?

Integrasi

• Bagaimana cara pass parameter kustom ke aplikasi atau workflow Model Studio?

• Apakah Web SDK mendukung setVisionPreviewView?

• Dapatkah saya beralih ke visual understanding selama panggilan?

• Bagaimana cara mengaitkan gambar dengan ucapan atau teks saat mengintegrasikan layanan TTS kustom?

Konfigurasi audio

• Bagaimana cara menyesuaikan laju sampel capture audio client?

• Bagaimana cara menyesuaikan laju sampel playback audio agent?

Penagihan

• Mengapa saya dikenai biaya STT selama debugging AI Percakapan Real-time meskipun pihak lain tidak berbicara?

Troubleshooting

• Terjadi error saat memulai panggilan

• Client melaporkan error "AgentNotFound" saat memulai percakapan pesan

• Client melaporkan error "UnsupportedWorkflowType" saat memulai percakapan pesan

• Apa yang harus saya lakukan jika terjadi error "Application not found or the application is disabled" selama integrasi?

• Bagaimana cara troubleshooting error koneksi panggilan dan pesan?

• Apa yang harus saya lakukan jika suara kustom tidak berlaku?

• Bagaimana cara troubleshooting callback agent yang hilang?

Tuning performa

• Bagaimana cara tuning respons agent yang lambat dan interupsi prematur?

• Mengapa agent menjawab dua kali dalam mode walkie-talkie?

Dukungan perangkat dan platform

• Bagaimana cara mengintegrasikan AI Percakapan Real-time di WeChat H5 dan mini program?

• Input, output, dan kemampuan model apa saja yang didukung oleh AI Percakapan Real-time?

Apakah saya perlu menerapkan agent di server origin saya?

Tidak. Agent merupakan layanan cloud publik yang disediakan oleh Alibaba Cloud, sehingga tidak perlu diterapkan di sisi Anda. Anda membuat dan memanggil agent dengan mengonfigurasikannya di Konsol dan memanggil OpenAPI.

Bagaimana cara menghubungkan agent ke model bahasa besar yang diterapkan di Alibaba Cloud Model Studio?

Agent telah terintegrasi dengan Alibaba Cloud Model Studio secara desain. Tentukan parameter yang diperlukan di Konsol untuk memanggil model bahasa besar di Alibaba Cloud Model Studio. Untuk informasi lebih lanjut, lihat Large Language Models (LLMs).

Di mana saya dapat melihat konsumsi token model bahasa besar?

Lihat konsumsi token model bahasa besar di Konsol Model Studio. Data callback tidak mencakup konsumsi token.

Bagaimana cara pass parameter kustom ke aplikasi atau workflow Model Studio?

• Parameter bisnis — Saat Anda pass parameter melalui SDK, masukkan parameter bisnis ke dalam field biz_params. Misalnya, letakkan di dalam objek biz_params pada parameter aplikasi Model Studio. Parameter yang dilewatkan di level teratas tidak berlaku.

• Informasi pelanggan — Untuk melewatkan informasi pelanggan pada setiap panggilan, gunakan UserData.

• Avatar, persona, dan suara — Persona panggilan suara diteruskan ke prompt Model Studio. Lewatkan parameter seperti avatar, persona, dan suara secara dinamis melalui objek konfigurasi agent saat Anda memulai panggilan.

Apakah Web SDK mendukung setVisionPreviewView?

Tidak. API setVisionPreviewView hanya tersedia di kit pengembangan perangkat lunak (SDK) Android dan tidak didukung oleh Web SDK AI Percakapan Real-time. Gunakan API publik setAgentView sebagai gantinya. SDK menangani konfigurasi rendering tampilan remote secara internal.

Dapatkah saya beralih ke visual understanding selama panggilan?

Tidak. agentType ditetapkan dalam callConfig selama inisialisasi dan tidak dapat diubah secara dinamis setelah panggilan dimulai. Untuk beralih dari panggilan hanya suara ke mode visual understanding, akhiri panggilan saat ini dan sambungkan kembali dengan agentType diatur ke AICallAgentType.VisionAgent.

Bagaimana cara mengaitkan gambar dengan ucapan atau teks saat mengintegrasikan layanan TTS kustom?

Dalam AI Percakapan Real-time, gambar dan ucapan atau teks dikirim bersamaan ke model bahasa besar multi-modal, yang menggunakan konteks percakapan untuk memahami dan merespons. Node Text-to-speech berada di downstream model dan hanya menerima teks. Saat mengintegrasikan layanan TTS kustom, Anda tidak perlu mengaitkan gambar dengan ucapan atau teks di layer API TTS.

Bagaimana cara menyesuaikan laju sampel capture audio client?

AI Percakapan Real-time saat ini mendukung parameter audio berikut di sisi capture:

• Laju sampel 48 kHz, saluran mono

• Laju sampel 16 kHz, saluran mono

SDK AICallKit mendukung laju sampel 48 kHz secara default. Untuk beralih ke 16 kHz, atur profil audio ke BasicQualityMode seperti pada contoh kode berikut:

self.engine.audioConfig = ARTCAICallAudioConfig(audioProfile: .BasicQualityMode, audioScenario: .MusicMode)
// Panggil API lainnya
...  
// Mulai panggilan
self.engine.call(...)

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.audioConfig.audioProfile = ARTCAICallAudioBasicQualityMode;
engine.init(artcaiCallConfig);

Bagaimana cara menyesuaikan laju sampel playback audio agent?

AI Percakapan Real-time saat ini mendukung parameter playback audio berikut untuk agent:

• Laju sampel 48 kHz, saluran mono atau stereo

• Laju sampel 16 kHz, saluran mono

AI Percakapan Real-time mendukung laju sampel 48 kHz saluran mono secara default. Sesuaikan pengaturan ini dalam operasi yang memulai panggilan. Metodenya bergantung pada cara Anda memulai panggilan:

Metode 1: Mulai panggilan melalui operasi sisi server

Jika Anda memulai panggilan dengan memanggil operasi GenerateAIAgentCall atau StartAIAgentInstance, tambahkan parameter AgentConfig dan buat field ExperimentalConfig dalam AIAgentConfig:

// AudioQualityMode: Integer    
// Mode laju sampel output RTC.
// 0: 48 kHz saluran mono 
// 1: 48 kHz saluran stereo
// 2: 16 kHz saluran mono
// Nilai ExperimentalConfig harus berupa string JSON.
{
    "ExperimentalConfig":"{\"AudioQualityMode\":2}"
}

Metode 2: Mulai panggilan melalui operasi panggilan sisi client

Metode ini memerlukan SDK AICallKit versi 2.5.0 atau lebih baru. Jika Anda sudah menggunakan callConfig sebagai parameter startup panggilan dan menggunakan operasi call(xxx) untuk membuat dan memulai panggilan, gunakan metode ini untuk mengubah laju sampel playback agent.

let callConfig = ...   // Buat dan inisialisasi ARTCAICallConfig. Untuk informasi lebih lanjut, lihat panduan pengguna.
let agentConfig = ARTCAICallAgentConfig()         // Buat objek ARTCAICallAgentConfig
agentConfig.experimentalConfig = [
    "AudioQualityMode": 2
]
...                                                  // Atur parameter sesuai kebutuhan bisnis Anda
callConfig.agentConfig = agentConfig
self.engine.call(config: callConfig)                 // Mulai panggilan

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.agentConfig.experimentalConfig = new JSONObject();
try {
    artcaiCallConfig.agentConfig.experimentalConfig.put("AudioQualityMode", 2);
} catch (JSONException e) {
    e.printStackTrace();
}
engine.init(artcaiCallConfig);

Mengapa saya dikenai biaya STT selama debugging AI Percakapan Real-time meskipun pihak lain tidak berbicara?

Anda dikenai biaya karena speech-to-text (STT) tetap diaktifkan selama agent berjalan, meskipun agent tidak berbicara selama debugging. Biaya STT dihitung berdasarkan harga satuan STT untuk durasi aktual STT diaktifkan dan berjalan. Misalnya, jika STT berjalan selama 34 menit, Anda akan ditagih untuk 34 menit penggunaan aktual sesuai harga satuan STT. Untuk informasi lebih lanjut mengenai aturan harga dan penagihan untuk item ini, lihat AI Real-time Interaction.

Terjadi error saat memulai panggilan

Client melaporkan error "AgentNotFound" saat memulai percakapan pesan

Di kode client, periksa apakah agentId dan wilayah diatur dengan benar.

Di panel navigasi kiri Konsol Intelligent Cloud Editor (ICE), pilih Real-time Conversational AI > Agent Management. Verifikasi bahwa wilayah yang dipilih di bagian atas halaman sesuai dengan wilayah yang dikonfigurasi dalam kode Anda, dan dapatkan agentId yang benar dari kolom Agent ID/Name pada daftar agent.

Kode client:

String mAgentId = "XXX";          // Agent ID -> ID agent percakapan pesan yang dibuat di Konsol
String mRegion = "cn-shanghai";   // Wilayah agent -> wilayah agent percakapan pesan di Konsol
ARTCAIChatAgentInfo agentInfo = new ARTCAIChatEngine.ARTCAIChatAgentInfo(mAgentId, mRegion)

// Agent ID -> ID agent percakapan pesan yang dibuat di Konsol
let agentInfo = ARTCAIChatAgentInfo(agentId: "xxxx")
// Wilayah agent -> wilayah agent percakapan pesan di Konsol
agentInfo.region = "cn-shanghai"

Client melaporkan error "UnsupportedWorkflowType" saat memulai percakapan pesan

Jika detail error-nya adalah "The specified workflowType \"VoiceChat\" is not supported by this interface. Please use a compatible workflowType: [\"MessageChat\"]", periksa ID agent dan pastikan tipe workflow yang terkait dengan ID agent tersebut adalah percakapan pesan.

Di halaman Agent Management, temukan agent target dan periksa kolom Agent Workflow ID-nya untuk memastikan tipe workflow yang terkait adalah MessageChat.

Apa yang harus saya lakukan jika terjadi error "Application not found or the application is disabled" selama integrasi?

Gunakan ID agent, bukan ID aplikasi Model Studio, untuk integrasi. Di halaman detail agent, dapatkan ID agent dan kunci yang sesuai. Verifikasi bahwa konfigurasi agent yang digunakan server untuk menghasilkan Token otentikasi sesuai dengan konfigurasi di client.

Bagaimana cara troubleshooting error koneksi panggilan dan pesan?

• ID channel sudah sedang digunakan — Hasilkan ID channel baru dan unik untuk setiap panggilan. Akhiri panggilan segera setelah selesai, dan tunggu hingga sumber daya dilepas. Jangan gunakan kembali ID channel yang sama dalam skenario konkuren.

• Mengirim pesan melaporkan bahwa client tidak terhubung — Mulai agent dan dengarkan status koneksi terlebih dahulu. Kirim pesan hanya setelah Anda menerima event connected.

• Callback status engine tidak pernah menjadi ready, atau memulai sesi tidak mendapat respons — Daftarkan callback yang mendapatkan Token otentikasi, dan biarkan server mengeluarkan token untuk menyelesaikan otentikasi. Gunakan listener berkelanjutan, bukan listener sekali pakai.

Apa yang harus saya lakukan jika suara kustom tidak berlaku?

Tambahkan identifier bahasa yang sesuai dengan suara ke konfigurasi sintesis suara, dan pastikan suara tersebut telah lolos tinjauan di wilayah yang sesuai. Tentukan bahasa pengenalan melalui parameter bahasa pengenalan dalam konfigurasi agent.

Bagaimana cara troubleshooting callback agent yang hilang?

• URL callback — URL callback harus menggunakan HTTPS dan mengembalikan rantai sertifikat lengkap yang dikeluarkan oleh CA publik. (Direkomendasikan) Gunakan Sertifikat SSL gratis dari Alibaba Cloud.

• Respons server — Server harus menerima permintaan POST dengan benar dan mengembalikan kode 200. Pastikan juga Anda telah memanggil operasi yang memulai instans agent untuk mendapatkan identitas instans.

Bagaimana cara tuning respons agent yang lambat dan interupsi prematur?

• Respons lambat — Periksa waktu tunggu segmentasi semantik, yaitu parameter tunggu semantik dalam turnDetectionConfig. Menguranginya secara signifikan meningkatkan kecepatan respons.

• Interupsi prematur — Sesuaikan parameter waktu tunggu diam pengguna dalam konfigurasi agent. Batas maksimum saat ini sekitar 1.200 ms.

Mengapa agent menjawab dua kali dalam mode walkie-talkie?

Dalam mode walkie-talkie, deteksi aktivitas suara dan push-to-talk biasanya menangkap audio secara bersamaan, sehingga menghasilkan dua input terpisah. Aktifkan capture audio hanya setelah mode walkie-talkie berlaku.

Bagaimana cara mengintegrasikan AI Percakapan Real-time di WeChat H5 dan mini program?

• WeChat H5 — Didukung. Terapkan halaman di bawah domain HTTPS yang telah memiliki ICP filing dan muat melalui web-view. Panggilan mikrofon pertama memerlukan otorisasi pengguna. Periksa kompatibilitas kemampuan komunikasi real-time dan verifikasi pada perangkat fisik.

• Mini program — Menggunakan protokol penarikan aliran komunikasi real-time secara langsung tidak didukung. Sematkan halaman web yang di-host di domain HTTPS melalui web-view, dan konfigurasikan nama domain bisnis.

• Nama domain layanan — Sistem secara otomatis menetapkan dan mengikat nama domain layanan komunikasi real-time. Anda tidak perlu mengonfigurasi nama domain transmisi media secara terpisah.

Input, output, dan kemampuan model apa saja yang didukung oleh AI Percakapan Real-time?

• Input dan output — Input suara didukung, dan teks dapat dilewatkan melalui operasi pengiriman teks. Output selalu berupa suara.

• Model yang dilatih sendiri — Model yang dilatih sendiri yang mematuhi spesifikasi antarmuka OpenAI didukung. Anda harus menyediakan identifier model, kunci, dan titik akhir HTTPS.

• Workflow — Dalam workflow, Anda dapat mengonfigurasi agent Model Studio yang telah dipublikasikan melalui opsi model bahasa besar.