Intelligent Media Services:FAQ AI Percakapan Real-time

Fitur

• Apakah saya perlu menerapkan agent di server origin saya?

• Bagaimana cara menghubungkan agent ke model bahasa besar yang diterapkan di Alibaba Cloud Model Studio?

• Di mana saya dapat melihat konsumsi token model bahasa besar?

Integrasi

• Bagaimana cara meneruskan parameter kustom ke aplikasi atau alur kerja Model Studio?

Konfigurasi audio

• Bagaimana cara menyesuaikan laju sampel capture audio client?

• Bagaimana cara menyesuaikan laju sampel pemutaran audio agent?

Troubleshooting

• Terjadi error saat memulai panggilan

• Client melaporkan error "AgentNotFound" saat memulai percakapan pesan

• Client melaporkan error "UnsupportedWorkflowType" saat memulai percakapan pesan

• Apa yang harus saya lakukan jika muncul error "Application not found or the application is disabled" selama integrasi?

• Bagaimana cara melakukan troubleshooting error koneksi panggilan dan pesan?

• Apa yang harus saya lakukan jika suara kustom tidak berlaku?

• Bagaimana cara melakukan troubleshooting callback agent yang hilang?

Penyetelan performa

• Bagaimana cara menyetel respons agent yang lambat dan interupsi prematur?

• Mengapa agent menjawab dua kali dalam mode walkie-talkie?

Dukungan perangkat dan platform

• Bagaimana cara mengintegrasikan AI Percakapan Real-time di WeChat H5 dan mini program?

• Input, output, dan kemampuan model apa saja yang didukung oleh AI Percakapan Real-time?

Apakah saya perlu menerapkan agent di server origin saya?

Tidak. Agent merupakan layanan cloud publik yang disediakan oleh Alibaba Cloud, sehingga tidak perlu diterapkan di sisi Anda. Anda membuat dan memanggil agent dengan mengonfigurasikannya di Konsol dan memanggil OpenAPI.

Bagaimana cara menghubungkan agent ke model bahasa besar yang diterapkan di Alibaba Cloud Model Studio?

Agent telah terintegrasi dengan Alibaba Cloud Model Studio secara desain. Tentukan parameter yang diperlukan di Konsol untuk memanggil model bahasa besar di Alibaba Cloud Model Studio. Untuk informasi lebih lanjut, lihat Large Language Models (LLMs).

Di mana saya dapat melihat konsumsi token model bahasa besar?

Lihat konsumsi token model bahasa besar di Konsol Model Studio. Data callback tidak mencakup konsumsi token.

Bagaimana cara meneruskan parameter kustom ke aplikasi atau alur kerja Model Studio?

• Parameter bisnis — Saat meneruskan parameter melalui SDK, masukkan parameter bisnis ke dalam bidang biz_params. Misalnya, letakkan di dalam objek biz_params pada parameter aplikasi Model Studio. Parameter yang diteruskan di level teratas tidak berlaku.

• Informasi pelanggan — Untuk meneruskan informasi pelanggan setiap panggilan, gunakan UserData.

• Avatar, persona, dan suara — Persona panggilan suara diteruskan ke prompt Model Studio. Teruskan parameter seperti avatar, persona, dan suara secara dinamis melalui objek konfigurasi agent saat memulai panggilan.

Bagaimana cara menyesuaikan laju sampel capture audio client?

AI Percakapan Real-time saat ini mendukung parameter audio berikut di sisi capture:

• Laju sampel 48 kHz, saluran mono

• Laju sampel 16 kHz, saluran mono

SDK AICallKit mendukung laju sampel 48 kHz secara default. Untuk beralih ke 16 kHz, atur profil audio ke BasicQualityMode seperti pada contoh kode berikut:

self.engine.audioConfig = ARTCAICallAudioConfig(audioProfile: .BasicQualityMode, audioScenario: .MusicMode)
// Panggil API lainnya
...  
// Mulai panggilan
self.engine.call(...)

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.audioConfig.audioProfile = ARTCAICallAudioBasicQualityMode;
engine.init(artcaiCallConfig);

Bagaimana cara menyesuaikan laju sampel pemutaran audio agent?

AI Percakapan Real-time saat ini mendukung parameter pemutaran audio berikut untuk agent:

• Laju sampel 48 kHz, saluran mono atau stereo

• Laju sampel 16 kHz, saluran mono

AI Percakapan Real-time mendukung laju sampel 48 kHz saluran mono secara default. Sesuaikan pengaturan ini pada operasi yang memulai panggilan. Metodenya bergantung pada cara Anda memulai panggilan:

Metode 1: Memulai panggilan melalui operasi sisi server

Jika Anda memulai panggilan dengan memanggil operasi GenerateAIAgentCall atau StartAIAgentInstance, tambahkan parameter AgentConfig dan buat bidang ExperimentalConfig di AIAgentConfig:

// AudioQualityMode: Integer    
// Mode laju sampel output RTC.
// 0: 48 kHz saluran mono 
// 1: 48 kHz saluran stereo
// 2: 16 kHz saluran mono
// Nilai ExperimentalConfig harus berupa string JSON.
{
    "ExperimentalConfig":"{\"AudioQualityMode\":2}"
}

Metode 2: Memulai panggilan melalui operasi panggilan sisi client

Metode ini memerlukan AICallKit SDK versi 2.5.0 atau lebih baru. Jika Anda sudah menggunakan callConfig sebagai parameter startup panggilan dan menggunakan operasi call(xxx) untuk membuat dan memulai panggilan, gunakan metode ini untuk mengubah laju sampel pemutaran agent.

let callConfig = ...   // Buat dan inisialisasi ARTCAICallConfig. Untuk informasi lebih lanjut, lihat panduan pengguna.
let agentConfig = ARTCAICallAgentConfig()         // Buat objek ARTCAICallAgentConfig
agentConfig.experimentalConfig = [
    "AudioQualityMode": 2
]
...                                                  // Atur parameter sesuai kebutuhan bisnis Anda
callConfig.agentConfig = agentConfig
self.engine.call(config: callConfig)                 // Mulai panggilan

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.agentConfig.experimentalConfig = new JSONObject();
try {
    artcaiCallConfig.agentConfig.experimentalConfig.put("AudioQualityMode", 2);
} catch (JSONException e) {
    e.printStackTrace();
}
engine.init(artcaiCallConfig);

Terjadi error saat memulai panggilan

Client melaporkan error "AgentNotFound" saat memulai percakapan pesan

Di kode client, periksa apakah agentId dan wilayah diatur dengan benar.

Di panel navigasi kiri Konsol Intelligent Cloud Editor (ICE), pilih Real-time Conversational AI > Agent Management. Verifikasi bahwa wilayah yang dipilih di bagian atas halaman sesuai dengan wilayah yang dikonfigurasi di kode Anda, dan dapatkan agentId yang benar dari kolom Agent ID/Name pada daftar agent.

Kode client:

String mAgentId = "XXX";          // Agent ID -> ID agent percakapan pesan yang dibuat di Konsol
String mRegion = "cn-shanghai";   // Wilayah agent -> wilayah agent percakapan pesan di Konsol
ARTCAIChatAgentInfo agentInfo = new ARTCAIChatEngine.ARTCAIChatAgentInfo(mAgentId, mRegion)

// Agent ID -> ID agent percakapan pesan yang dibuat di Konsol
let agentInfo = ARTCAIChatAgentInfo(agentId: "xxxx")
// Wilayah agent -> wilayah agent percakapan pesan di Konsol
agentInfo.region = "cn-shanghai"

Client melaporkan error "UnsupportedWorkflowType" saat memulai percakapan pesan

Jika detail error-nya adalah "The specified workflowType \"VoiceChat\" is not supported by this interface. Please use a compatible workflowType: [\"MessageChat\"]", periksa ID agent dan pastikan tipe alur kerja yang terkait dengan ID agent tersebut adalah percakapan pesan.

Di halaman Agent Management, temukan agent yang dimaksud dan periksa kolom Agent Workflow ID-nya untuk memastikan tipe alur kerja yang terkait adalah MessageChat.

Apa yang harus saya lakukan jika muncul error "Application not found or the application is disabled" selama integrasi?

Gunakan ID agent, bukan ID aplikasi Model Studio, untuk integrasi. Di halaman detail agent, dapatkan ID agent dan kunci yang sesuai. Verifikasi bahwa konfigurasi agent yang digunakan server untuk menghasilkan token otentikasi sesuai dengan konfigurasi di client.

Bagaimana cara melakukan troubleshooting error koneksi panggilan dan pesan?

• ID channel sedang digunakan — Hasilkan ID channel baru dan unik untuk setiap panggilan. Akhiri panggilan segera setelah selesai, dan tunggu hingga sumber daya dilepas. Jangan gunakan kembali ID channel yang sama dalam skenario konkuren.

• Mengirim pesan melaporkan bahwa client tidak terhubung — Mulai agent dan dengarkan status koneksi terlebih dahulu. Kirim pesan hanya setelah Anda menerima event connected.

• Callback status engine tidak pernah menjadi ready, atau memulai sesi tidak memberikan respons — Daftarkan callback untuk mendapatkan token otentikasi, dan biarkan server menerbitkan token untuk menyelesaikan otentikasi. Gunakan listener kontinu, bukan listener sekali pakai.

Apa yang harus saya lakukan jika suara kustom tidak berlaku?

Tambahkan identifier bahasa yang sesuai dengan suara ke konfigurasi sintesis suara, dan pastikan suara tersebut telah lolos peninjauan di wilayah yang sesuai. Tentukan bahasa pengenalan melalui parameter bahasa pengenalan di konfigurasi agent.

Bagaimana cara melakukan troubleshooting callback agent yang hilang?

• URL callback — URL callback harus menggunakan HTTPS dan mengembalikan rantai sertifikat lengkap yang dikeluarkan oleh CA publik. (Disarankan) Gunakan sertifikat SSL gratis dari Alibaba Cloud.

• Respons server — Server harus menerima permintaan POST dengan benar dan mengembalikan kode 200. Pastikan juga Anda telah memanggil operasi yang memulai instans agent untuk mendapatkan identitas instans.

Bagaimana cara menyetel respons agent yang lambat dan interupsi prematur?

• Respons lambat — Periksa waktu tunggu segmentasi semantik, yaitu parameter tunggu semantik di turnDetectionConfig. Menguranginya secara signifikan meningkatkan kecepatan respons.

• Interupsi prematur — Sesuaikan parameter waktu tunggu diam pengguna di konfigurasi agent. Saat ini maksimumnya sekitar 1.200 ms.

Mengapa agent menjawab dua kali dalam mode walkie-talkie?

Dalam mode walkie-talkie, deteksi aktivitas suara dan push-to-talk biasanya menangkap audio secara bersamaan, sehingga menghasilkan dua input terpisah. Aktifkan capture audio hanya setelah mode walkie-talkie berlaku.

Bagaimana cara mengintegrasikan AI Percakapan Real-time di WeChat H5 dan mini program?

• WeChat H5 — Didukung. Terapkan halaman di bawah domain HTTPS yang telah memiliki ICP filing dan muat melalui web-view. Panggilan mikrofon pertama memerlukan otorisasi pengguna. Periksa kompatibilitas kemampuan komunikasi real-time dan verifikasi di perangkat fisik.

• Mini program — Menggunakan protokol penarikan aliran komunikasi real-time secara langsung tidak didukung. Sisipkan halaman web yang di-host di domain HTTPS melalui web-view, dan konfigurasikan nama domain bisnis.

• Nama domain layanan — Sistem secara otomatis menetapkan dan mengikat nama domain layanan komunikasi real-time. Anda tidak perlu mengonfigurasi nama domain transmisi media secara terpisah.

Input, output, dan kemampuan model apa saja yang didukung oleh AI Percakapan Real-time?

• Input dan output — Input suara didukung, dan teks dapat diteruskan melalui operasi pengiriman teks. Output selalu berupa suara.

• Model yang dilatih sendiri — Model yang dilatih sendiri yang mematuhi spesifikasi antarmuka OpenAI didukung. Anda harus menyediakan identifier model, kunci, dan titik akhir HTTPS.

• Alur kerja — Dalam alur kerja, Anda dapat mengonfigurasi agent Model Studio yang telah dipublikasikan melalui opsi model bahasa besar.