Intelligent Media Services:Struktur data

Properti

Tipe

Deskripsi

agentType

AICallAgentType

Tipe agen.

channelId

string

ID saluran RTC tempat agen berada.

userId

string

Pengenal unik untuk agen masuk ke saluran RTC.

instanceId

string

ID instans tempat agen berjalan.

reqId

string

ID permintaan untuk memulai agen saat ini.

Properti

Tipe

Deskripsi

text

string

Parameter teks untuk meminta model besar multimodal.

isSingle

boolean

Menentukan apakah akan menangkap satu frame.

eachDuration

number

Interval antara penangkapan frame, dalam detik.

num

number

Jumlah gambar yang ditangkap setiap kali.

duration

number

Durasi penangkapan frame kontinu, dalam detik. Parameter ini efektif hanya untuk penangkapan frame kontinu.

userData (Opsional)

string

String JSON yang berisi informasi bisnis khusus.

Properti

Tipe

Deskripsi

text

string

Pesan teks untuk menanyakan agen, misalnya, "Apa ini?".

Properti

Tipe

Deskripsi

agentId

string

ID agen.

agentType

AICallAgentType

Tipe agen.

agentUserId (Opsional)

string

UID agen. Jika ini dibiarkan kosong, layanan memberikan UID.

region

string

Wilayah tempat layanan agen berada.

userId

string

ID pengguna saat ini.

userJoinToken

string

Token untuk pengguna saat ini bergabung dalam rapat.

userData (Opsional)

string

Informasi pengguna khusus yang dilewatkan ke agen. Kami sarankan menggunakan string JSON.

chatSyncConfig (Opsional)

AICallChatSyncConfig

Konfigurasi untuk agen obrolan terkait.

agentConfig (Opsional)

AICallAgentConfig

Parameter agentConfig yang digunakan untuk memulai panggilan.

templateConfig (Opsional)

AICallTemplateConfig (Tidak digunakan lagi)

Tidak digunakan lagi. Gunakan agentConfig sebagai gantinya.

Properti

Tipe

Deskripsi

agentGreeting (Opsional)

string

Pesan selamat datang agen. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

userOnlineTimeout

number

Jangka waktu timeout bagi agen untuk menutup tugas jika pengguna tidak bergabung dalam rapat. Jika nilainya kurang dari 0, nilai default sisi server sebesar 60 detik digunakan.

userOfflineTimeout

number

Jangka waktu timeout bagi agen untuk menutup tugas setelah pengguna meninggalkan rapat. Jika nilainya kurang dari 0, nilai default sisi server sebesar 5 detik digunakan.

workflowOverrideParams (Opsional)

object

Parameter penimpaan alur kerja.

bailianAppParams (Opsional)

object

Parameter Pusat Aplikasi Studio Model

asrMaxSilence

number

Ambang batas untuk deteksi aktivitas suara. Nilai kurang dari 0 menunjukkan bahwa nilai default sisi server sebesar 400 ms digunakan. Nilai valid: 200 ms hingga 1200 ms.

volume

number

Volume suara agen. Nilai valid: 0 hingga 400. Volume output = Volume output suara dalam alur kerja × volume / 100. Nilai kurang dari 0 menunjukkan bahwa nilai default sisi server sebesar 100 digunakan.

vadLevel

number

Parameter sensitivitas untuk VAD AI. Nilai default: 11. Nilai valid: [0, 11].

• 0: Menonaktifkan fitur VAD.

• 1 hingga 10: Nilai lebih tinggi membuat interupsi lebih sulit.

• 11: Sangat berbeda dari nilai sebelumnya. Menyebabkan kerusakan lebih sedikit pada suara dialog yang telah diproses sebelumnya dan memberikan anti-gangguan yang lebih kuat.

enableVoiceInterrupt

boolean

Menentukan apakah akan mengaktifkan interupsi cerdas.

agentVoiceId (Opsional)

string

ID nada suara agen. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

enableIntelligentSegment

boolean

Menentukan apakah akan mengaktifkan penggabungan kalimat cerdas.

useVoiceprint

boolean

Menentukan apakah akan menggunakan peredam bising voiceprint untuk kalimat saat ini.

voiceprintId (Opsional)

string

ID voiceprint. Jika ini tidak kosong, peredam bising voiceprint diaktifkan untuk panggilan saat ini.

agentMaxIdleTime

number

Waktu idle maksimum untuk agen, dalam detik. Nilai kurang dari 0 menunjukkan bahwa nilai default sisi server sebesar 600 detik digunakan.

llmHistoryLimit

number

Jumlah maksimum putaran percakapan historis yang disimpan untuk LLM atau Multimodal LLM. Nilai kurang dari 0 menunjukkan bahwa nilai default sisi server sebesar 10 digunakan.

enablePushToTalk

boolean

Menentukan apakah akan mengaktifkan mode push-to-talk.

agentGracefulShutdown

boolean

Menentukan apakah akan mengaktifkan shutdown yang mulus. Jika diaktifkan, agen berhenti setelah menyiarkan kalimat saat ini.

agentAvatarId (Opsional)

string

ID model manusia digital. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

asrLanguageId (Opsional)

string

ID bahasa ASR. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

wakeUpQuery (Opsional)

string

Instruksi pengguna sebelum panggilan dimulai. Agen langsung merespons setelah panggilan dimulai.

llmSystemPrompt (Opsional)

string

Prompt sistem untuk LLM, misalnya, "Anda adalah asisten yang ramah dan membantu...". Catatan: Ini tidak didukung jika node LLM adalah alur kerja Studio Model.

asrHotWords (Opsional)

Array<string>

Daftar kata panas ASR.

interruptWords (Opsional)

Array<string>

Kata-kata atau frasa spesifik yang memicu interupsi percakapan, seperti "Permisi" atau "Saya mengerti".

Properti

Tipe

Deskripsi

agentGreeting (Opsional)

string

Pesan selamat datang agen. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan. Pesan dapat mencapai hingga 100 karakter.

wakeUpQuery (Opsional)

string

Instruksi pengguna sebelum panggilan dimulai. Agen langsung merespons setelah panggilan dimulai.

agentMaxIdleTime

number

Waktu idle maksimum untuk agen, dalam detik. Agen secara otomatis offline jika waktu terlampaui. Nilai default: 600 detik.

userOnlineTimeout

number

Jangka waktu timeout bagi agen untuk menutup tugas jika pengguna tidak bergabung dalam rapat. Nilai default: 60 detik.

userOfflineTimeout

number

Jangka waktu timeout bagi agen untuk menutup tugas setelah pengguna meninggalkan rapat. Nilai default: 5 detik.

enablePushToTalk

boolean

Menentukan apakah akan mengaktifkan mode push-to-talk.

agentGracefulShutdown

boolean

Menentukan apakah akan mengaktifkan shutdown yang mulus. Jika diaktifkan, agen berhenti setelah menyiarkan kalimat saat ini.

volume

number

Volume suara agen. Nilai valid: 0 hingga 400. Nilai default: 100.

workflowOverrideParams

JSONObject

Parameter penimpaan alur kerja.

enableIntelligentSegment

boolean

Saklar untuk segmentasi kalimat cerdas.

asrConfig

AICallAgentAsrConfig

Konfigurasi pengenalan suara.

ttsConfig

AICallAgentTtsConfig

Konfigurasi sintesis suara.

llmConfig

AICallAgentLlmConfig

Konfigurasi model bahasa besar.

avatarConfig

AICallAgentAvatarConfig

Konfigurasi manusia digital.

interruptConfig

AICallAgentInterruptConfig

Konfigurasi interupsi.

voiceprintConfig

AICallAgentVoiceprintConfig

Konfigurasi peredam bising voiceprint.

turnDetectionConfig

AICallAgentTurnDetectionConfig

Konfigurasi deteksi giliran.

experimentalConfig

JSONObject

Konfigurasi kustom non-produk.

vcrConfig

AICallAgentVcrConfig

Konfigurasi VCR.

Properti

Tipe

Deskripsi

sessionId

string

ID sesi agen obrolan terkait.

agentId

string

ID agen obrolan terkait (harus berada dalam akun dan wilayah yang sama).

receiverId

string

ID pengguna untuk sesi agen obrolan terkait.

Properti

Tipe

Deskripsi

shareId (Opsional)

string

ID berbagi agen.

agentType

AICallAgentType

Tipe beban kerja agen.

expireTime (Opsional)

Date

Waktu kedaluwarsa.

region (Opsional)

string

Wilayah tempat agen berada.

templateConfig (Opsional)

string

Konfigurasi template (string JSON).

userData (Opsional)

string

Informasi pengguna khusus yang dilewatkan ke agen.

Properti

Tipe

Deskripsi

asrLanguageId (Opsional)

string

ID bahasa ASR. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan. Nilai valid:

• zh_mandarin: Mandarin

• en: Inggris

• zh_en: Campuran Mandarin-Inggris

• es: Spanyol

• jp: Jepang

asrMaxSilence

number

Ambang batas untuk deteksi aktivitas suara. Jika durasi keheningan melebihi ambang ini, jeda kalimat terdeteksi. Nilai default: 400 ms. Nilai valid: 200 ms hingga 1200 ms.

asrHotWords (Opsional)

string[]

Daftar kata panas ASR. Batasan: hingga 500 kata, dengan setiap kata tidak lebih dari 10 karakter.

vadLevel

number

Parameter sensitivitas untuk VAD AI. Nilai default: 11. Nilai valid: [0, 11].

• 0: Menonaktifkan fitur VAD.

• 1 hingga 10: Nilai lebih tinggi membuat interupsi lebih sulit.

• 11: Sangat berbeda dari nilai sebelumnya. Menyebabkan kerusakan lebih sedikit pada suara dialog yang telah diproses sebelumnya dan memberikan anti-gangguan yang lebih kuat.

customParams

string

Saat menggunakan ASR mandiri, lewatkan parameter runtime dalam format parameter URL, misalnya, "mode=fast&sample=16000&format=wav".

vadDuration

number

Ambang batas durasi minimum untuk deteksi aktivitas suara, digunakan untuk mengontrol sensitivitas interupsi. Nilai 0 (default) menonaktifkan fitur ini. Nilai valid: 200 hingga 2000 milidetik. Rentang umum adalah [200, 500], yang sesuai dengan 1 hingga 4 karakter. Jika Anda mengatur ini ke nilai kurang dari 0, nilai tersebut tidak dikirim ke server (fitur ini dinonaktifkan secara default oleh server).

Properti

Tipe

Deskripsi

agentVoiceId (Opsional)

string

ID nada suara agen. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

pronunciationRules

JSONObject[]

Array aturan pelafalan. Hingga 20 aturan didukung. Jika ini tidak ditentukan atau array kosong, tidak ada aturan yang digunakan. Contoh:

 [
  {
      "Word": "overlap",                       // Kata target
      "Pronunciation": "chong die",              // Pelafalan pengganti
      "Type": "replacement"                // Aturan karakter polifonik
  },
  {
      "Word": "action",
      "Pronunciation": "hang dong",
      "Type": "replacement"
  }
]

speechRate

number

Kecepatan pemutaran TTS. Semua tipe TTS didukung. Nilai valid: [0.5, 2.0]. Nilai default: 1.0. Jika Anda mengatur ini ke nilai kurang dari 0, nilai tersebut tidak dikirim ke server (nilai yang dikonfigurasikan di Konsol digunakan).

languageId

string

Kode bahasa TTS. Ini valid hanya jika tipe TTS adalah MiniMax.

emotion

string

Tipe emosi TTS. Ini valid hanya jika tipe TTS adalah MiniMax.

modelId

string

ID model TTS. Saat ini, hanya MiniMax yang didukung. Nilai valid: speech-01-turbo, speech-02-turbo.

Properti

Tipe

Deskripsi

llmHistoryLimit

number

Jumlah maksimum putaran percakapan historis yang disimpan. Nilai default: 10.

llmSystemPrompt (Opsional)

string

Prompt sistem untuk LLM.

bailianAppParams

JSONObject

Parameter untuk Pusat Aplikasi Model Studio

llmCompleteReply

boolean

Menentukan apakah akan mengirim hasil LLM lengkap.

openAIExtraQuery (Opsional)

string

Parameter query tambahan untuk LLM berbasis protokol OpenAI.

Properti

Tipe

Deskripsi

agentAvatarId (Opsional)

string

ID model manusia digital. Jika ini dibiarkan kosong, nilai yang dikonfigurasikan untuk agen digunakan.

Properti

Tipe

Deskripsi

enableVoiceInterrupt

boolean

Menentukan apakah akan mengaktifkan interupsi cerdas.

interruptWords (Opsional)

string[]

Kata-kata atau frasa spesifik yang memicu interupsi percakapan.

Properti

Tipe

Deskripsi

useVoiceprint

boolean

Menentukan apakah akan menggunakan peredam bising voiceprint untuk kalimat saat ini.

voiceprintId (Opsional)

string

ID voiceprint. Jika ini tidak kosong, peredam bising voiceprint diaktifkan untuk panggilan saat ini.

Properti

Tipe

Deskripsi

turnEndWords (Opsional)

string[]

Kata-kata spesifik untuk pemutusan kalimat, misalnya, "Selesai" atau "Saya sudah selesai."

mode

AICallTurnDetectionMode

Mode untuk menentukan apakah pengguna telah selesai berbicara. Defaultnya adalah Semantic, yang menggunakan AI untuk menentukan apakah pengguna telah selesai berbicara berdasarkan semantik.

semanticWaitDuration

number

Waktu tunggu kustom untuk pemutusan kalimat berbasis semantik, dalam milidetik. Nilai valid: [0, 10000]. Jika Anda mengatur ini ke nilai kurang dari 0, nilai tersebut tidak dikirim ke server (nilai default sisi server -1 digunakan, dan AI secara otomatis menentukan waktu tunggu yang sesuai).

Properti

Tipe

Deskripsi

data

JSONObject

Semua hasil deteksi VCR yang dikembalikan oleh agen.

stillFrameMotion

FrameMotionResult

Hasil deteksi frame diam.

invalidFrameMotion

FrameMotionResult

Hasil deteksi frame tidak valid.

peopleCount

PeopleCountResult

Hasil deteksi jumlah orang.

equipment

EquipmentResult

Hasil deteksi perangkat elektronik.

headMotion

HeadMotionResult

Hasil deteksi gerakan kepala.

Properti

Tipe

Deskripsi

data

JSONObject

Saat pengguna melewati objek JSON, itu disimpan dalam cache. Objek tersebut kemudian digunakan untuk menghasilkan string JSON, yang memungkinkan ekstensi kustom.

stillFrameMotion

AICallAgentVcrFrameMotionConfig

Konfigurasi deteksi gerakan frame diam VCR.

invalidFrameMotion

AICallAgentVcrFrameMotionConfig

Konfigurasi deteksi gerakan frame tidak valid VCR.

peopleCount

AICallAgentVcrBaseConfig

Konfigurasi deteksi jumlah orang real-time VCR.

equipment

AICallAgentVcrBaseConfig

Konfigurasi deteksi perangkat elektronik VCR.

headMotion

AICallAgentVcrBaseConfig

Konfigurasi deteksi gerakan kepala VCR.

Properti

Tipe

Deskripsi

enable

boolean

Menentukan apakah akan mengaktifkan fitur ini.

Properti

Tipe

Deskripsi

callbackDelay

number

Waktu tunda sebelum callback dipicu, dalam milidetik. Nilai default: 3000 ms.