Alibaba Cloud Model Studio：Event klien

session.update

Setelah membuat koneksi WebSocket, kirim event ini untuk memperbarui konfigurasi sesi default.

Setelah layanan menerima event session.update, layanan akan memvalidasi parameter. Jika parameter tidak valid, layanan mengembalikan kesalahan. Jika parameter valid, layanan memperbarui dan mengembalikan konfigurasi lengkap.

{
  "event_id": "event_ToPZqeobitzUJnt3QqtWg",
  "type": "session.update",
  "session": {
    "modalities": [
      "text",
      "audio"
    ],
    "voice": "Cherry",
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm24",
    "input_audio_transcription": {
      "language": "en"
    },
    "translation": {
      "language": "zh"
    }
  }
}

input_audio_buffer.append

Event ini menambahkan byte audio ke buffer audio masukan. Layanan menggunakan buffer ini untuk mendeteksi ucapan dan menentukan kapan harus mengirimkannya.

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.append",
    "audio": "xxx"
}

input_image_buffer.append

Event ini menambahkan data citra ke buffer citra. Citra dapat berasal dari file lokal atau diambil secara real-time dari aliran video.

Batasan berikut berlaku untuk masukan citra:

• Format citra harus JPG atau JPEG. Untuk kinerja optimal, resolusi 480p atau 720p direkomendasikan. Resolusi maksimum adalah 1080p.

• Ukuran satu citra tidak boleh melebihi 500 KB sebelum dikodekan Base64.

• Data citra harus dikodekan Base64.

• Frekuensi penambahan citra ke buffer tidak boleh melebihi 2 citra per detik.

• Anda harus mengirim setidaknya satu event input_audio_buffer.append sebelum mengirim event input_image_buffer.append.

{
    "event_id": "event_xxx",
    "type": "input_image_buffer.append",
    "image": "xxx"
}