Qwen-ASR-Realtime menerima aliran audio dan mentranskripsikan ucapan secara real-time melalui WebSocket. Layanan ini mendukung dua mode interaksi: mode VAD dan mode Manual.
Panduan pengguna: Untuk ikhtisar model dan panduan pemilihan, lihat Speech-to-text. Untuk contoh kode, lihat Real-time speech recognition.
Titik akhir layanan
Gunakan URL WebSocket berikut. Parameter kueri model menentukan model yang digunakan. Ganti <model_name> dengan nama model:
Singapore
wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
Ganti {WorkspaceId} dengan Workspace ID Anda yang sebenarnya.
China (Beijing)
wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
Ganti {WorkspaceId} dengan Workspace ID Anda yang sebenarnya.
Alibaba Cloud Model Studio telah merilis domain khusus ruang kerja untuk wilayah China (Beijing) dan Singapore. Domain khusus baru ini memberikan performa lebih unggul dan stabilitas lebih tinggi untuk permintaan inferensi. Kami merekomendasikan migrasi ke domain baru berikut:
China (Beijing): dari
dashscope.aliyuncs.comke{WorkspaceId}.cn-beijing.maas.aliyuncs.comSingapore: dari
dashscope-intl.aliyuncs.comke{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com
Ganti {WorkspaceId} dengan Workspace ID Anda yang sebenarnya. Domain lama tetap berfungsi sepenuhnya.
Gunakan skema wss://. Atur otorisasi di header permintaan (lihat Request headers). Tentukan model melalui parameter kueri model.
Request headers
Sertakan bidang-bidang berikut dalam header permintaan:
|
Parameter |
Type |
Required |
Description |
|
Authorization |
string |
Yes |
Token autentikasi dalam format |
|
user-agent |
string |
No |
Identifier client yang membantu server melacak sumber permintaan. |
|
X-DashScope-WorkSpace |
string |
No |
Workspace ID Alibaba Cloud Model Studio. |
|
X-DashScope-DataInspection |
string |
No |
Apakah inspeksi data diaktifkan. Abaikan header ini kecuali jika inspeksi data diperlukan; jika iya, atur nilainya menjadi |
Otorisasi diverifikasi selama handshake WebSocket. Jika Kunci API tidak valid atau tidak disertakan, handshake gagal dengan error HTTP 401 atau 403.
Alur interaksi
Untuk detail mengenai event client dan server, lihat Client events for Qwen-ASR-Realtime dan Server events.
Qwen-ASR-Realtime mendukung dua mode interaksi:
-
Mode VAD (default): Server menggunakan voice activity detection (VAD) untuk mendeteksi secara otomatis awal dan akhir setiap utterance. Gunakan mode ini untuk percakapan real-time, transkripsi rapat, dan skenario serupa.
-
Mode Manual: Client mengontrol batas utterance. Gunakan mode ini ketika client dapat menentukan batas tersebut secara eksplisit, seperti saat mengirim pesan suara di aplikasi perpesanan.
Mode VAD (default)
Server mendeteksi secara otomatis awal dan akhir setiap utterance. Kirim aliran audio secara terus-menerus; server akan mengembalikan transkripsi final untuk setiap utterance begitu mendeteksi akhirnya. Gunakan mode ini untuk percakapan real-time, transkripsi rapat, dan skenario serupa.
Untuk mengaktifkan: Konfigurasikan parameter session.turn_detection dalam event session.update client.
-
Client mengirim event input_audio_buffer.append untuk menambahkan audio ke buffer.
-
Server mengembalikan event input_audio_buffer.speech_started saat ucapan terdeteksi.
Catatan: Jika client mengirim session.finish untuk mengakhiri sesi sebelum event ini tiba, server segera mengembalikan event session.finished. Client kemudian harus menutup koneksi.
-
Client terus mengirim event input_audio_buffer.append untuk mengirimkan audio.
-
Setelah mengirim seluruh audio, client mengirim event session.finish untuk mengakhiri sesi.
-
Server mengembalikan event input_audio_buffer.speech_stopped saat mendeteksi akhir ucapan.
-
Server mengembalikan event input_audio_buffer.committed.
-
Server mengembalikan event conversation.item.created.
-
Server mengembalikan event conversation.item.input_audio_transcription.text yang berisi hasil transkripsi parsial.
-
Server mengembalikan event conversation.item.input_audio_transcription.completed yang berisi hasil transkripsi final.
-
Server mengembalikan event session.finished untuk menandakan bahwa pengenalan telah selesai. Client kemudian harus menutup koneksi.
Mode Manual
Client mengontrol batas utterance. Setelah mengirim audio untuk satu utterance lengkap, client mengirim event input_audio_buffer.commit untuk memberi tahu server. Gunakan mode ini ketika client dapat menentukan batas tersebut secara eksplisit, seperti saat mengirim pesan suara di aplikasi perpesanan.
Untuk mengaktifkan: Atur session.turn_detection ke null dalam event session.update client.
-
Client mengirim event input_audio_buffer.append untuk menambahkan audio ke buffer.
-
Client mengirim event input_audio_buffer.commit untuk melakukan commit pada buffer input audio. Commit ini membuat item pesan pengguna baru dalam percakapan.
-
Client mengirim event session.finish untuk mengakhiri sesi.
-
Server mengembalikan event input_audio_buffer.committed.
-
Server mengembalikan event conversation.item.input_audio_transcription.text yang berisi hasil transkripsi parsial.
-
Server mengembalikan event conversation.item.input_audio_transcription.completed yang berisi hasil transkripsi final.
-
Server mengembalikan event session.finished untuk menandakan bahwa pengenalan telah selesai. Client kemudian harus menutup koneksi.