Alibaba Cloud Model Studio:Qwen-Audio-ASR-Streaming Python SDK

Ya

Ya

Laju sampel dalam Hz. Semua laju sampel didukung.

Ya

Format audio.

Nilai valid:

• pcm
• wav
• mp3
• opus
• speex
• aac
• amr

Tidak

Default: false, yang mentranskripsikan dialek menjadi bahasa Mandarin standar. Tetapkan ke true untuk mempertahankan ungkapan dialek. Teruskan sebagai argumen kata kunci dengan nama yang sama.

Tidak

Model VAD: near_meeting_16k (jarak dekat) atau far_field_meeting_16k (jarak jauh, default). Teruskan sebagai argumen kata kunci dengan nama yang sama.

Tidak

ID daftar kata kunci panas yang telah dikompilasi sebelumnya.

Hasilkan ID ini terlebih dahulu dengan memanggil API pembuatan daftar kata kunci panas. Masukkan ID ini selama pengenalan untuk menggunakan kata-kata dalam daftar tersebut.

Cocok untuk skenario di mana kosakata diketahui dan relatif stabil, serta Anda perlu menggunakan kembali daftar kata yang sama di berbagai permintaan.

Untuk detail penggunaan, lihat Kata kunci panas yang telah dikompilasi.

Tidak

Kata kunci panas instan.

Diteruskan sebagai pasangan kunci-nilai, di mana kunci adalah teks kata kunci (string) dan nilai adalah bobot kata kunci (integer). Tidak perlu membuat daftar kata kunci panas terlebih dahulu. Bobot berkisar antara [1, 5] atau diatur ke 50: nilai dalam [1, 5] membuat model lebih cenderung mengeluarkan kata tersebut seiring peningkatan nilainya; nilai 50 menunjukkan kata kunci super panas, yang sangat meningkatkan recall, tetapi jumlah kata kunci super panas tidak boleh melebihi 50.

Cocok untuk optimasi kata kunci panas sementara pada tingkat sesi.

Jika dikonfigurasi bersama dengan kata kunci panas yang telah dikompilasi, hanya kata kunci panas instan yang berlaku. Untuk detail penggunaan, lihat Kata kunci panas instan.

Contoh:

from dashscope.audio.asr import Recognition

vocab = {"John Smith": 5, "Jane Doe": 5}
recognition = Recognition(
    model='qwen-audio-3.0-asr-flash-streaming',
    format='wav',
    sample_rate=16000,
    vocabulary=vocab,
    callback=None)

Tidak

Ambang batas keheningan VAD untuk segmentasi, dalam ms. Ketika keheningan setelah segmen ucapan melebihi ambang batas ini, sistem menentukan bahwa kalimat telah berakhir.

Nilai default: 800.

Nilai valid: [200, 6000].

Tidak

Apakah mode multi-ambang batas diaktifkan. Saat diaktifkan, mencegah segmentasi VAD menghasilkan segmen yang terlalu panjang.

Default: False.

Tidak

Apakah tanda baca ditambahkan secara otomatis ke hasil pengenalan:

• True (default): Ya. Nilai ini tidak dapat diubah.

Tidak

Apakah paket heartbeat diaktifkan.

Default: False.

• True: Menjaga koneksi ke server tetap aktif meskipun audio diam dikirim terus-menerus.
• False (default): Meskipun audio diam dikirim terus-menerus, koneksi akan timeout dan ditutup setelah periode tertentu.

Audio diam mengacu pada konten dalam file audio atau aliran data yang tidak mengandung sinyal suara. Anda dapat menghasilkan audio diam dengan beberapa cara, seperti menggunakan perangkat lunak pengeditan audio seperti Audacity atau Adobe Audition, atau menggunakan alat command-line seperti FFmpeg.

Field ini memerlukan SDK versi 1.23.1 atau lebih baru.

Tidak

Bahasa audio yang akan dikenali. Tidak ada nilai default; jika tidak diatur, model akan mendeteksi bahasa secara otomatis.

Anda dapat menetapkan hingga 4 nilai. Jika lebih, hanya 4 nilai pertama yang berlaku.

Tidak

Ambang batas untuk membedakan ucapan dari kebisingan, digunakan untuk menyesuaikan sensitivitas Voice Activity Detection (VAD).

Nilai valid: [-1.0, 1.0].

Deskripsi nilai:

• Semakin mendekati -1: Ambang batas kebisingan menurun, sehingga kebisingan lebih mungkin dikenali sebagai ucapan, yang dapat menyebabkan lebih banyak kebisingan ditranskripsikan.
• Semakin mendekati +1: Ambang batas kebisingan meningkat, sehingga ucapan lebih mungkin salah dianggap sebagai kebisingan, yang dapat menyebabkan sebagian ucapan difilter.

Ini adalah parameter konfigurasi lanjutan. Penyesuaian dapat berdampak signifikan pada hasil pengenalan. Rekomendasi:

• Uji dan verifikasi hasil secara menyeluruh sebelum menyesuaikan.
• Lakukan penyesuaian secara bertahap berdasarkan lingkungan audio aktual (langkah 0.1 direkomendasikan).

Tidak

Menentukan kata sensitif yang akan diproses selama pengenalan ucapan, dan mendukung pengaturan metode pemrosesan berbeda untuk kata sensitif berbeda. Untuk detailnya, lihat Penyaringan kata sensitif.

Tidak

Antarmuka callback (RecognitionCallback).

Tidak

Objek input yang digunakan untuk meneruskan konteks percakapan. Peningkatan konteks meningkatkan akurasi pengenalan untuk istilah spesifik domain. Untuk penggunaan, lihat Mulai cepat.

Dict harus mencakup kunci context yang nilainya adalah daftar pesan (list[dict]). Setiap pesan berisi bidang berikut:

• role (str, wajib): Peran pesan. user merepresentasikan hasil pengenalan dari giliran pengguna sebelumnya atau daftar kata spesifik domain. assistant merepresentasikan respons model bahasa besar dari giliran sebelumnya.
• content (list[dict], wajib): Daftar konten pesan. Setiap elemen berisi type (str; diatur ke input_text saat role adalah user, dan text saat role adalah assistant) dan text (str, konten teks).

Teruskan raw_input ke metode start atau call dari instans Recognition:

# Bangun input untuk diteruskan
      input_context = {
          "context": [
              {
                  "role": "user",
                  "content": [
                      {
                          "type": "input_text",
                          "text": "Hello there"
                      }
                  ]
              },
              {
                  "role": "assistant",
                  "content": [
                      {
                          "type": "text",
                          "text": "Hello, I am Qwen. How can I help you?"
                      }
                  ]
              }
          ]
      }

      # Teruskan melalui parameter raw_input
      recognition.start(raw_input=input_context)
      # Atau
      recognition.call(raw_input=input_context)

def call(self, file: str, phrase_id: str = None, **kwargs) -> RecognitionResult

Panggilan non-streaming berbasis file lokal. Metode ini memblokir thread saat ini hingga semua audio dibaca, dan memerlukan izin baca pada file.

Hasil pengenalan dikembalikan sebagai objek RecognitionResult.

def start(self, phrase_id: str = None, **kwargs)

Memulai pengenalan ucapan.

Pengenalan real-time streaming berbasis callback. Metode ini tidak memblokir thread saat ini. Gunakan bersama dengan send_audio_frame dan stop.

def send_audio_frame(self, buffer: bytes)

Mendorong audio. Pastikan setiap frame audio yang didorong tidak terlalu besar atau terlalu kecil: sekitar 100 ms per frame, antara 1 KB hingga 16 KB.

Hasil pengenalan diperoleh melalui metode on_event dari Antarmuka callback (RecognitionCallback).

def stop(self)

Menghentikan pengenalan ucapan. Memblokir hingga server selesai mengenali semua audio yang diterima, lalu mengakhiri tugas.

def get_last_request_id(self)

Mendapatkan request_id. Tersedia setelah konstruktor dipanggil (objek dibuat).

def get_first_package_delay(self)

Mendapatkan delay paket pertama: latensi dari pengiriman paket audio pertama hingga menerima hasil pengenalan pertama. Gunakan setelah tugas selesai.

def get_last_package_delay(self)

Mendapatkan delay paket terakhir: waktu dari pengiriman perintah stop hingga menerima hasil pengenalan terakhir. Gunakan setelah tugas selesai.

def get_response(self)

Mendapatkan pesan terakhir. Gunakan untuk mengambil error kegagalan tugas.

def on_open(self) -> None

None

Dipanggil segera setelah koneksi ke server terbentuk.

def on_event(self, result: RecognitionResult) -> None

result: Hasil pengenalan (RecognitionResult)

None

Dipanggil saat server memiliki respons.

def on_complete(self) -> None

None

Dipanggil setelah semua hasil pengenalan dikembalikan.

def on_error(self, result: RecognitionResult) -> None

result: Hasil pengenalan (RecognitionResult)

None

Dipanggil saat terjadi error.

def on_close(self) -> None

None

Dipanggil setelah server menutup koneksi.

def get_sentence(self) -> Union[Dict[str, Any], List[Any]]

Mendapatkan kalimat yang dikenali saat ini dan informasi timestamp-nya. Callback mengembalikan satu kalimat, sehingga metode ini mengembalikan Dict[str, Any].

Untuk detailnya, lihat Kalimat (Sentence).

def get_request_id(self) -> str

Mendapatkan request_id dari permintaan.

@staticmethod
def is_sentence_end(sentence: Dict[str, Any]) -> bool

Menentukan apakah kalimat yang diberikan telah berakhir. Metode ini memeriksa apakah field end_time dalam sentence bernilai None: end_time yang tidak None menunjukkan bahwa kalimat telah berakhir. Panggil sebagai RecognitionResult.is_sentence_end(sentence), di mana sentence adalah dict kalimat tunggal yang dikembalikan oleh get_sentence(), bukan field boolean pada instans Sentence.