Alibaba Cloud Model Studio:Tingkatkan akurasi pengenalan

Hotword kustom vs. peningkatan konteks

Model Studio speech recognition menyediakan dua pendekatan untuk menangani istilah khusus. Masing-masing berlaku untuk model dan antarmuka yang berbeda:

Model dan wilayah yang didukung

Panduan cepat

import dashscope
from dashscope.audio.asr import *
import os

# Kunci API untuk wilayah Beijing dan Singapura berbeda. Dapatkan Kunci API: https://www.alibabacloud.com/help/en/model-studio/get-api-key
# Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan: dashscope.api_key = "sk-xxx"
dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')

# Konfigurasi berikut untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja aktual Anda. Konfigurasi bervariasi berdasarkan wilayah.
dashscope.base_http_api_url = 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1'

# Konfigurasi berikut untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja aktual Anda. Konfigurasi bervariasi berdasarkan wilayah.
dashscope.base_websocket_api_url = 'wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference'
prefix = 'testpfx'
target_model = "fun-asr-realtime"

my_vocabulary = [
    {"text": "Speech Laboratory", "weight": 4}
]

service = VocabularyService()
vocabulary_id = service.create_vocabulary(
      prefix=prefix,
      target_model=target_model,
      vocabulary=my_vocabulary)

try:
    if service.query_vocabulary(vocabulary_id)['status'] == 'OK':
        recognition = Recognition(model=target_model,
                              format='wav',
                              sample_rate=16000,
                              callback=None,
                              vocabulary_id=vocabulary_id)
        result = recognition.call('asr_example.wav')
        print(result.output)
finally:
    # Hapus daftar hotword terlepas dari keberhasilan pengenalan, untuk menghindari kuota terpakai
    service.delete_vocabulary(vocabulary_id)

import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.vocabulary.Vocabulary;
import com.alibaba.dashscope.audio.asr.vocabulary.VocabularyService;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;

import java.io.File;
import java.util.ArrayList;
import java.util.List;

public class Main {
    // Kunci API untuk wilayah Beijing dan Singapura berbeda. Dapatkan Kunci API: https://www.alibabacloud.com/help/en/model-studio/get-api-key
    // Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan: public static String apiKey = "sk-xxx"
    public static String apiKey = System.getenv("DASHSCOPE_API_KEY");

    public static void main(String[] args) throws NoApiKeyException, InputRequiredException {
        // Konfigurasi berikut untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja aktual Anda. Konfigurasi bervariasi berdasarkan wilayah.
        Constants.baseHttpApiUrl = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1";
        // Konfigurasi berikut untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja aktual Anda. Konfigurasi bervariasi berdasarkan wilayah.
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";

        String targetModel = "fun-asr-realtime";

        JsonArray vocabularyJson = new JsonArray();
        List<Hotword> wordList = new ArrayList<>();
        wordList.add(new Hotword("Speech Laboratory", 4));

        for (Hotword word : wordList) {
            JsonObject jsonObject = new JsonObject();
            jsonObject.addProperty("text", word.text);
            jsonObject.addProperty("weight", word.weight);
            vocabularyJson.add(jsonObject);
        }

        VocabularyService service = new VocabularyService(apiKey);
        Vocabulary vocabulary = service.createVocabulary(targetModel, "testpfx", vocabularyJson);

        try {
            if ("OK".equals(service.queryVocabulary(vocabulary.getVocabularyId()).getStatus())) {
                Recognition recognizer = new Recognition();
                RecognitionParam param =
                        RecognitionParam.builder()
                                .model(targetModel)
                                .apiKey(apiKey)
                                .format("wav")
                                .sampleRate(16000)
                                .vocabularyId(vocabulary.getVocabularyId())
                                .build();

                try {
                    System.out.println("Hasil pengenalan: " + recognizer.call(param, new File("asr_example.wav")));
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                    // Tutup koneksi WebSocket
                    recognizer.getDuplexApi().close(1000, "bye");
                }
            }
        } finally {
            // Hapus daftar hotword terlepas dari keberhasilan pengenalan, untuk menghindari kuota terpakai
            service.deleteVocabulary(vocabulary.getVocabularyId());
        }
        System.exit(0);
    }
}

class Hotword {
    String text;
    int weight;

    public Hotword(String text, int weight) {
        this.text = text;
        this.weight = weight;
    }
}

Format hotword

Kirim hotword sebagai array JSON. Setiap elemen mendefinisikan satu hotword dan propertinya. Daftar kosakata (dirujuk sebagai vocabulary dalam API) mengelompokkan hotword ini untuk digunakan dengan model tertentu.

Contoh: Tingkatkan akurasi pengenalan judul film.

[
    {"text": "Seediq Bale", "weight": 4, "lang": "en"},
    {"text": "Goodbye Mr. Loser", "weight": 4, "lang": "en"},
    {"text": "Confucius' Family", "weight": 4, "lang": "en"}
]

Deskripsi bidang:

Optimalkan kinerja hotword

Batasan dan penagihan

Model dan wilayah yang didukung

Panduan cepat

Peningkatan konteks tidak memerlukan sumber daya yang dibuat sebelumnya. Cukup teruskan parameter konteks dalam permintaan speech recognition Anda:

• Speech recognition non-real-time: Teruskan pesan konteks dalam input.messages permintaan HTTP, ditempatkan sebelum pesan audio.

Kasus penggunaan: Dengan meneruskan riwayat percakapan atau terminologi domain sebagai konteks, Anda dapat secara signifikan meningkatkan akurasi transkripsi untuk istilah khusus seperti nama, lokasi, dan terminologi produk. Fitur ini mendukung skenario berikut:

• Peningkatan daftar kata: Teruskan daftar kata atau terminologi spesifik domain melalui user (input_text) untuk membantu model mengenali kosakata khusus secara akurat.

• Konteks percakapan multi-turn: Dalam skenario interaksi suara yang menggabungkan ASR dengan model bahasa besar, teruskan hasil pengenalan sebelumnya (user / input_text) dan tanggapan model (assistant / text) untuk meningkatkan akurasi pengenalan pada giliran saat ini.

{
    "model": "fun-asr-flash-2026-06-15",
    "input": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "input_text",
                        "text": "Kubernetes Istio Envoy service mesh sidecar proxy"
                    }
                ]
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "input_audio",
                        "input_audio": {
                            "data": "URL Audio atau Base64 dari audio saat ini untuk dikenali"
                        }
                    }
                ]
            }
        ]
    },
    "parameters": {}
}

{
    "model": "fun-asr-flash-2026-06-15",
    "input": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "input_text",
                        "text": "Hasil pengenalan ucapan pengguna sebelumnya"
                    }
                ]
            },
            {
                "role": "assistant",
                "content": [
                    {
                        "type": "text",
                        "text": "Konten tanggapan model sebelumnya"
                    }
                ]
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "input_audio",
                        "input_audio": {
                            "data": "URL Audio atau Base64 dari audio saat ini untuk dikenali"
                        }
                    }
                ]
            }
        ]
    },
    "parameters": {}
}

Contoh efek

Format konten bidang text bersifat fleksibel—dapat berupa daftar kata, paragraf bahasa alami, atau kombinasi keduanya. Bidang ini memiliki toleransi tinggi terhadap teks yang tidak relevan.

Klip audio harus dikenali dengan benar sebagai: “Jargon di kalangan perbankan investasi, seberapa banyak yang Anda tahu? Pertama, sembilan bank investasi asing utama, Bulge Bracket, BB…”

Pada contoh di atas, menambahkan daftar kata atau paragraf bahasa alami yang memuat istilah seperti "Bulge Bracket" ke dalam bidang text menghasilkan efek peningkatan tersebut.

T: Mengapa hotword tidak meningkatkan akurasi pengenalan?

Periksa hal-hal berikut secara berurutan:

1. Ketidaksesuaian model: target_model yang ditentukan saat membuat daftar harus sesuai dengan model yang digunakan oleh API pengenalan ucapan. Ketidaksesuaian ini tidak menyebabkan error, dan pengenalan tetap mengembalikan hasil, tetapi hotword tidak berlaku. Jika hasilnya tidak memuat hotword yang diharapkan, periksa hal ini terlebih dahulu.

2. Model tidak didukung: Model tersebut harus berasal dari family Fun-ASR atau Paraformer. Family lain tidak mendukung hotword. Memanggil API dengan model yang tidak didukung tidak menghasilkan error, tetapi hasilnya mungkin kosong atau tidak menunjukkan peningkatan akibat hotword. Jika menggunakan model seperti SenseVoice, periksa hal ini terlebih dahulu.

3. Bobot tidak tepat: Tingkatkan bobot dari 4 ke 5 dan amati hasilnya. Jika kata-kata yang mirip secara fonetis mulai salah dikenali sebagai hotword, turunkan kembali menjadi 4.

4. Status daftar hotword: Gunakan API Query untuk memastikan bahwa status bernilai OK.

T: Apakah penggunaan hotword berbeda antara pengenalan Real-time dan berbasis file?

Daftar hotword dibuat dengan cara yang sama. Perbedaannya terletak pada metode pemanggilannya:

• Pengenalan ucapan Real-time: Sertakan vocabulary_id dalam parameter koneksi Recognition atau WebSocket.

• Pengenalan ucapan berbasis file: Sertakan vocabulary_id dalam parameter permintaan Transcription.

Dalam kedua kasus tersebut, target_model harus sesuai dengan model pengenalan ucapan yang digunakan dalam pemanggilan API.

T: Bagaimana cara meningkatkan akurasi pengenalan selain menggunakan hotword?

Selain hotword dan peningkatan konteks, pertimbangkan hal-hal berikut:

• Kualitas audio: Sesuaikan laju sampel dengan persyaratan model (16 kHz atau 8 kHz) dan kurangi kebisingan latar belakang.

• Pilih model yang tepat: Skenario yang berbeda memerlukan model yang berbeda. Untuk detailnya, lihat panduan pemilihan model Speech-to-text.

• Tentukan bahasa: Nyatakan bahasa audio melalui language_hints untuk meningkatkan akurasi dalam skenario satu bahasa.