OpenSearch:Perhitungan token

Dokumen ini menjelaskan cara menggunakan API untuk menghitung jumlah token pada panggilan layanan ke AI Search Open Platform.

Perhitungan token

Pada model bahasa, token adalah unit teks terkecil yang dapat diproses oleh model. Token dapat berupa kata, bagian dari kata, tanda baca, atau satu karakter tunggal. Model yang berbeda menggunakan metode tokenisasi yang berbeda, sehingga jumlah karakter tidak selalu sesuai dengan jumlah token. Sebagai contoh, pada AI Search Open Platform:

• "Apple" setara dengan 1 token.

• "test case" setara dengan 3 token.

• Kata "OpenSearch" setara dengan dua token.

AI Search Open Platform mengukur dan menagih layanan model bahasa besarnya berdasarkan jumlah token input dan output. Gunakan API perhitungan token untuk memperkirakan biaya potensial dari suatu panggilan layanan.

Model yang didukung

Anda dapat menghitung jumlah token untuk model-model berikut.

Klasifikasi model	ID Layanan (service_id)
OpenSearch SFT model	ops-qwen-turbo
Qwen model	qwen-turbo qwen-plus qwen-max

Referensi API

Prasyarat

• Dapatkan kredensial autentikasi

  Platform terbuka AI Search memerlukan Kunci API untuk autentikasi. Untuk petunjuknya, lihat Dapatkan Kunci API.

• Dapatkan titik akhir layanan

  Anda dapat memanggil layanan melalui jaringan publik atau VPC. Untuk detailnya, lihat Dapatkan titik akhir layanan.

Catatan umum

• Badan permintaan tidak boleh melebihi 8 MB.

Metode permintaan

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id}/tokenizer

• host: Titik akhir layanan. Anda dapat memanggil layanan API melalui jaringan publik atau melalui VPC. Untuk informasi lebih lanjut, lihat Dapatkan titik akhir layanan.

  Pada halaman API Keys, pilih ruang kerja target di bagian atas, misalnya default workspace. Di bagian access domain, Anda dapat menemukan public API domain dan private API domain.

• workspace_name: Nama ruang kerja, misalnya default.

• service_id: ID layanan bawaan, misalnya ops-qwen-turbo.

Parameter permintaan

Parameter header

Autorisasi dengan Kunci API

Parameter	Tipe	Wajib	Deskripsi	Contoh
Content-Type	String	Ya	Format badan permintaan. Tetapkan nilainya ke application/json.	application/json
Authorization	String	Ya	Kunci API Anda.	Bearer OS-d1**2a

Parameter body

messages

List

Ya

Riwayat percakapan. Setiap elemen dalam daftar adalah objek dengan role dan content. Nilai yang valid untuk role adalah system, user, dan assistant. system: Pesan tingkat sistem. Peran ini opsional. Jika digunakan, harus menjadi pesan pertama (messages[0]) dalam riwayat percakapan. user dan assistant: Percakapan antara pengguna dan model. Pesan dengan peran ini harus bergantian untuk mensimulasikan alur percakapan yang alami.

[{"role": "user", "content": "Test token calculation API"}]

Parameter respons

Parameter	Tipe	Deskripsi	Contoh
request_id	String	Identifikasi unik untuk permintaan API.	310032DA-****-46CC-94D1-0FE789BAE3A7
latency	Float/Int	Latensi permintaan dalam milidetik (ms).	10
usage	Object	Informasi metering untuk panggilan tersebut.	"usage":{"input_tokens":4}
usage.input_tokens	Integer	Jumlah token dalam teks input.	4
result.token_ids	List<Integer>	ID token yang sesuai dengan teks input.	[81705,5839,100768,107736]
result.tokens	List<String>	Token yang sesuai dengan teks input.	["Test","token","calculation","API"]

Contoh permintaan cURL

curl -XPOST -H "Content-Type:application/json" \
"http://****-shanghai.opensearch.aliyuncs.com/v3/openapi/workspaces/default/text-generation/ops-qwen-turbo/tokenizer" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
    "messages":[
                    {
                        "role":"user",
                        "content":"Test token calculation API"
                    }
    ]}'

Contoh respons

Contoh respons sukses

{
  "request_id":"9d197d47-d6b5-****-964e-12b893c47a8b",
  "latency":11,
  "usage":{
    "input_tokens":4
  },
  "result":{
    "token_ids":[81705,5839,100768,107736],
    "tokens":["Test","token","calculation","API"]
  }
}

Contoh respons error

Jika terjadi error, respons mencakup bidang code dan message untuk menjelaskan kesalahan tersebut.

{
  "request_id":"388476DB-C4D4-****-A7A6-7594F92885FA",
  "latency":0,
  "code":"InvalidParameter",
  "message":"Messages must be end with role[user]."
}

Kode status

Untuk informasi lebih lanjut, lihat deskripsi kode status untuk AI Search Open Platform.