Detail API perhitungan token untuk Platform AI Search Open - OpenSearch

Dokumen ini menjelaskan cara menghitung jumlah token yang digunakan saat mengakses layanan Platform AI Search Open melalui API.

Perhitungan Token

Dalam model bahasa, token merupakan unit terkecil dalam segmentasi teks, seperti kata, frase, tanda baca, karakter, atau elemen lainnya. Model yang berbeda menggunakan metode segmentasi yang bervariasi, sehingga jumlah karakter dan token mungkin tidak selalu sesuai secara langsung. Sebagai contoh, pada Platform AI Search Open:

"Apple" setara dengan 1 token.
"Test Case" setara dengan 2 token.
"OpenSearch" setara dengan 2 token.

Layanan LLM pada Platform AI Search Open ditagih berdasarkan jumlah token input dan output yang diproses. Anda dapat menggunakan API Perhitungan Token untuk memperkirakan biaya pemanggilan layanan.

Daftar model yang didukung

Model berikut mendukung penggunaan layanan Perhitungan Token untuk menentukan jumlah token.

Klasifikasi Model

ID Layanan (service_id)

Model SFT OpenSearch

ops-qwen-turbo

Model Qwen

qwen-turbo

qwen-plus

qwen-max

Antarmuka panggilan Http

Prasyarat

Informasi otentikasi telah diperoleh.
Saat memanggil layanan Platform AI Search Open menggunakan API, Anda harus mengotentikasi identitas pemanggil.
Alamat akses layanan telah diperoleh.
Anda dapat memanggil layanan melalui Internet atau virtual private cloud (VPC). Untuk informasi lebih lanjut, lihat Dapatkan Alamat Pendaftaran Layanan.

Deskripsi umum

Ukuran maksimum badan permintaan tidak boleh melebihi 8 MB.

Metode permintaan

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id}/tokenizer

host: Alamat layanan, mendukung metode akses jaringan publik dan VPC. Untuk informasi lebih lanjut, lihat Dapatkan Alamat Akses Layanan.
workspace_name: Nama ruang kerja, misalnya default.
service_id: Pengenal layanan bawaan, seperti ops-qwen-turbo.

Parameter permintaan

Parameter Header

Otentikasi API-KEY

Parameter	Tipe	Wajib	Deskripsi	Nilai contoh
Content-Type	String	Ya	Tipe media dari permintaan, application/json	application/json
Authorization	String	Ya	API-Key	Bearer OS-d1**2a

Parameter Body

messages

Daftar

Riwayat percakapan antara pengguna dan model. Setiap elemen dalam daftar diformat sebagai {"role": role, "content": content}, dengan peran yang tersedia: system, user, assistant.

system: Pesan tingkat sistem, yang hanya dapat digunakan untuk pesan pertama dalam riwayat percakapan (messages[0]). Penggunaan peran sistem bersifat opsional, tetapi jika ada, harus berada di awal daftar.
user dan assistant: Mewakili percakapan antara pengguna dan model. Kedua peran ini harus bergantian dalam percakapan untuk mensimulasikan alur percakapan sebenarnya.

[{"role":

"user", "content":

"Tes antarmuka perhitungan token"}]

Parameter tanggapan

Parameter	Tipe	Deskripsi	Contoh
request_id	String	ID permintaan.	310032DA-****-46CC-94D1-0FE789BAE3A7
latency	Float/Int	Waktu yang dibutuhkan untuk permintaan dalam milidetik.	10
usage	Objek	Detail informasi metering dari pemanggilan API.	"usage":{"input_tokens":4}
usage.input_tokens	Integer	Jumlah token input.	4
result.token_ids	List<Integer>	ID token yang sesuai dengan teks input.	[81705,5839,100768,107736]
result.tokens	List<String>	Token aktual yang berasal dari teks input.	["Test","token","calculation","interface"]

Contoh permintaan Curl

curl -XPOST -H "Content-Type:application/json" 
"http://****-shanghai.opensearch.aliyuncs.com/v3/openapi/workspaces/default/text-generation/ops-qwen-turbo/tokenizer" 
-H "Authorization: Bearer Your API-KEY" 
-d "{
    \"messages\":[
                    {
                        \"role\":\"user\",
                        \"content\":\"Tes antarmuka perhitungan token\"
                    }
    ]}"

Contoh tanggapan

Contoh tanggapan benar

{
  "request_id":"9d197d47-d6b5-****-964e-12b893c47a8b",
  "latency":11,
  "usage":{
    "input_tokens":4
  },
  "result":{
    "token_ids":[81705,5839,100768,107736],
    "tokens":["Test","token","calculation","interface"]
  }
}

Contoh tanggapan abnormal

Jika terjadi kesalahan selama permintaan, keluaran akan menyertakan alasan kesalahan melalui bidang kode dan pesan.

{
  "request_id":"388476DB-C4D4-****-A7A6-7594F92885FA",
  "latency":0,
  "code":"InvalidParameter",
  "message":"Messages harus diakhiri dengan role[user]."
}

Kode status

Untuk informasi lebih lanjut, lihat Deskripsi Kode Status dari Platform AI Search Open.