すべてのプロダクト
Search

このプロダクト

    OpenSearch:トークン計算

    ドキュメントセンター

    OpenSearch:トークン計算

    最終更新日:Jun 23, 2026

    このドキュメントでは、API を使用して AI Search Open Platform へのサービスの呼び出しにおけるトークン数を計算する方法について説明します。

    トークン計算

    言語モデルにおいて、トークンはモデルが処理できるテキストの最小単位です。トークンは、単語、単語の一部、句読点、または 1 つの文字である場合があります。モデルによってトークン化の方法が異なるため、文字数がトークン数と常に一致するとは限りません。たとえば、AI Search Open Platform では次のようになります：

    • "Apple" は 1 トークンに相当します。

    • "test case" は 2 トークンに相当します。

    • 単語 "OpenSearch" は 2 トークンに相当します。

    AI Search Open Platform は、入出力トークン数に基づいて大規模言語モデルサービスを測定し、課金します。トークン計算 API を使用すると、サービスの呼び出しにかかる潜在的なコストを見積もることができます。

    サポート対象モデル

    以下のモデルのトークン数を計算できます。

    モデル分類

    サービス ID (service_id)

    OpenSearch SFT モデル

    ops-qwen-turbo

    Qwen モデル

    qwen-turbo

    qwen-plus

    qwen-max

    関連 API

    前提条件

    • 認証情報の取得

      AI Search オープンプラットフォームでは、認証に API キーが必要です。手順については、「API キーの取得」をご参照ください。

    • サービスエンドポイントの取得

      パブリックネットワークまたは VPC 経由でサービスを呼び出せます。詳細については、「サービスエンドポイントの取得」をご参照ください。

    一般的な注意点

    • リクエストボディは 8 MB を超えることはできません。

    リクエストメソッド

    POST

    URL

    {host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id}/tokenizer

    • host：サービスエンドポイントです。パブリックネットワークまたは VPC 経由で API サービスを呼び出すことができます。詳細については、「サービスエンドポイントの取得」をご参照ください。

      [API キー] ページの上部で、[デフォルトワークスペース] などのターゲットワークスペースを選択します。[アクセスドメイン] セクションで、[パブリック API ドメイン] と [プライベート API ドメイン] を確認できます。

    • workspace_name：ワークスペースの名前です。例：default。

    • service_id：組み込みサービスの ID です。例：ops-qwen-turbo。

    リクエストパラメーター

    ヘッダーパラメーター

    API キー認証

    パラメーター

    タイプ

    必須

    説明

    例

    Content-Type

    String

    はい

    リクエストボディの形式です。値を application/json に設定します。

    application/json

    Authorization

    String

    はい

    API キーです。

    Bearer OS-d1**2a

    ボディパラメーター

    messages

    List

    はい

    会話履歴です。リスト内の各要素は、role と content を持つオブジェクトです。role の有効な値は、system、user、assistant です。

    • system：システムレベルのメッセージです。このロールはオプションです。使用する場合、会話履歴の最初のメッセージ (messages[0]) である必要があります。

    • user と assistant：ユーザーとモデル間の会話です。これらのロールを持つメッセージは、自然な会話の流れをシミュレートするために、交互に配置する必要があります。

    [{"role":

    "user", "content":

    "Test token calculation API"}]

    レスポンスパラメーター

    パラメーター

    タイプ

    説明

    例

    request_id

    String

    API リクエストの一意の識別子です。

    310032DA-****-46CC-94D1-0FE789BAE3A7

    latency

    Float/Int

    リクエストのレイテンシー (ミリ秒単位) です。

    10

    usage

    Object

    呼び出しの課金情報です。

    "usage":{"input_tokens":4}

    usage.input_tokens

    Integer

    入力テキストのトークン数です。

    4

    result.token_ids

    List<Integer>

    入力テキストに対応するトークン ID です。

    [81705,5839,100768,107736]

    result.tokens

    List<String>

    入力テキストに対応するトークンです。

    ["Test","token","calculation","API"]

    cURL リクエスト例

    curl -XPOST -H "Content-Type:application/json" \
"http://****-shanghai.opensearch.aliyuncs.com/v3/openapi/workspaces/default/text-generation/ops-qwen-turbo/tokenizer" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{
    "messages":[
                    {
                        "role":"user",
                        "content":"Test token calculation API"
                    }
    ]}'

    レスポンス例

    成功レスポンス例

    {
  "request_id":"9d197d47-d6b5-****-964e-12b893c47a8b",
  "latency":11,
  "usage":{
    "input_tokens":4
  },
  "result":{
    "token_ids":[81705,5839,100768,107736],
    "tokens":["Test","token","calculation","API"]
  }
}

    エラーレスポンス例

    エラーが発生した場合、レスポンスにはエラーを説明する code フィールドと message フィールドが含まれます。

    {
  "request_id":"388476DB-C4D4-****-A7A6-7594F92885FA",
  "latency":0,
  "code":"InvalidParameter",
  "message":"Messages must be end with role[user]."
}

    ステータスコード

    詳細については、AI Search Open Platform の「ステータスコードの説明」をご参照ください。