OpenSearch:サービスデプロイメント

AI Search Open Platform、ModelScope、およびカスタムモデルからモデルをデプロイできます。これは、より高い同時実行性とより低いレイテンシで推論サービスを提供するためです。

サービスのデプロイ

1. AI Search Open Platform コンソールで、[モデルサービス] > [サービスデプロイメント] を選択し、[サービスのデプロイ] をクリックします。

   RAM アカウントを使用してサービスの詳細を作成、変更、または表示する場合は、事前に RAM アカウントに モデルサービス - サービスデプロイメント の関連操作権限を付与する必要があります。

2. [サービスのデプロイ] ページで、サービス名、デプロイリージョンなどの情報を構成します。

   

   • 現在サポートされているデプロイリージョンは、ドイツ (フランクフルト) です。

   • リソースタイプ: モデルデプロイメントのタイプ。

   • 推定価格: モデルデプロイメントのコスト。

3. [デプロイ] をクリックすると、システムはサービスのデプロイを開始します。サービスステータスの説明:

   • [デプロイ中]: システムはサービスをデプロイしています。サービスは一時的に利用できません。サービスリストで、[管理] をクリックしてサービスの詳細を表示するか、[削除] をクリックしてタスクを削除します。

   • [正常]: デプロイメントが成功したことを示します。サービスリストで、[管理] をクリックしてサービスの詳細を表示できます。サービス詳細ページで、[構成の変更] を使用してサービスのリソース構成を変更できます。サービスリストで、[削除] をクリックしてサービスを削除できます。

   • [デプロイメント失敗]: デプロイメントの詳細を表示するか、デプロイメントタスクを再デプロイまたは削除します。

サービス呼び出し情報の表示

AI Search Open Platform コンソールにログインし、[モデルサービス] > サービスデプロイメントを選択し、サービスリストで [管理] をクリックします。

• サービス ID: SDK を介してサービスを呼び出すときに、このパラメーターが必要です。

• パブリック API とプライベート API: パブリックアドレスまたはプライベートアドレスを使用してモデルサービスを呼び出すことができます。

• トークン: サービス呼び出しの資格情報。パブリックネットワークトークンとプライベートネットワークトークンに分けられます。パブリックアドレスまたはプライベートアドレスを使用してサービスを呼び出すときは、対応するトークンを入力する必要があります。

• API-KEY: API-KEY を介してサービスを呼び出すときの身元認証に使用されます。

  

サービスのテスト

curl コマンドを使用してモデルサービスをテストする場合は、API-KEY とトークン情報を提供する必要があります。

次のコードを実行して、テキストベクトル化モデルを呼び出し、入力コンテンツ「科学技術は第一の生産力である」と「opensearch プロダクトドキュメント」を埋め込みます。

curl -X POST \
     -H "Content-Type: application/json" \
     -H "Authorization: Bearer Your-API-KEY" \
     -H "Token: NjU0ZDkzYjUwZTQ1NDI1OGRiN2ExMmFmNjQxMDYyN2M5*******==" \
     "http://default-0fm.platform-cn-hangzhou.opensearch.aliyuncs.com/v3/openapi/deployments/******_1zj19x_1yc/predict" \
     -d '{
           "input": [
             "Science and technology is the primary productive force",
             "opensearch product documentation"
           ],
           "input_type": "query",
           "dimension" : 567 # Only effective when deploying a custom model with vector dimensionality reduction enabled, and the dimension cannot be greater than the foundation model dimension // ベクトル次元削減が有効になっているカスタムモデルをデプロイする場合にのみ有効であり、次元は基盤モデル次元より大きくすることはできません。
         }'

正しい応答結果:

{
  "embeddings": [
    {
      "index": 0,
      "embedding": [
        -0.028656005859375,
        0.0218963623046875,
        -0.04168701171875,
        -0.0440673828125,
        0.02142333984375,
        0.012345678901234568,
        ...
        0.0009876543210987654
      ]
    }
  ]
}

import json

from alibabacloud_tea_openapi.models import Config
from alibabacloud_searchplat20240529.client import Client
from alibabacloud_searchplat20240529.models import GetPredictionRequest
from alibabacloud_searchplat20240529.models import GetPredictionHeaders
from alibabacloud_tea_util import models as util_models

if __name__ == '__main__':
    config = Config(bearer_token="API-KEY",
                    # endpoint configuration for unified request entry, remove http:// or https:// // 統一リクエストエントリのエンドポイント構成。http:// または https:// を削除します。
                    endpoint="default-xxx.platform-cn-shanghai.opensearch.aliyuncs.com",
                    # protocol supports HTTPS and HTTP // プロトコルは HTTPS と HTTP をサポートします。
                    protocol="http")
    client = Client(config=config)

    # --------------- Request body parameters --------------- // リクエストボディパラメーター
    request = GetPredictionRequest().from_map({"body":{"input_type": "document", "input": ["search", "test"]}})

    headers = GetPredictionHeaders(token="xxxxxxxxYjIyNjNjMjc2MTU1MTQ3MmI0ZmQ3OGQ0ZjJlMxxxxxxxx==")

    runtime = util_models.RuntimeOptions()

    # deploymentId: deployment id // デプロイメントID: デプロイメントID
    response = client.get_prediction_with_options("Service ID of the deployed service" ,request, headers, runtime) // デプロイされたサービスのサービスID
    print(response)