OpenSearch:マルチモーダル埋め込み

サービス

モデル ID (service_id)

ディメンション

サービスの説明

API 呼び出しの QPS 制限 (Alibaba Cloud アカウントおよび RAM ユーザー)

M2-Encoder-Multimodal ベクターモデル

ops-m2-encoder

768 ディメンション

BM-6B に基づいて 60 億のイメージ-テキストペア (中国語 30 億、英語 30 億) でトレーニングされた、中国語-英語バイリンガルマルチモーダルサービス。このモデルは、テキストからイメージへの検索やイメージからテキストへの検索などのクロスモーダル取得、およびイメージ分類タスクをサポートします。

10

M2-Encoder-Large-Multimodal ベクターモデル

ops-m2-encoder-large

1024 ディメンション

中国語-英語バイリンガルマルチモーダルサービス。m2-encoder モデルと比較して、このモデルはパラメーター数が多く (10 億)、マルチモーダルタスクでより強力な表現能力と高いパフォーマンスを発揮します。

GME Multimodal Vector-Qwen2-VL-2B

ops-gme-qwen2-vl-2b-instruct

1536 ディメンション

Qwen2-VL MLLM でトレーニングされたマルチモーダル埋め込みサービス。テキスト、イメージ、および混合データ型を効率的に処理するために、単一モダリティおよび結合されたマルチモダリティ入力をサポートします。

パラメーター

タイプ

必須

説明

例

Content-Type

String

はい

リクエストの型: application/json

application/json

Authorization

String

はい

API キー

Bearer OS-d1**2a

パラメーター

タイプ

必須

説明

例

input

List[ContentObject]

はい

複数の入力をサポートします。リクエストごとに最大 32 個のアイテムを指定できます。

[
  {
    "text":"Science and technology are the primary productive forces"
  },
  {
    "image":"http://***/a.jpg"
  }
]

パラメーター

タイプ

必須

説明

例

text

String

いいえ

テキスト情報。

{
  "text":"Text input"
}

image

String

いいえ

イメージ情報。URL または Base64 エンコードされたデータをサポートします。

• URL を使用する場合、URL はアクセス可能である必要があります。

• イメージに Base64 データを使用するには、エンコードされたデータを image パラメーターに data:image/{format};base64,{base64_image} フォーマットで渡します。フォーマットのコンポーネントは次のとおりです。

  image/{format}: ローカルイメージのフォーマット。実際のイメージフォーマットに基づいて設定します。たとえば、イメージが JPG フォーマットの場合は、image/jpeg に設定します。

  base64_image: イメージの Base64 データ。

{
  "image":"http://xxxxx/a.jpg"
}

または

{
  "image":"data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAoHCB..."
}

パラメーター

タイプ

説明

例

result.embeddings

List

リクエストに対するアルゴリズムの出力。これはオブジェクトの配列です。各オブジェクトには、入力配列のアイテムに対応する出力が含まれます。

[
    {
      "index": 0,
      "embedding": [0.003143,0.009750,omitted,-0.017395]
    },
    {}
]

result.embeddings[].index

Int

入力配列内の対応するアイテムのインデックス。

0

result.embeddings[].embedding

List[Double]

ベクトル化された結果。

[0.003143,0.009750,omitted,-0.017395]