OpenSearch:予測クエリ

Text-to-Text 取得

• リクエスト本文：

  {
    "tableName": "gist",
    "indexName": "test",
    "content": "hello",
    "modal": "text",
    "topK": 3,
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}",
    "includeVector": true
  }

• 応答：

  {
    "result":[
      {
        "id": 1,
        "score":1.0508723258972169,
        "vector": [0.1, 0.2, 0.3]
      },
      {
        "id": 2,
        "score":1.0329746007919312,
        "vector": [0.2, 0.2, 0.3]
      },
      {
        "id": 3,
        "score":0.980593204498291,
        "vector": [0.3, 0.2, 0.3]
      }
    ],
    "totalCount":3,
    "totalTime":2.943
  }

画像取得

Text-to-Image 取得：

• リクエスト本文：

  {
    "tableName": "gist",
    "indexName": "test",
    "content": "Bicycle",
    "modal": "text",
    "topK": 3,
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}",
    "includeVector": true
  }

• 応答：

  {
    "result":[
      {
        "id": 1,
        "score":1.0508723258972169,
        "vector": [0.1, 0.2, 0.3]
      },
      {
        "id": 2,
        "score":1.0329746007919312,
        "vector": [0.2, 0.2, 0.3]
      },
      {
        "id": 3,
        "score":0.980593204498291,
        "vector": [0.3, 0.2, 0.3]
      }
    ],
    "totalCount":3,
    "totalTime":2.943
  }

画像検索：

• リクエスト本文：

  {
    "tableName": "gist",
    "indexName": "test",
    "content": "base64-encoded image data",
    "modal": "image",
    "topK": 3,
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}",
    "includeVector": true
  }

• 応答：

  {
      "totalCount": 5,
      "result": [
          {
              "id": 5,
              "score": 1.103209137916565
          },
          {
              "id": 3,
              "score": 1.1278988122940064
          },
          {
              "id": 2,
              "score": 1.1326735019683838
          }
      ],
      "totalTime": 242.615
  }

主体識別

• リクエスト本文：

  range パラメーターなしの場合：

  {
   "tableName": "gist",
   "indexName": "test",
   "content": "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ",
   "modal": "image",
   "searchParams": "{\"crop\": true}",
   "topK": 3,
   "includeVector": true
  }

  注："crop":true は主体識別を有効にします。`range` パラメーターが指定されていない場合、モデルは自動的に主体を検出します。

  range パラメーターありの場合：

  {
   "tableName": "gist",
   "indexName": "test",
   "content": "/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQ",
   "modal": "image",
   "searchParams": "{\"crop\": true, \"range\": \"100,100,60,70\"}",
   "topK": 3,
   "includeVector": true
  }

  "crop":true, "range":"100,100,60,70" は、画像の指定された領域内で主体識別を有効にします。`range` の 4 つの数値は、領域の左上隅の `(x, y)` 座標、幅、高さを表します。

• 応答：

  {
   "result":[
   {
   "id": 1,
   "score":1.0508723258972169,
   "vector": [0.1, 0.2, 0.3]
   }
   ],
   "__meta__": {
   "__range__": "100,100,60,70;",
   }
   "totalCount":1,
   "totalTime":2.943
  }

  • `modal=image` で主体識別を実行すると、応答に `__range__` フィールドが含まれます。

  • __range__ フィールドは、検出された主体の領域を `x,y,width,height` 形式で示します。

  • モデルが複数の主体を識別した場合、それらの領域は __range__ フィールドにスコアの降順でリストされます。クエリはデフォルトで最初 (最高スコア) の主体の結果を返します。

Text-to-Video 取得

• リクエスト本文：

  {
    "tableName": "video",
    "content": "hello",
    "modal": "video",
    "topK": 3,
    "videoFrameTopK":100,
    "contentType":"text",
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}"
  }

• 応答：

  {
    "result":[
      {
        "videoId": 1,
        "videoUri": "oss://...",
        "fields" : {
          "tag" : "demo"
        },
        "clips": [{
            "queryStartTime": 5,
            "startTime": 5,
            "duration": 5,
            "queryStartFrameIndex": 150,
            "queryEndFrameIndex": 300,
            "startFrameIndex": 150,
            "endFrameIndex": 300,
            "sim": 0.8
         }]
      }
    ],
    "totalCount":1,
    "totalTime":2.943
  }

ビデオ対ビデオ取得

サポートされている動画フォーマットには、MP4、AVI、MKV、MOV、FLV、WebM があります。

• リクエスト本文：

  OSS URI を使用する場合：

  {
    "tableName": "video",
    "content": "oss://...",
    "modal": "video",
    "topK": 3,
    "videoFrameTopK":100,
    "contentType":"video_uri",
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}"
  }

  Base64 エンコードされた動画データを使用する場合：

  {
    "tableName": "video",
    "content": "data:video/mp4;base64,AAAAIGZ0eXBtcDQyAAABAGlxxxxxxx",
    "modal": "video",
    "topK": 3,
    "videoFrameTopK":100,
    "contentType":"video_encode",
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}"
  }

  フォーマットは data:video/{format};base64,{base64_video} です。各要素の説明は次のとおりです。

  • video/{format}：動画のフォーマット。たとえば、MP4 ファイルの場合は video/mp4 を使用します。

  • base64_video：Base64 エンコードされた動画データ。

• 応答：

  {
    "result":[
      {
        "videoId": 1,
        "videoUri": "oss://...",
        "fields" : {
          "tag" : "demo"
        },      
        "clips": [{
            "queryStartTime": 5,
            "startTime": 5,
            "duration": 5,
            "queryStartFrameIndex": 150,
            "queryEndFrameIndex": 300,
            "startFrameIndex": 150,
            "endFrameIndex": 300,
            "sim": 0.8
         }]
      }
    ],
    "totalCount":1,
    "totalTime":2.943
  }

画像による動画取得

サポートされている画像フォーマットには、PNG、JPEG、JPG があります。

• リクエスト本文：

  {
    "tableName": "video",
    "content": "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAxxxxxx",
    "modal": "video",
    "topK": 3,
    "videoFrameTopK":100,
    "contentType":"image_encode", 
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}"
  }

  画像は Base64 データとして提供されます。エンコードされたデータを content パラメーターに data:image/{format};base64,{base64_image} のフォーマットで渡します。各要素の説明は次のとおりです。

  • image/{format}：画像のフォーマット。たとえば、JPG ファイルの場合は image/jpeg を使用します。

  • base64_image：Base64 エンコードされた画像データ。

• 応答：

  {
    "result":[
      {
        "videoId": 1,
        "videoUri": "oss://...",
        "fields" : {
          "tag" : "demo"
        },      
        "clips": [{
            "queryStartTime": 5,
            "startTime": 5,
            "duration": 5,
            "queryStartFrameIndex": 150,
            "queryEndFrameIndex": 300,
            "startFrameIndex": 150,
            "endFrameIndex": 300,
            "sim": 0.8
         }]
      }
    ],
    "totalCount":3,
    "totalTime":2.943
  }

融合ベクター取得

融合ベクター取得は、テキストや画像など、複数のモダリティからのコンテンツを単一の融合ベクターにエンコードし、クロスモーダル取得を実現します。この機能を使用する前に、テーブル設定で融合ベクターフィールドを構成する必要があります。詳細については、「融合ベクターの構成」をご参照ください。

融合ベクター取得は、他の予測クエリと以下の点で異なります：

• modal パラメーターは fusion に設定されます。

• 複数のモダリティからのコンテンツを渡すために、content パラメーターの代わりに contents パラメーター (リスト) が使用されます。

• contentType パラメーターには、contents リストの項目に対応する型がカンマ区切りで含まれます。

• リクエスト本文：

  {
    "tableName": "gist",
    "indexName": "test",
    "contents": ["hello", "data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAxxxxxx"],
    "modal": "fusion",
    "contentType": "text,image_encode",
    "topK": 3,
    "searchParams":"{\"qc.searcher.scan_ratio\":0.01}",
    "includeVector": true
  }

  contents の最初の要素はテキスト "hello" で、2 番目の要素は Base64 エンコードされた画像データです。contentType では、text と image_encode がそれぞれ contents の 2 つの要素の型に対応しています。

• 応答：

  {
    "result":[
      {
        "id": 1,
        "score":1.0508723258972169,
        "vector": [0.1, 0.2, 0.3]
      },
      {
        "id": 2,
        "score":1.0329746007919312,
        "vector": [0.2, 0.2, 0.3]
      },
      {
        "id": 3,
        "score":0.980593204498291,
        "vector": [0.3, 0.2, 0.3]
      }
    ],
    "totalCount":3,
    "totalTime":2.943
  }