AI搜尋開放平台圖片內容提取 - OpenSearch

AI搜尋開放平台支援通過API的方式調用圖片內容提取服務，您可以將服務整合到您的業務處理鏈路中，解析後的文本可用於圖片檢索問答情境。

服務列表

服務名稱	服務ID	服務描述	API調用QPS限制（含主帳號與RAM子帳號）
圖片內容理解服務001	ops-image-analyze-vlm-001	提供圖片內容解析服務，可基於多模態大模型對圖片內容進行解析理解以及文字識別，解析後的文本可用於圖片檢索及問答等情境。	10 說明如需擴充QPS，請通過工單聯絡支援人員協助。
圖片文本識別服務001	ops-image-analyze-ocr-001	提供圖片內容OCR識別服務，可基於OCR能力對圖片文字進行識別，將文字資訊提取出來，用於圖片檢索及問答等情境。	10 說明如需擴充QPS，請通過工單聯絡支援人員協助。

擷取身份鑒權資訊
通過API調用AI搜尋開放平台服務時，需要對調用者身份進行鑒權，如何擷取鑒權資訊請參見擷取API-KEY。
擷取服務調用地址
支援通過公網和VPC兩種方式調用服務，詳情請參見擷取服務接入地址。

建立非同步提取任務

請求方式

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/async

host：調用服務的地址，支援通過公網和VPC兩種方式調用API服務，可參見擷取服務接入地址。

在AI搜尋開放平台控制台左側導覽列選擇API Keys，在頁面上方訪問網域名稱地區可查看公網API網域名稱和私網API網域名稱。

workspace_name：工作空間名稱，例如default。
service_id：系統內建服務ID，例如ops-image-analyze-vlm-001。

請求參數

Header參數

API-KEY認證

參數	類型	必填	描述	樣本值
Content-Type	String	是	請求類型：application/json	application/json
Authorization	String	是	API-Key	Bearer OS-d1**2a

Body參數

參數	類型	必填	描述	樣本值
service_id	String	是	系統內建服務ID： ops-image-analyze-vlm-001 ops-image-analyze-ocr-001	ops-image-analyze-vlm-001
document.url	String	否	指明檔案儲存的URL地址。URL和content二選一，支援http，https協議。	http://path/to/***.jpg
document.content	String	否	指明檔案的內容，用Base64Encode編碼。URL和content二選一。	"aGVsbG8gd29ybGQ="
document.file_name	String	否	檔案名稱，如果為空白從URL推斷，如果URL為空白需要顯式指定。	test.jpg
document.file_type	String	否	檔案類型，為空白則從file_name的尾碼推斷，無法推斷則需要顯式指定，如：jpg， jpeg， png， bmp，tiff。	jpg

返回參數

參數	類型	描述	樣本值
result.task_id	String	圖片解析非同步任務ID。	6177bf71-f87f-4d86-ab0c-e2b64dfe****

Curl請求樣本

curl -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <您的API-KEY>" \
  "http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/async"
  --data '{
    "document": {
      "url": "https://img01.yzcdn.cn/****/2017/05/11/FoTMgBa0SvUaAeFruY7i7O_EUMhf.jpg%21middle.jpg",
      "file_type": "jpg"
    }
  }' \

響應樣本

正常響應樣本

{
	"request_id":"CD4E26F0-23FF-449C-83DC-20CC8FF1****",
        "latency":8.0,
        "http_code":200,
        "result":{
                  "task_id":"cd4e26f0-23ff-449c-83dc-20cc8ff1****"
        }
}

異常響應樣本

在訪問請求出錯的情況下，輸出的結果中會通過code和message指明出錯原因。

{
      "request_id":"0CCAC03B-D83F-432F-B6BA-C3049576****",
      "latency":0.0,
      "code":"InvalidParameter",
      "http_code":400,
      "message":"document.content or document.url required, and both cannot be present at the same time"
}

擷取非同步提取任務狀態

請求方式

GET

URL

{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/async/task-status?task_id=${task_id}

host：調用服務的地址，支援通過公網和VPC兩種方式調用API服務，可參見擷取服務接入地址。
workspace_name：工作空間名稱，例如default。
service_id：系統內建服務ID，例如ops-image-analyze-vlm-001。
task_id：建立圖片解析響應中返回的任務標識ID，例如cd4e26f0-23ff-449c-83dc-20cc8ff1****。

請求參數

Header參數

API-KEY認證

參數	類型	必填	描述	樣本
Content-Type	string	是	請求類型：application/json	application/json
Authorization	string	是	API-Key	Bearer OS-d1**2a

返回參數

參數	類型	描述	樣本
request_id	String	系統對一次API調用賦予的唯一標識。	3C09570D-12DB-46B4-BF0F-A100D79B****
latency	Float/Int	請求耗時，單位ms。	3.0
result.task_id	String	非同步任務ID，同步調用時無此項。	a7e4c0f6-874c-47e3-b05b-02278a96e****
result.status	String	任務狀態： PENDING：待處理 SUCCESS：任務成功完成 FAILD：任務失敗終止	SUCCESS
result.data	Object	圖片解析的結果。	{"content":"圖中展示的是XXXX", "content_type":"plain"}
result.data.content	String	圖片內容。	"XXX"
result.data.content_type	String	輸出的文本類型：plain。	plain
usage.token_count	int	輸出的token數，適用於ops-image-analyze-vlm-001服務。	1234
usage.pv_count	int	調用次數（固定為1），適用於ops-image-analyze-ocr-001服務。	1

Curl請求樣本

curl -X GET \
-H"Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
"http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/async/task-status?task_id=d9781786-20b8-4fb4-bbb5-38f82e69****"

響應樣本

正常響應樣本

{
      "request_id":"3C09570D-12DB-46B4-BF0F-A100D79B****",
      "latency":3.0,
      "http_code":200,
      "result":{
           "status":"SUCCESS",
           "data":{
                "content":"圖中展示的是一台WMF品牌的攪拌機，周圍擺放著各種水果和蔬菜。攪拌機旁邊有一個裝有紅色果汁的杯子，杯子裡還插著一根吸管。桌子上散落著幾片檸檬、幾個草莓和一些奇異果。在桌子的一角還有一個切好的菠蘿和一個橙子。此外，還有一些胡蘿蔔被切成小塊放在攪拌機裡準備榨汁。整個情境看起來非常健康和美味。",
                "content_type":"plain"
            },
            "task_id":"d9781786-20b8-4fb4-bbb5-38f82e69****"
       },
            "usage":{
                "token_count":95
            }
}

異常響應樣本

在訪問請求出錯的情況下，輸出的結果中會通過code和message指明出錯原因。

{
  "request_id":"153FC253-468D-4C46-873E-2AEB918C****",
  "latency":2.0,
  "code":"BadRequest.TaskNotExist",
  "http_code":404,
  "message":"task[d9781786-20b8-4fb4-bbb5-38f82e690b****] not exist"
}

建立同步提取任務

請求方式

POST

URL

{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/sync

參數說明

host：調用服務的地址，支援通過公網和VPC兩種方式調用API服務，可參見擷取服務接入地址。
workspace_name：工作空間名稱，例如default。
service_id：系統內建服務ID，例如ops-image-analyze-vlm-001。

請求參數

Header參數

API-KEY認證

參數	類型	必填	描述	樣本值
Content-Type	String	是	請求類型：application/json	application/json
Authorization	String	是	API-Key	Bearer OS-d1**2a

Body參數

參數	類型	必填	描述	樣本值
service_id	String	是	系統內建服務ID： ops-image-analyze-vlm-001 ops-image-analyze-ocr-001	ops-image-analyze-vlm-001
document.url	String	否	指明檔案儲存的URL地址。URL和content二選一，支援http，https協議。	http://path/to/***.jpg
document.content	String	否	文檔內容，用Base64Encode編碼與document.url二選一即可。	"aGVsbG8gd29ybGQ="
document.file_name	String	否	檔案名稱，如果為空白從URL推斷，如果URL為空白需要顯式指定。	test.jpg
document.file_type	String	否	檔案類型，如果為空白從file_name的尾碼推斷，如果無法推斷需要顯式指定，如：jpg，jpeg，png， bmp，tiff。	jpg

返回參數

參數	類型	描述	樣本值
result.status	String	任務狀態： PENDING: 待處理 SUCCESS: 任務處理成功 FAIL: 任務失敗終止	SUCCESS
result.error	String	status=FAIL時的錯誤資訊內容，正常情況為空白。	文檔解密失敗
result.data	Object	圖片解析的結果。	{"content":"圖中展示的是XXXX", "content_type":"plain"}
result.data.content	String	圖片內容。	"XXX"
result.data.content_type	String	輸出的文本類型：plain。	plain
request_id	String	系統對一次API調用賦予的唯一標識。	B4AB89C8-B135-xxxx-A6F8-2BAB801A2CE4
latency	Float/Int	請求耗時，單位ms。	10
usage	Object	本次調用產生的計量資訊。	"usage": { "token_count": 1234 }
usage.token_count	Int	輸出的token數，適用於ops-image-analyze-vlm-001服務。	1234
usage.pv_count	Int	調用次數（固定為1），適用於ops-image-analyze-ocr-001服務。	1

Curl請求樣本

curl -X POST \
-H"Content-Type: application/json" \
-H "Authorization: Bearer 您的API-KEY" \
 "http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/sync" \
\ -d "{    
      \"document\":{    
            \"url\":\"https://img01.yzcdn.cn/****/2017/05/11/FoTMgBa0SvUaAeFruY7i7O_EUMhf.jpg%21middle.jpg\",   
            \"file_type\":\"jpg\"
      }
}"

響應樣本

正常響應樣本

{
    "request_id":"BB5CD4C3-C8B6-40E7-A037-4ADAE88A****", 
    "latency":12525.0,
    "http_code":200,
    "result":{
        "status":"SUCCESS",
        "data":{
              "content":" 圖中展示的是一台WMF品牌的攪拌機，周圍擺放著各種水果和蔬菜。攪拌機旁邊有一個裝有紅色果汁的杯子，杯子裡還插著一根吸管。桌子上散落著幾片檸 檬、幾個草莓和一些奇異果。在桌子的一角還有一個切好的菠蘿和一個橙子。此外，還有一些胡蘿蔔被切成小塊放在攪拌機裡準備榨汁。整個情境看起來非常健康和美味。",
              "content_type":"plain"
        }
      },
      "usage":{
          "token_count":95
      }
}

異常響應樣本

在訪問請求出錯的情況下，輸出的結果中會通過code和message指明出錯原因。

{
    "request_id": "6F33AFB6-A35C-4DA7-AFD2-9EA16CCF****",
    "latency": 2.0,
    "code": "InvalidParameter",
    "http_code": 400,
    "message": "JSON parse error: Cannot deserialize value of type `ImageStorage` from String \\"xxx\\"
}

狀態代碼說明

HTTP 狀態代碼	錯誤碼	描述
200	-	請求成功，包括任務失敗情境，實際任務狀態需從result.status中判斷。
404	BadRequest.TaskNotExist	任務不存在。
400	InvalidParameter	不合法請求。
500	InternalServerError	內部錯誤。

更多狀態代碼說明，請參見狀態代碼說明。