介紹 Hologres AI 節點內建模型的部署方式、使用說明及內建模型列表;調用內建模型須先購買 AI 資源,部署後可通過 AI Function 調用。
前提條件
調用 AI 節點的內建模型必須使用 AI 資源(GPU),因此需先購買 AI 資源。詳情請參見AI節點介紹與價格。
模型部署
部署說明
您可根據業務應用情境選擇合適的模型進行部署,每個模型須分配規定的最小 AI 資源方可部署。
允許一個執行個體部署多個模型,但總資源不能超過所購買的 AI 總資源;若 AI 資源不足,請擴容。
主從執行個體:僅支援在主執行個體部署模型及進行模型相關操作(更改資源、刪除模型等);從執行個體可查看主執行個體部署的模型,也可使用 AI Function 調用模型。
模型部署
登入Hologres管理主控台,在左上方選擇地區。
在左側導覽列單擊實例清單,然後單擊目標執行個體ID。
在執行個體詳情頁面,單擊AI節點。
在模型列表地區,單擊部署模型。
在部署模型對話方塊,填寫模型名稱並選擇模型類型。資源配置的相關參數會根據已選擇模型類型進行填寫,每個模型的資源有建議最小值,可根據所選模型分配合理資源以發揮最佳效果。
配置完成後,單擊確認,進行模型部署。
您可以在模型列表查看模型部署狀態並進行以下操作:
調整模型配置:單擊目標模型操作列中的調整配置。
刪除模型:單擊目標模型操作列中的刪除。
說明刪除模型時不會校正正在調用的服務,請謹慎操作。
模型使用
模型部署成功後,可使用 Hologres 的 AI Function 進行調用。詳情請參見AI Function。
模型列表
Hologres 內建一系列模型供 AI 情境使用。您可根據業務情境部署相關模型,部署完成後可用AI Function調用。Hologres 內建模型如下。
模型分類 | 模型名 | 單副本推薦部署的最小CPU規格(Core) | 單副本推薦部署的最小記憶體規格(GB) | 單副本推薦部署的最小卡數(張) | 單副本推薦部署的最小GPU顯存(GB) | 支援的執行個體版本 | 備忘 |
PDF轉換模型 | 20 | 100 | 單卡/多卡 | 48 GB | Hologres V4.0 及以上版本 | ||
文本切分 | recursive-character-text-splitter | 15 | 30 | 0 | 0 | Hologres V3.2 及以上版本 | 根據實際業務量選擇 CPU 規格,可以不需要設定 GPU 卡數 |
多模態模型 | 7 | 24 | 單卡/多卡 | 24 GB | Hologres V4.0 及以上版本 | ||
多模態模型 | 7 | 30 | 單卡/多卡 | 48 GB | Hologres V4.0 及以上版本 | ||
多模態模型 | 7 | 30 | 單卡/多卡 | 96 GB | Hologres V4.0 及以上版本 | ||
文本模型 | 7 | 24 | 單卡 | 24 GB | Hologres V4.0 及以上版本 | 映像分塊 patch size:32×32;參數量:88M;返迴向量維度:512 | |
文本產生 | 7 | 30 | 單卡/多卡 | 8 GB | Hologres V3.2 及以上版本 | ||
文本產生 | 7 | 30 | 單卡/多卡 | 16 GB | Hologres V3.2 及以上版本 | ||
文本產生 | 7 | 30 | 單卡/多卡 | 32 GB | Hologres V3.2 及以上版本 | ||
文本產生 | 7 | 30 | 單卡/多卡 | 48 GB | Hologres V3.2 及以上版本 | ||
文本產生 | 7 | 30 | 單卡/多卡 | 96 GB | Hologres V3.2 及以上版本 | ||
情感分類 | 7 | 30 | 單卡 | 4 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 單卡 | 12 GB | Hologres V3.2 及以上版本 | 輸出向量維度:768 | |
向量嵌入 | 7 | 30 | 單卡 | 16 GB | Hologres V3.2 及以上版本 | 輸出向量維度:1024 | |
向量嵌入 | 7 | 30 | 單卡 | 8 GB | Hologres V3.2 及以上版本 | 輸出向量維度:512 | |
向量嵌入 | 7 | 30 | 單卡 | 8 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 單卡 | 32 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 單卡 | 48 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 單卡 | 12 GB | Hologres V3.2 及以上版本 | 輸出向量維度:768 | |
向量嵌入 | 7 | 30 | 單卡 | 12 GB | Hologres V3.2 及以上版本 | 輸出向量維度:768 | |
向量嵌入 | 7 | 30 | 單卡 | 16 GB | Hologres V3.2 及以上版本 | 輸出向量維度:1024 | |
向量嵌入 | 7 | 30 | 單卡 | 16 GB | Hologres V3.2 及以上版本 | 輸出向量維度:1024 | |
向量嵌入 | 7 | 30 | 單卡 | 8 GB | Hologres V3.2 及以上版本 | 輸出向量維度:384 | |
向量嵌入 | 7 | 30 | 單卡 | 8 GB | Hologres V3.2 及以上版本 | 輸出向量維度:512 | |
文本模型 | 7 | 24 | 單卡 | 24 GB | Hologres V4.0 及以上版本 | 映像分塊 patch size:32×32;參數量:88M;返迴向量維度:512 | |
文本模型 | 7 | 24 | 單卡 | 24 GB | Hologres V4.0 及以上版本 | 映像分塊 patch size:14×14;參數量:304M;返迴向量維度:768 | |
向量嵌入 | 7 | 24 | 單卡 | 24 GB | Hologres V4.0 及以上版本 | 映像分塊 patch size:16×16;參數量:88M;返迴向量維度:512 |