介紹 Hologres AI 節點內建模型的部署方式、使用說明及內建模型列表；調用內建模型須先購買 AI 資源，部署後可通過 AI Function 調用。
前提條件
調用 AI 節點的內建模型必須使用 AI 資源（GPU），因此需先購買 AI 資源。詳情請參見AI資源定價與購買。
模型部署
部署說明
-
您可根據業務應用情境選擇合適的模型進行部署，每個模型須分配規定的最小 AI 資源方可部署。
-
允許一個執行個體部署多個模型，但總資源不能超過所購買的 AI 總資源；若 AI 資源不足，請擴容。
-
主從執行個體：僅支援在主執行個體部署模型及進行模型相關操作（更改資源、刪除模型等）；從執行個體可查看主執行個體部署的模型，也可使用 AI Function 調用模型。
模型部署
-
登入Hologres管理主控台，在左上方選擇地區。
-
在左側導覽列單擊實例清單，然後單擊目標執行個體ID。
-
在執行個體詳情頁面，單擊AI節點。
-
在模型列表地區，單擊部署模型。
-
在部署模型對話方塊，填寫模型名稱並選擇模型類型。資源配置的相關參數會根據已選擇模型類型進行填寫，每個模型的資源有建議最小值，可根據所選模型分配合理資源以發揮最佳效果。
-
配置完成後，單擊確認，進行模型部署。
您可以在模型列表查看模型部署狀態並進行以下操作：
-
調整模型配置：單擊目標模型操作列中的調整配置。
-
刪除模型：單擊目標模型操作列中的刪除。
說明刪除模型時不會校正正在調用的服務，請謹慎操作。
-
模型使用
模型部署成功後，可使用 Hologres 的 AI Function 進行調用。詳情請參見AI Function。
模型列表
Hologres 內建一系列模型供 AI 情境使用。您可根據業務情境部署相關模型，部署完成後可用AI Function調用。Hologres 內建模型如下。
|
模型分類 |
模型名 |
單副本推薦部署的最小CPU規格（Core） |
單副本推薦部署的最小記憶體規格（GB） |
單副本推薦部署的最小卡數（張） |
單副本推薦部署的最小GPU顯存（GB） |
支援的執行個體版本 |
備忘 |
|
PDF轉換模型 |
20 |
100 |
單卡/多卡 |
48 GB |
Hologres V4.0 及以上版本 |
||
|
文本切分 |
recursive-character-text-splitter |
15 |
30 |
0 |
0 |
Hologres V3.2 及以上版本 |
根據實際業務量選擇 CPU 規格，可以不需要設定 GPU 卡數 |
|
多模態模型 |
7 |
24 |
單卡/多卡 |
24 GB |
Hologres V4.0 及以上版本 |
||
|
多模態模型 |
7 |
30 |
單卡/多卡 |
48 GB |
Hologres V4.0 及以上版本 |
||
|
多模態模型 |
7 |
30 |
單卡/多卡 |
96 GB |
Hologres V4.0 及以上版本 |
||
|
文本模型 |
7 |
24 |
單卡 |
24 GB |
Hologres V4.0 及以上版本 |
映像分塊 patch size：32×32；參數量：88M；返迴向量維度：512 |
|
|
文本產生 |
7 |
30 |
單卡/多卡 |
8 GB |
Hologres V3.2 及以上版本 |
||
|
文本產生 |
7 |
30 |
單卡/多卡 |
16 GB |
Hologres V3.2 及以上版本 |
||
|
文本產生 |
7 |
30 |
單卡/多卡 |
32 GB |
Hologres V3.2 及以上版本 |
||
|
文本產生 |
7 |
30 |
單卡/多卡 |
48 GB |
Hologres V3.2 及以上版本 |
||
|
文本產生 |
7 |
30 |
單卡/多卡 |
96 GB |
Hologres V3.2 及以上版本 |
||
|
情感分類 |
7 |
30 |
單卡 |
4 GB |
Hologres V3.2 及以上版本 |
||
|
向量嵌入 |
7 |
30 |
單卡 |
12 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：768 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
16 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：1024 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
8 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：512 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
8 GB |
Hologres V3.2 及以上版本 |
||
|
向量嵌入 |
7 |
30 |
單卡 |
32 GB |
Hologres V3.2 及以上版本 |
||
|
向量嵌入 |
7 |
30 |
單卡 |
48 GB |
Hologres V3.2 及以上版本 |
||
|
向量嵌入 |
7 |
30 |
單卡 |
12 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：768 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
12 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：768 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
16 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：1024 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
16 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：1024 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
8 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：384 |
|
|
向量嵌入 |
7 |
30 |
單卡 |
8 GB |
Hologres V3.2 及以上版本 |
輸出向量維度：512 |
|
|
文本模型 |
7 |
24 |
單卡 |
24 GB |
Hologres V4.0 及以上版本 |
映像分塊 patch size：32×32；參數量：88M；返迴向量維度：512 |
|
|
文本模型 |
7 |
24 |
單卡 |
24 GB |
Hologres V4.0 及以上版本 |
映像分塊 patch size：14×14；參數量：304M；返迴向量維度：768 |
|
|
向量嵌入 |
7 |
24 |
單卡 |
24 GB |
Hologres V4.0 及以上版本 |
映像分塊 patch size：16×16；參數量：88M；返迴向量維度：512 |