全部產品
Search

搜尋本產品

    Hologres：AI模型與部署

    文件中心

    Hologres：AI模型與部署

    更新時間：Sep 30, 2025

    Hologres提供了多種內建AI模型，支援各類AI情境應用。使用者可根據實際業務需求，通過Hologres控制台部署相應的模型。本文介紹了這些AI模型及其部署方式。

    模型列表

    僅Hologres V3.2及以上版本支援以下Hologres內建模型。

    模型名

    模型分類

    單副本推薦部署的最小CPU規格（Core）

    單副本推薦部署的最小記憶體規格（GB）

    單副本推薦部署的最小卡數（張）

    單副本推薦部署的最小GPU顯存（GB）

    支援的執行個體版本

    備忘

    ds4sd/docling-models

    PDF轉換模型

    20

    100

    單卡/多卡

    48

    V4.0及以上版本

    無

    Qwen/Qwen2.5-VL-3B-Instruct

    多模態模型

    7

    24

    單卡/多卡

    24

    V4.0及以上版本

    無

    Qwen/Qwen2.5-VL-7B-Instruct

    多模態模型

    7

    30

    單卡/多卡

    48

    V4.0及以上版本

    無

    Qwen/Qwen2.5-VL-32B-Instruct

    多模態模型

    7

    30

    單卡/多卡

    96

    V4.0及以上版本

    無

    clip-ViT-B-32

    映像向量

    7

    24

    單卡

    24

    V4.0及以上版本

    • 映像分塊Patch Size：32 * 32

    • 參數量：88 M

    • 返迴向量維度：512

    clip-ViT-B-32-multilingual-v1

    文本模型

    7

    24

    單卡

    24

    V4.0及以上版本

    • 映像分塊Patch Size：32 * 32

    • 參數量：88 M

    • 返迴向量維度：512

    clip-ViT-B-16

    映像向量

    7

    24

    單卡

    24

    V4.0及以上版本

    • 映像分塊Patch Size：16 * 16

    • 參數量：88M

    • 返迴向量維度：512

    clip-ViT-L-14

    映像向量

    7

    24

    單卡

    24

    V4.0及以上版本

    • 映像分塊Patch Size：14 * 14

    • 參數量：304 M

    • 返迴向量維度：768

    Qwen/Qwen3-1.7B

    大語言模型

    7

    30

    單卡/多卡

    8

    V3.2及以上版本

    無

    Qwen/Qwen3-4B

    大語言模型

    7

    30

    單卡/多卡

    16

    V3.2及以上版本

    無

    Qwen/Qwen3-8B

    大語言模型

    7

    30

    單卡/多卡

    32

    V3.2及以上版本

    無

    Qwen/Qwen3-14B

    大語言模型

    7

    30

    單卡/多卡

    48

    V3.2及以上版本

    無

    Qwen/Qwen3-32B

    大語言模型

    7

    30

    單卡/多卡

    96

    V3.2及以上版本

    無

    iic/nlp_structbert_sentiment-classification_chinese-base

    情感分類

    7

    30

    單卡

    4

    V3.2及以上版本

    無

    iic/nlp_gte_sentence-embedding_chinese-base

    文本向量

    7

    30

    單卡

    12

    V3.2及以上版本

    輸出向量維度：768

    iic/nlp_gte_sentence-embedding_chinese-large

    文本向量

    7

    30

    單卡

    16

    V3.2及以上版本

    輸出向量維度：1024

    iic/nlp_gte_sentence-embedding_chinese-small

    文本向量

    7

    30

    單卡

    8

    V3.2及以上版本

    輸出向量維度：512

    Qwen/Qwen3-Embedding-0.6B

    文本向量

    7

    30

    單卡

    8

    V3.2及以上版本

    無

    Qwen/Qwen3-Embedding-4B

    文本向量

    7

    30

    單卡

    32

    V3.2及以上版本

    無

    Qwen/Qwen3-Embedding-8B

    文本向量

    7

    30

    單卡

    48

    V3.2及以上版本

    無

    recursive-character-text-splitter

    文本切分

    15

    30

    0

    0

    V3.2及以上版本

    根據實際業務量選擇 cpu 規格，可以不需要設定GPU卡數

    BAAI/bge-base-en-v1.5

    長文本向量

    7

    30

    單卡

    12

    V3.2及以上版本

    輸出向量維度：768

    BAAI/bge-base-zh-v1.5

    長文本向量

    7

    30

    單卡

    12

    V3.2及以上版本

    輸出向量維度：768

    BAAI/bge-large-en-v1.5

    長文本向量

    7

    30

    單卡

    16

    V3.2及以上版本

    輸出向量維度：1024

    BAAI/bge-large-zh-v1.5

    長文本向量

    7

    30

    單卡

    16

    V3.2及以上版本

    輸出向量維度：1024

    BAAI/bge-small-en-v1.5

    長文本向量

    7

    30

    單卡

    8

    V3.2及以上版本

    輸出向量維度：384

    BAAI/bge-small-zh-v1.5

    長文本向量

    7

    30

    單卡

    8

    V3.2及以上版本

    輸出向量維度：512

    前提條件

    已購買AI資源。

    部署說明

    • 您可以根據上述的模型列表選擇合適的模型進行部署，每個模型必須分配規定的最小的AI資源才能進行部署。

    • 允許一個執行個體部署多個模型，但是總資源不能超過所購買的AI總資源，如果AI資源不足，請擴容。

    • 對於主從執行個體：僅支援主執行個體部署模型，以及模型的相關操作（更改資源、刪除模型等），從執行個體可以查看主執行個體部署的模型，也可以使用AI Function調用模型。

    模型部署

    1. 登入Hologres管理主控台，在左上方選擇地區。

    2. 在左側導覽列單擊執行個體列表，然後單擊目標執行個體ID。

    3. 在執行個體詳情頁面，單擊AI節點。

    4. 在模型列表地區，單擊部署模型。

    5. 在部署模型對話方塊，填寫模型名稱並選擇模型類型。

      資源配置的相關參數會根據已選擇模型類型進行填寫。

    6. 配置完成後，單擊確認，進行模型部署。

      您可以在模型列表查看模型部署狀態並進行以下操作：

      • 調整模型配置：單擊目標模型操作列中的調整配置。

      • 刪除模型：單擊目標模型操作列中的刪除。

        說明

        刪除模型時不會校正正在調用的服務，請謹慎操作。

    下一步

    模型部署完成後，您可通過AI Function進行調用，詳情請參見AI Function。