介绍 Hologres AI 节点内置模型的部署方式、使用说明及内置模型列表;调用内置模型须先购买 AI 资源,部署后可通过 AI Function 调用。
前提条件
调用 AI 节点的内置模型必须使用 AI 资源(GPU),因此需先购买 AI 资源。详情请参见AI节点介绍与价格。
模型部署
部署说明
您可根据业务应用场景选择合适的模型进行部署,每个模型须分配规定的最小 AI 资源方可部署。
允许一个实例部署多个模型,但总资源不能超过所购买的 AI 总资源;若 AI 资源不足,请扩容。
主从实例:仅支持在主实例部署模型及进行模型相关操作(更改资源、删除模型等);从实例可查看主实例部署的模型,也可使用 AI Function 调用模型。
模型部署
登录Hologres管理控制台,在左上方选择地域。
在左侧导航栏单击实例列表,然后单击目标实例ID。
在实例详情页面,单击AI节点。
在模型列表区域,单击部署模型。
在部署模型对话框,填写模型名称并选择模型类型。资源配置的相关参数会根据已选择模型类型进行填写,每个模型的资源有建议最小值,可根据所选模型分配合理资源以发挥最佳效果。
配置完成后,单击确认,进行模型部署。
您可以在模型列表查看模型部署状态并进行以下操作:
调整模型配置:单击目标模型操作列中的调整配置。
删除模型:单击目标模型操作列中的删除。
说明删除模型时不会校验正在调用的服务,请谨慎操作。
模型使用
模型部署成功后,可使用 Hologres 的 AI Function 进行调用。详情请参见AI Function。
模型列表
Hologres 内置一系列模型供 AI 场景使用。您可根据业务场景部署相关模型,部署完成后可用AI Function调用。Hologres 内置模型如下。
模型分类 | 模型名 | 单副本推荐部署的最小CPU规格(Core) | 单副本推荐部署的最小内存规格(GB) | 单副本推荐部署的最小卡数(张) | 单副本推荐部署的最小GPU显存(GB) | 支持的实例版本 | 备注 |
PDF转换模型 | 20 | 100 | 单卡/多卡 | 48 GB | Hologres V4.0 及以上版本 | ||
文本切分 | recursive-character-text-splitter | 15 | 30 | 0 | 0 | Hologres V3.2 及以上版本 | 根据实际业务量选择 CPU 规格,可以不需要设置 GPU 卡数 |
多模态模型 | 7 | 24 | 单卡/多卡 | 24 GB | Hologres V4.0 及以上版本 | ||
多模态模型 | 7 | 30 | 单卡/多卡 | 48 GB | Hologres V4.0 及以上版本 | ||
多模态模型 | 7 | 30 | 单卡/多卡 | 96 GB | Hologres V4.0 及以上版本 | ||
文本模型 | 7 | 24 | 单卡 | 24 GB | Hologres V4.0 及以上版本 | 图像分块 patch size:32×32;参数量:88M;返回向量维度:512 | |
文本生成 | 7 | 30 | 单卡/多卡 | 8 GB | Hologres V3.2 及以上版本 | ||
文本生成 | 7 | 30 | 单卡/多卡 | 16 GB | Hologres V3.2 及以上版本 | ||
文本生成 | 7 | 30 | 单卡/多卡 | 32 GB | Hologres V3.2 及以上版本 | ||
文本生成 | 7 | 30 | 单卡/多卡 | 48 GB | Hologres V3.2 及以上版本 | ||
文本生成 | 7 | 30 | 单卡/多卡 | 96 GB | Hologres V3.2 及以上版本 | ||
情感分类 | 7 | 30 | 单卡 | 4 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 单卡 | 12 GB | Hologres V3.2 及以上版本 | 输出向量维度:768 | |
向量嵌入 | 7 | 30 | 单卡 | 16 GB | Hologres V3.2 及以上版本 | 输出向量维度:1024 | |
向量嵌入 | 7 | 30 | 单卡 | 8 GB | Hologres V3.2 及以上版本 | 输出向量维度:512 | |
向量嵌入 | 7 | 30 | 单卡 | 8 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 单卡 | 32 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 单卡 | 48 GB | Hologres V3.2 及以上版本 | ||
向量嵌入 | 7 | 30 | 单卡 | 12 GB | Hologres V3.2 及以上版本 | 输出向量维度:768 | |
向量嵌入 | 7 | 30 | 单卡 | 12 GB | Hologres V3.2 及以上版本 | 输出向量维度:768 | |
向量嵌入 | 7 | 30 | 单卡 | 16 GB | Hologres V3.2 及以上版本 | 输出向量维度:1024 | |
向量嵌入 | 7 | 30 | 单卡 | 16 GB | Hologres V3.2 及以上版本 | 输出向量维度:1024 | |
向量嵌入 | 7 | 30 | 单卡 | 8 GB | Hologres V3.2 及以上版本 | 输出向量维度:384 | |
向量嵌入 | 7 | 30 | 单卡 | 8 GB | Hologres V3.2 及以上版本 | 输出向量维度:512 | |
文本模型 | 7 | 24 | 单卡 | 24 GB | Hologres V4.0 及以上版本 | 图像分块 patch size:32×32;参数量:88M;返回向量维度:512 | |
文本模型 | 7 | 24 | 单卡 | 24 GB | Hologres V4.0 及以上版本 | 图像分块 patch size:14×14;参数量:304M;返回向量维度:768 | |
向量嵌入 | 7 | 24 | 单卡 | 24 GB | Hologres V4.0 及以上版本 | 图像分块 patch size:16×16;参数量:88M;返回向量维度:512 |