本文介绍如何在 Hologres 中支持的模型和如何部署大模型。
模型介绍
模型概念
Hologres 支持在实例内直接部署大模型(模型来源包括百炼、Hologres 内置模型等),通过 AI Function 即可调用,再结合 Dynamic Table,实现多模数据的端到端读取、加工、检索与分析,数据不出库,助力企业完成 Data+AI 一站式开发。
功能优势
一站式数据与 AI:模型与 Hologres 实例绑定,直接在数仓里完成文本分片、向量化、检索与分析,无需额外搭建独立推理服务或 ETL Pipeline,大幅降低系统复杂度和运维成本。
原生 SQL 开发体验:所有模型能力均通过 AI Function 暴露,开发者可以像写普通 SQL 一样调用模型,与现有 BI 报表、数据开发流程无缝衔接,数据团队即可直接使用,无需额外 AI 工程能力。
多模一体与性能可控:生成的向量写入向量列,文本写入结构化/全文索引列,既能做向量检索,又能做 OLAP 与全文搜索;同时提供多种来源的模型(如 Hologres 内置、百炼模型等),根据业务需求灵活选择,平衡性能与成本。
模型来源
Hologres 当前支持的模型来源如下:
模型来源 | 部署位置 | 计费模式 | 适用场景 | 运维管理 | 支持的实例版本 |
阿里云百炼模型 | 百炼模型,在 Hologres 中通过 api_key 部署 | 网络费:由 Hologres 收取,详见百炼模型·费用说明。 模型调用费:由百炼收取,按模型调用量计费,详见百炼模型(Beta)。 | 多模型探索、快速接入、弹性按量使用;百炼有限流机制,不适用于超大规模调用 | 由百炼负责模型维护与升级 | Hologres V4.0 及以上版本 |
Hologres AI 节点 | Hologres 内置模型,部署在 Hologres AI 节点(GPU) | 仅收取 Hologres AI 节点(GPU)费用,不单独收取模型调用费,详见AI资源定价与购买。 | 独享 GPU 资源,适用于核心业务、高 QPS、低延迟、数据不出域、安全合规场景 | 由 Hologres AI 节点托管,实例内统一管理 | Hologres V4.1 及以上版本 |
模型部署与使用
模型部署参见模型部署。
使用模型
当模型部署状态为部署成功时,可连接 Hologres 实例,并使用 AI Function 调用已部署的模型。详情请参见AI Function、最佳实践:自动驾驶图像高性能分析系统。