EMR Serverless StarRocks 打通非结构化、结构化、半结构化多模数据的处理与分析链路。无论数据存放在 OSS、DLF Paimon 表还是 StarRocks 存算分离内表,都可通过统一 SQL 组合结构化分析、全文检索、向量检索与 AI Function,服务智能驾驶、具身智能、内容与商品理解、企业知识库与 RAG 等场景。
AI 模型与 AI Function
EMR Serverless StarRocks 将模型能力封装为 SQL Function,您可以在查询、筛选、聚合和写入 SQL 中直接调用模型,完成数据理解、推理与向量化,无需部署独立 AI 服务或导出数据。执行侧提供模型路由、微批与并发、QPS 限流、Token 统计与错误治理,为生产模型调用提供统一治理入口。
AI Function 覆盖以下能力:
多模数据向量化:
ai_embed、ai_embed_multimodal。多模态理解与生成:
ai_complete。文本情感分析、过滤、脱敏、翻译、总结:
ai_sentiment、ai_classify、ai_extract、ai_filter、ai_redact、ai_similarity、ai_translate、ai_fix_grammar、ai_summarize。跨行汇总:
ai_agg、ai_agg_summary,可按业务分组完成自然语言归纳。
ai_complete 支持文本、图片、视频、音频与多内容组合输入;ai_embed_multimodal 支持 URL、图片二进制及多内容输入,把多模态内容映射到统一向量空间。AI Function 既可作用于存算分离内表,也可直接处理 Paimon 表中的 VARCHAR、VARBINARY/BLOB descriptor 或对象 URL,一条 SQL 即完成“理解—抽取—向量化—落表”闭环,处理结果与原始业务字段共享同一表语义。
完整函数列表与用法参见 AI Function。
非结构化数据(Object Table)
AI 场景中,文本、图像、语音、视频等非结构化数据承载了更复杂的语义。EMR Serverless StarRocks 自 V3.5.16-2.2.2 起支持以表的形式访问 OSS 中的非结构化数据及元信息。
配合 AI Function,可对非结构化数据自动 embedding、切片,并以结构化形式存储在实例内部,支持向量检索、全文检索等推理场景。可检索的数据范围由此从结构化、半结构化拓展到非结构化,覆盖更多业务场景。
多模态检索
多模态检索同时覆盖存算分离内表与 Paimon 湖表两条数据链路。两者面向不同的数据组织方式,共享统一 SQL 入口,混合检索直接编排进业务数据流,不必把结果拉到应用层再拼接。
存算分离内表
存算分离内表面向在线分析与多模态检索一体化。支持在共享存储上构建、持久化、读取与回收向量索引,覆盖 HNSW/IVF 系列索引和余弦相似度、内积、L2 距离,可结合全文/倒排索引与 SQL 谓词,完成结构化条件、关键词召回与语义相似度的联合检索。
向量索引文件随 Lake Tablet 元数据统一管理,支持异步构建与 Vacuum 跟踪;索引缺失时回退到暴力距离计算,兼顾性能与可用性。查询侧提供参数化向量输入与 Profile 指标,便于在线应用接入与持续调优。
Paimon 湖表
Paimon 湖表面向多模态数据湖提供原生检索与读写闭环。Paimon Global Index 将湖表多路索引统一到分布式执行框架中:
向量检索:支持 ANN Top-N(覆盖余弦、内积、L2)。其中 Paimon 表基于 Lumina 向量索引(兼容标识 Lumina-Vector-ANN),Lance 表基于 Lance 原生 Vector Index。
全文检索:支持 Tantivy 全文索引与
score()Top-N。结构化过滤:可用 BTree、Bitmap 索引作为前置条件。
缓存与指标:Global Index 接入 DataCache,提供元数据缓存、行标量缓存与 Profile 指标。
同时可读取 Paimon BLOB/BLOB descriptor,把图片、音频、视频、文档及其元数据、文本描述与向量组织在同一湖表中。Paimon-cpp Native Reader 作为读取兜底路径,Native Writer 支持写入、固定 Bucket 路由与提交错误传播,形成处理结果回写湖表的闭环。数据留在开放湖格式与低成本存储中,检索与处理由 StarRocks 完成,无需拆分为多套系统。
EMR AI 助手
EMR Serverless StarRocks 内置 EMR AI 助手,作为智能运维与数据分析入口,让您用自然语言完成原本需要专家经验和手工操作的工作。
EMR AI 助手覆盖以下场景:
智能问数:直连 StarRocks 读数,将自然语言问题转换为可执行 SQL,返回结果与可视化。
慢 SQL 与资源诊断:实时定位高消耗查询,给出优化建议,支持人工确认后干预。
健康巡检:多维度定期体检实例,输出评分与高优问题清单。
产品咨询:随问随答,覆盖 StarRocks 建表设计、参数配置与最佳实践。
EMR AI 助手支持控制台对话、API 调用,也可嵌入企业自有 Web 与 IM 渠道,配合按量计费与分层套餐(基础/标准/专业),覆盖单实例日常运维到批量纳管、定时巡检与团队协作等场景。
功能与接入方式参见 EMR AI助手功能介绍。
典型场景
智能驾驶:按车型、天气、时段等结构化条件筛选,组合场景描述全文召回与图片/视频向量相似度,定位长尾场景;再由 AI Function 完成场景分类、标签抽取与描述生成,用于训练数据圈选与质量治理。
具身智能:统一组织任务指令、环境视觉、动作序列与运行指标,检索相似轨迹并结合结构化指标定位失败原因,支撑训练集构建、评测与在线决策。
内容、电商与广告:支持文搜图、图搜图、图搜文、视频搜文等跨模态检索,组合类目、时间、品牌、审核状态等条件,用于商品理解、素材推荐、版权审核与内容运营。
企业知识库与 RAG:对文档、图片、音视频与业务数据完成抽取、摘要与向量化,通过全文、向量与权限/业务条件联合检索,为 RAG 与 Agent 提供更完整的上下文。
总结
EMR Serverless StarRocks 把数据处理、模型调用、多模态检索与分析消费连接成闭环。您无需引入独立的检索系统,即可在现有湖仓数据上直接使用 EMR AI 助手、AI Function 与多模态检索能力。
Paimon 湖表适合开放、低成本的多模态数据湖;存算分离内表适合在线分析与检索。两条路径共享统一 SQL、Serverless 计算与可观测体系。