最近更新时间:2026-11-11 20:12:57
Milvus 3.0 是Milvus的新一代主版本,定位“湖原生向量搜索+分析型检索引擎”。相比Milvus 2.x,最大的变化有两点:向量数据可以不搬家,直接在对象存储或数据湖上检索,无需重复导入;同时检索引擎从只做相似度召回拓展到拥有“找相似+排序+聚合+去重”的一站式分析的能力。
金山云向量数据库 Milvus 3.0 已正式 GA,支持新建实例使用。您可在金山云上直接使用 Milvus 3.0 的湖原生与分析型检索能力,无需等待后续版本。
Milvus 3.0 主要在成本和开发效率两个方向有提升,适合已在使用向量检索或正准备大规模落地 AI 应用的客户。
1. 降本:数据不搬家,存储不重复
传统方式下,向量数据存在数据湖,检索前要 ETL 导入向量库再建索引,同一批数据存两份、同步链路要维护。3.0的湖原生能力(External Collections)让数据湖里的向量直接可检索,省掉重复存储和导入链路。配合分层存储与量化,大规模向量场景的存储成本可进一步降低。
2. 提效:分析型检索,应用层少写代码
以前向量检索返回的结果,业务排序(按评分、时间等)、分类统计(按品牌、标签等)、内容去重都要在应用层二次处理,数据回传、再排、再过滤,代码比较复杂。3.0把排序、聚合、分面、去重做进服务端,检索结果出来就是业务要的形态,应用层更简单、响应更快。同时支持 ColBERT等后期交互模型,长文档和多模态检索精度更高。
适用客户:
大规模向量场景、对存储成本敏感的客户
需要向量检索 + 业务排序/聚合/去重一站式处理的客户
长文档、多模态、对检索精度要求高的客户
External Collections 是 Milvus 3.0 引入的湖原生检索能力,允许用户将外部数据湖中的文件或表映射为 Milvus Collection,并直接在其上建立索引和执行搜索。
传统使用方式通常需要:
数据湖 → ETL 数据导入 → Milvus 存储 → 构建索引 → 搜索;
采用 External Collections 后,流程可以简化为:
数据湖 → External Collection 元数据映射 → 构建索引 → 搜索;
源数据仍保留在原有存储中,Milvus 负责元数据映射、索引构建及检索服务。
支持的数据格式
数据格式 | 支持说明 |
Apache Parquet | 直接引用对象存储中的 Parquet 文件 |
Apache Iceberg | 基于表元数据和 Snapshot 访问湖仓数据 |
Lance | 支持以向量数据为中心的数据集 |
Vortex | 支持列式存储及随机访问能力 |
解决什么问题
传统架构中,同一批向量数据可能同时存在于数据湖和向量数据库,带来:
多份数据的存储开销。
数据导入与同步链路维护成本。
源数据更新后的索引同步问题。
不同系统之间的数据治理复杂度。
External Collections 使数据湖中的向量数据可以直接参与在线检索,帮助客户减少重复的数据管理流程。
如何使用
准备外部数据文件或数据湖表。
配置数据源 URI、格式及访问权限。
创建 External Collection Schema,并映射外部字段。
创建向量索引及必要的标量索引。
执行 Refresh,同步外部数据元信息。
加载 Collection,通过标准 Milvus SDK 执行搜索与查询。
使用限制
External Collection 面向只读外部数据,不支持直接修改源数据。
源数据发生变化后,需要执行 Refresh。
Refresh 是异步过程;元数据刷新完成不等于全部索引已经构建完成。
依赖 Storage V3,需要确认实例已启用。
Iceberg 暂不支持 Equality Deletes,需按要求转换为 Position Deletes。
外部存储的访问权限、网络延迟和读取成本会影响整体表现。
3.0之前向量检索返回的结果,业务排序、分类统计、去重都要在应用层二次处理,代码复杂、数据回传慢。3.0把这些做进服务端,检索结果出来就是业务要的形态,应用层更简单、响应更快。
服务端 ORDER BY
Milvus 3.0 支持在服务端按标量字段排序,可结合过滤与检索结果进行排序处理。
典型场景:
电商搜索:按评分从高到低、价格从低到高排列。
内容搜索:按发布时间、热度或优先级排序。
企业知识库:按文档更新时间或业务权重展示结果。
聚合与分面搜索
Milvus 3.0 支持服务端聚合能力,包括:COUNT、SUM、AVG、MIN、MAX 和 GROUP BY。同时支持 Faceted Search(分面搜索),可以对向量检索结果按照类别、品牌、标签等字段统计与分组。
典型场景:
用户搜索“适合户外使用的运动手表”,系统在返回相似商品时,还可以展示品牌分类、价格分类及各类别的结果数量。
StructArray(支持 ColBERT)
Milvus 3.0 通过 StructArray支持一个实体关联多个结构化元素及向量,更好地适配长文档、多图片和多模态数据。在 ColBERT等后期交互模型场景中,可利用多个 Token 向量计算文档相关性(MAX_SIM 检索),并提供 Muvera、Lemur、DiskANN等加速或索引选择,平衡召回质量、索引开销与查询性能。
典型场景:
例如一篇文章由 20 个段落组成:
传统方式:将 20 个段落分别存储为 20 条数据。
StructArray:可将多个段落及其向量保存在同一实体下。
稀疏索引重做
Milvus 3.0 对 Sparse Vector Index 进行了重构,引入:
SINDI。
Block-Max WAND。
Block-Max MaxScore。
倒排列表压缩。
稀疏权重量化与 SIMD 优化。
这些能力面向 BM25 和 SPLADE 等稀疏检索负载,优化索引空间、数据读取和计算效率。
核心价值: 降低大规模关键词检索与稀疏向量检索的资源开销,提高混合搜索的性能潜力。
Loon(Storage v3)
Loon 是 Milvus 3.0 引入的新一代存储基础架构,采用 Manifest管理数据布局,通过列组(ColumnGroup)组织数据,支持版本化数据管理以及针对不同访问模式的存储布局优化。在传统对象存储文件格式中,一次只读取少量字段或记录的请求可能触发较大的物理数据读取量;Loon 可结合 Vortex等格式减少不必要的数据读取,改善特定点查询场景下的 I/O 放大问题。
主要优势:
降低适用场景下的对象存储读取量。
为在线 Schema 演进提供存储基础。
支撑 External Collections、Snapshot 和 TEXT 等功能。
增强大规模列式数据的组织与管理能力。
可空向量
Milvus 3.0 支持向量字段设置为 NULL。
典型场景:多模态融合或异步 embedding 场景下,部分数据暂缺向量也能入库,无需为缺失模态单独建表或填充占位向量。
TEXT LOB
Milvus 3.0 引入 TEXT 数据类型,可在向量数据旁存储较长的文本内容。
典型场景:RAG 场景下,原文片段直接随向量存入 TEXT字段,检索命中后一次拿到原文,无需再去外部存储回查,减少一次查询和一个外部数据源的维护。
TTL 数据生命周期(实体级增强)
Milvus 3.0 支持按实体设置过期时间,用户可通过 TIMESTAMPTZ字段定义实体到期时间,系统负责过期数据的可见性控制及后续物理清理。
典型场景:日志、会话、临时向量等过期数据自动清理,不用手动删。
MinHash 近似去重
Milvus 3.0 增强了基于 MinHash 的文档去重能力,用户可通过服务端 MinHash Function 自动生成文档指纹,并结合MINHASH_LSH 索引快速检索可能重复的内容。
典型场景:文档库去重、爬虫数据去重、知识库避免重复入库。
在线 Schema 变更
Milvus 3.0 增强在线数据结构变更能力,支持按适用条件新增字段、删除字段以及为已有数据进行回填。
典型场景:业务演进加字段不用停服重建 Collection,数据不迁移。
Woodpecker WAL / ForceMerge
Milvus 3.0 支持将 Woodpecker作为独立服务部署,使日志服务在扩缩容、故障隔离和监控方面具备更强的灵活性;支持显式触发 Segment 合并,减少小 Segment过多带来的碎片化问题。
典型场景: 业务量波动大、需频繁扩缩容的实例:WAL 独立后扩缩容不被日志拖累;持续写入产生大量小 Segment 的场景:低峰期手动 ForceMerge 整理碎片,提升查询性能。
当前 3.0 仅支持新建实例
创建入口:请参考创建实例文档完成实例创建,在版本选择处选择 Milvus 3.0。
⚠️ 升级说明:2.6 → 3.0 暂不支持在线升级。在线升级功能规划中,敬请关注产品公告。
纯净模式
