Milvus

Milvus 是一款领先的开源向量数据库，专为大规模支持 AI 和 GenAI 应用而设计。它擅长存储、索引和搜索海量嵌入向量集合，这些向量是非结构化数据（如文本、图像和音频）的数字表示。通过为给定查询找到最相似的向量，Milvus 构成了需要语义理解的应用的支柱，例如高级搜索引擎、推荐系统和检索增强生成 (RAG) 管道。它因其高性能、可靠性和可扩展性而受到开发人员和企业的信赖。

如何使用 Milvus

Milvus 的入门过程对开发人员来说非常简单，可以从本地机器扩展到完整的生产集群。

1. 安装与设置： 您可以从本地的 Milvus Lite 开始，通过 Python 的包管理器轻松安装：pip install pymilvus。对于生产环境，可以使用 Docker、Docker Compose 或在 Kubernetes 上部署 Milvus 以进行分布式设置。
2. 连接到 Milvus： 实例化一个客户端以连接到您的 Milvus 实例。对于本地开发，可以简单地使用 client = MilvusClient("milvus_demo.db")。对于服务器部署，您需要提供 URI 和访问令牌。
3. 创建集合： 集合类似于传统数据库中的表。您必须定义一个包含名称和向量维度的集合。您还可以创建一个更详细的模式，指定主键、向量字段和各种用于元数据的标量字段。
4. 准备和插入数据： 使用预训练模型（例如，来自 Hugging Face 的模型）将您的非结构化数据（文本、图像等）转换为向量嵌入。然后，将此数据（包括向量和任何关联的元数据）插入到您的集合中。数据通常格式化为字典列表。
5. 搜索和查询： 通过提供一个或多个查询向量来执行闪电般的相似性搜索。您可以通过应用强大的元数据过滤器来优化搜索，例如 filter="subject == 'biology'"。Milvus 还支持通过主键或过滤表达式检索或删除实体。
6. 无缝扩展： 您为本地开发编写的客户端代码可以重用于连接到生产级的 Milvus 集群，确保从原型设计到大规模部署的平稳过渡。

Milvus 的核心功能

• 极速搜索： 利用 HNSW、IVF_FLAT 和 IVF_RABITQ 等最先进的索引算法，以及 GPU 加速，在十亿级数据集上实现毫秒级的搜索响应。
• 灵活的部署选项： 提供多种部署模式以适应任何需求：Milvus Lite 用于轻量级本地开发，Milvus Standalone 用于单服务器生产，Milvus Distributed 用于大规模企业集群，以及 Zilliz Cloud 提供完全托管的无服务器体验。
• 高级搜索功能： 支持混合搜索（结合向量相似性与关键字/标量过滤）、多向量搜索和稀疏向量支持，以有效处理复杂和细微的查询。
• 丰富的数据和过滤： 同时管理向量嵌入和广泛的标量数据类型（字符串、整数、布尔值）。其强大的过滤引擎允许在搜索之前或期间根据元数据属性进行精确的数据检索。
• 高可扩展性与可靠性： 基于云原生的分布式架构，将存储和计算分离，允许弹性扩展资源以满足波动的需求并确保高可用性。
• 统一的多语言 SDK： 为 Python、Java、Go、C# 和 Node.js 等流行语言提供全面且对开发人员友好的 SDK，带来一致的开发体验。

Milvus 的使用案例

Milvus 是各种 AI 驱动应用的基础设施：

• 检索增强生成 (RAG)： 作为大型语言模型 (LLM) 的外部知识库，检索相关的、事实性的上下文，以减少幻觉并提供最新的、准确的答案。
• 语义搜索与问答： 驱动能够理解用户查询背后含义和意图的搜索引擎，超越简单的关键字匹配，提供更相关的结果。
• 图像和视频搜索： 使应用程序能够找到视觉上相似的内容，这对于电子商务产品发现、数字资产管理和安全监控至关重要。
• 推荐引擎： 通过在高维向量空间中匹配用户画像和物品特征，推荐产品、文章、音乐或其他内容。
• 多模态应用： 促进跨不同数据模态的搜索，例如使用文本描述查找特定图像或音频剪辑。

Milvus 的优势特点

• 开源与社区驱动： 作为 LF AI & Data 基金会的毕业项目，Milvus 受益于一个庞大而活跃的贡献者社区，确保了持续的改进、广泛的文档和丰富的共享资源。
• 生产级规模验证： 已被众多领先公司用于任务关键型应用，在生产环境中证明了其在压力下的稳定性、可靠性和性能。
• 成本效益高： 作为开源工具，Milvus 免除了许可费用。其高效的云原生架构通过优化资源利用来帮助管理运营成本。
• 丰富的生态系统集成： 与 LangChain、LlamaIndex、PyTorch 和 TensorFlow 等主流 AI/ML 框架和工具无缝集成，简化了端到端的开发工作流程。

定价和计划

Milvus 是一个开源项目，完全可以免费下载、使用和修改。您只需负责运行它的基础设施成本。对于希望获得托管的、无忧解决方案的用户，Milvus 的创始公司 Zilliz 提供了 Zilliz Cloud。Zilliz Cloud 是一个基于 Milvus 的完全托管的向量数据库服务，采用免费增值模式。它包括一个永久免费的“入门”套餐，适用于开发和小型项目，以及付费的“无服务器”和“专用”计划，为生产工作负载提供增强的性能、自动扩展和企业级支持。