Milvus

Milvus 是一款領先的開源向量資料庫，專為大規模支援 AI 和 GenAI 應用程式而設計。它擅長儲存、索引和搜尋海量嵌入向量集合，這些向量是非結構化資料（如文字、圖像和音訊）的數位表示。透過為給定查詢找到最相似的向量，Milvus 構成了需要語義理解的應用的支柱，例如進階搜尋引擎、推薦系統和檢索增強生成 (RAG) 管道。它因其高效能、可靠性和可擴展性而受到開發人員和企業的信賴。

如何使用 Milvus

Milvus 的入門過程對開發人員來說非常簡單，可以從本機擴展到完整的生產叢集。

1. 安裝與設定： 您可以從本機的 Milvus Lite 開始，透過 Python 的套件管理器輕鬆安裝：pip install pymilvus。對於生產環境，可以使用 Docker、Docker Compose 或在 Kubernetes 上部署 Milvus 以進行分散式設定。
2. 連接到 Milvus： 實例化一個客戶端以連接到您的 Milvus 實例。對於本機開發，可以簡單地使用 client = MilvusClient("milvus_demo.db")。對於伺服器部署，您需要提供 URI 和存取權杖。
3. 建立集合： 集合類似於傳統資料庫中的資料表。您必須定義一個包含名稱和向量維度的集合。您還可以建立一個更詳細的結構，指定主鍵、向量欄位和各種用於元資料的純量欄位。
4. 準備和插入資料： 使用預訓練模型（例如，來自 Hugging Face 的模型）將您的非結構化資料（文字、圖像等）轉換為向量嵌入。然後，將此資料（包括向量和任何關聯的元資料）插入到您的集合中。資料通常格式化為字典列表。
5. 搜尋和查詢： 透過提供一個或多個查詢向量來執行閃電般的相似性搜尋。您可以透過應用強大的元資料過濾器來優化搜尋，例如 filter="subject == 'biology'"。Milvus 還支援透過主鍵或過濾表達式檢索或刪除實體。
6. 無縫擴展： 您為本機開發編寫的客戶端程式碼可以重用於連接到生產級的 Milvus 叢集，確保從原型設計到大規模部署的平穩過渡。

Milvus 的核心功能

• 極速搜尋： 利用 HNSW、IVF_FLAT 和 IVF_RABITQ 等最先進的索引演算法，以及 GPU 加速，在十億級資料集上實現毫秒級的搜尋回應。
• 靈活的部署選項： 提供多種部署模式以適應任何需求：Milvus Lite 用於輕量級本機開發，Milvus Standalone 用於單一伺服器生產，Milvus Distributed 用於大規模企業叢集，以及 Zilliz Cloud 提供完全託管的無伺服器體驗。
• 進階搜尋功能： 支援混合搜尋（結合向量相似性與關鍵字/純量過濾）、多向量搜尋和稀疏向量支援，以有效處理複雜和細微的查詢。
• 豐富的資料和過濾： 同時管理向量嵌入和廣泛的純量資料類型（字串、整數、布林值）。其強大的過濾引擎允許在搜尋之前或期間根據元資料屬性進行精確的資料檢索。
• 高可擴展性與可靠性： 基於雲端原生的分散式架構，將儲存和運算分離，允許彈性擴展資源以滿足變動的需求並確保高可用性。
• 統一的多語言 SDK： 為 Python、Java、Go、C# 和 Node.js 等流行語言提供全面且對開發人員友善的 SDK，帶來一致的開發體驗。

Milvus 的使用案例

Milvus 是各種 AI 驅動應用的基礎設施：

• 檢索增強生成 (RAG)： 作為大型語言模型 (LLM) 的外部知識庫，檢索相關的、事實性的上下文，以減少幻覺並提供最新的、準確的答案。
• 語義搜尋與問答： 驅動能夠理解使用者查詢背後含義和意圖的搜尋引擎，超越簡單的關鍵字比對，提供更相關的結果。
• 圖像和影片搜尋： 使應用程式能夠找到視覺上相似的內容，這對於電子商務產品發現、數位資產管理和安全監控至關重要。
• 推薦引擎： 透過在高維度向量空間中比對使用者輪廓和物品特徵，推薦產品、文章、音樂或其他內容。
• 多模態應用： 促進跨不同資料模態的搜尋，例如使用文字描述查找特定圖像或音訊片段。

Milvus 的優勢特點

• 開源與社群驅動： 作為 LF AI & Data 基金會的畢業專案，Milvus 受益於一個龐大而活躍的貢獻者社群，確保了持續的改進、廣泛的文件和豐富的共享資源。
• 生產級規模驗證： 已被眾多領先公司用於關鍵任務應用，在生產環境中證明了其在壓力下的穩定性、可靠性和效能。
• 成本效益高： 作為開源工具，Milvus 免除了授權費用。其高效的雲端原生架構透過優化資源利用來幫助管理營運成本。
• 豐富的生態系統整合： 與 LangChain、LlamaIndex、PyTorch 和 TensorFlow 等主流 AI/ML 框架和工具無縫整合，簡化了端到端的開發工作流程。

定價和計劃

Milvus 是一個開源專案，完全可以免費下載、使用和修改。您只需負責執行它的基礎設施成本。對於希望獲得託管的、無憂解決方案的使用者，Milvus 的創始公司 Zilliz 提供了 Zilliz Cloud。Zilliz Cloud 是一個基於 Milvus 的完全託管的向量資料庫服務，採用免費增值模式。它包括一個永久免費的「入門」方案，適用於開發和小型專案，以及付費的「無伺服器」和「專用」方案，為生產工作負載提供增強的效能、自動擴展和企業級支援。