Milvus

Milvus là một cơ sở dữ liệu vector mã nguồn mở hàng đầu, được thiết kế đặc biệt để cung cấp năng lượng cho các ứng dụng AI và GenAI ở quy mô lớn. Nó vượt trội trong việc lưu trữ, lập chỉ mục và tìm kiếm các bộ sưu tập khổng lồ các vector nhúng, là các biểu diễn số của dữ liệu phi cấu trúc như văn bản, hình ảnh và âm thanh. Bằng cách tìm ra các vector tương tự nhất với một truy vấn nhất định, Milvus tạo thành xương sống cho các ứng dụng đòi hỏi sự hiểu biết về ngữ nghĩa, chẳng hạn như các công cụ tìm kiếm nâng cao, hệ thống đề xuất và các quy trình Sinh Tăng cường Truy xuất (RAG). Nó được các nhà phát triển và doanh nghiệp tin tưởng vì hiệu suất cao, độ tin cậy và khả năng mở rộng.

Cách sử dụng Milvus

Bắt đầu với Milvus được thiết kế đơn giản cho các nhà phát triển, có thể mở rộng từ một máy cục bộ đến một cụm sản xuất hoàn chỉnh.

1. Cài đặt & Thiết lập: Bạn có thể bắt đầu cục bộ với Milvus Lite, được cài đặt dễ dàng thông qua trình quản lý gói của Python: pip install pymilvus. Đối với môi trường sản xuất, Milvus có thể được triển khai bằng Docker, Docker Compose hoặc trên Kubernetes cho các thiết lập phân tán.
2. Kết nối với Milvus: Khởi tạo một client để kết nối với phiên bản Milvus của bạn. Đối với phát triển cục bộ, có thể đơn giản là client = MilvusClient("milvus_demo.db"). Đối với các triển khai máy chủ, bạn sẽ cung cấp URI và mã thông báo truy cập.
3. Tạo một Bộ sưu tập: Một bộ sưu tập tương tự như một bảng trong cơ sở dữ liệu truyền thống. Bạn phải xác định một bộ sưu tập với tên và số chiều của các vector của bạn. Bạn cũng có thể tạo một lược đồ chi tiết hơn chỉ định các khóa chính, các trường vector và các trường vô hướng khác nhau cho siêu dữ liệu.
4. Chuẩn bị và Chèn Dữ liệu: Chuyển đổi dữ liệu phi cấu trúc của bạn (văn bản, hình ảnh, v.v.) thành các vector nhúng bằng cách sử dụng một mô hình đã được huấn luyện trước (ví dụ: từ Hugging Face). Sau đó, chèn dữ liệu này, bao gồm các vector và bất kỳ siêu dữ liệu liên quan nào, vào bộ sưu tập của bạn. Dữ liệu thường được định dạng dưới dạng danh sách các từ điển.
5. Tìm kiếm và Truy vấn: Thực hiện các tìm kiếm tương tự nhanh như chớp bằng cách cung cấp một hoặc nhiều vector truy vấn. Bạn có thể tinh chỉnh các tìm kiếm bằng cách áp dụng các bộ lọc siêu dữ liệu mạnh mẽ, ví dụ: filter="subject == 'biology'". Milvus cũng hỗ trợ truy xuất hoặc xóa các thực thể bằng khóa chính hoặc biểu thức lọc của chúng.
6. Mở rộng liền mạch: Mã client bạn viết cho phát triển cục bộ có thể được tái sử dụng để kết nối với một cụm Milvus cấp sản xuất, đảm bảo quá trình chuyển đổi suôn sẻ từ tạo mẫu sang triển khai quy mô lớn.

Tính năng chính của Milvus

• Tìm kiếm cực nhanh: Sử dụng các thuật toán lập chỉ mục tiên tiến như HNSW, IVF_FLAT và IVF_RABITQ, cùng với tăng tốc GPU, để cung cấp các phản hồi tìm kiếm ở cấp độ mili giây trên các tập dữ liệu quy mô hàng tỷ.
• Tùy chọn triển khai linh hoạt: Cung cấp nhiều mô hình triển khai để phù hợp với mọi nhu cầu: Milvus Lite cho phát triển cục bộ nhẹ, Milvus Standalone cho sản xuất máy chủ đơn, Milvus Distributed cho các cụm doanh nghiệp quy mô lớn, và Zilliz Cloud cho trải nghiệm được quản lý hoàn toàn, không cần máy chủ.
• Khả năng tìm kiếm nâng cao: Hỗ trợ tìm kiếm kết hợp (kết hợp tương tự vector với lọc từ khóa/vô hướng), tìm kiếm đa vector và hỗ trợ vector thưa để xử lý các truy vấn phức tạp và tinh vi một cách hiệu quả.
• Dữ liệu phong phú và Lọc: Quản lý cả các vector nhúng và một loạt các loại dữ liệu vô hướng (chuỗi, số nguyên, boolean). Công cụ lọc mạnh mẽ của nó cho phép truy xuất dữ liệu chính xác dựa trên các thuộc tính siêu dữ liệu trước hoặc trong khi tìm kiếm.
• Khả năng mở rộng & Độ tin cậy cao: Được xây dựng trên kiến trúc phân tán, gốc đám mây, tách biệt lưu trữ và tính toán, cho phép mở rộng tài nguyên linh hoạt để đáp ứng nhu cầu biến động và đảm bảo tính sẵn sàng cao.
• SDK thống nhất đa ngôn ngữ: Cung cấp trải nghiệm nhất quán và thân thiện với nhà phát triển với các SDK toàn diện cho các ngôn ngữ phổ biến bao gồm Python, Java, Go, C# và Node.js.

Các trường hợp sử dụng Milvus

Milvus là cơ sở hạ tầng nền tảng cho một loạt các ứng dụng được hỗ trợ bởi AI:

• Sinh Tăng cường Truy xuất (RAG): Hoạt động như một cơ sở kiến thức bên ngoài cho các Mô hình Ngôn ngữ Lớn (LLM), truy xuất ngữ cảnh phù hợp, thực tế để giảm ảo giác và cung cấp câu trả lời cập nhật, chính xác.
• Tìm kiếm Ngữ nghĩa & Trả lời Câu hỏi: Cung cấp năng lượng cho các hệ thống tìm kiếm hiểu được ý nghĩa và mục đích đằng sau các truy vấn của người dùng, vượt ra ngoài việc khớp từ khóa đơn giản để cung cấp kết quả phù hợp hơn.
• Tìm kiếm Hình ảnh và Video: Cho phép các ứng dụng tìm thấy nội dung tương tự về mặt hình ảnh, điều này rất quan trọng đối với việc khám phá sản phẩm thương mại điện tử, quản lý tài sản kỹ thuật số và giám sát an ninh.
• Công cụ Đề xuất: Đề xuất sản phẩm, bài viết, âm nhạc hoặc nội dung khác bằng cách khớp hồ sơ người dùng và đặc điểm của mặt hàng trong một không gian vector đa chiều.
• Ứng dụng Đa phương thức: Tạo điều kiện thuận lợi cho việc tìm kiếm trên các phương thức dữ liệu khác nhau, chẳng hạn như sử dụng mô tả văn bản để tìm một hình ảnh cụ thể hoặc một đoạn âm thanh.

Ưu điểm của Milvus

• Mã nguồn mở & Do cộng đồng định hướng: Là một dự án đã tốt nghiệp của LF AI & Data Foundation, Milvus được hưởng lợi từ một cộng đồng lớn và tích cực của những người đóng góp, đảm bảo sự cải tiến liên tục, tài liệu phong phú và vô số tài nguyên được chia sẻ.
• Sẵn sàng cho sản xuất ở quy mô lớn: Đã được chứng minh trong sản xuất bởi nhiều công ty hàng đầu cho các ứng dụng quan trọng, thể hiện sự ổn định, độ tin cậy và hiệu suất dưới áp lực.
• Hiệu quả về chi phí: Là một công cụ mã nguồn mở, Milvus loại bỏ phí cấp phép. Kiến trúc hiệu quả, gốc đám mây của nó giúp quản lý chi phí vận hành bằng cách tối ưu hóa việc sử dụng tài nguyên.
• Hệ sinh thái tích hợp phong phú: Tích hợp liền mạch với các khung và công cụ AI/ML chính như LangChain, LlamaIndex, PyTorch và TensorFlow, hợp lý hóa quy trình phát triển từ đầu đến cuối.

Giá cả và gói dịch vụ

Milvus là một dự án mã nguồn mở và hoàn toàn miễn phí để tải xuống, sử dụng và sửa đổi. Bạn chỉ chịu trách nhiệm về chi phí của cơ sở hạ tầng mà bạn chạy nó trên đó. Đối với những người dùng thích một giải pháp được quản lý, không rắc rối, Zilliz, công ty ban đầu tạo ra Milvus, cung cấp Zilliz Cloud. Zilliz Cloud là một dịch vụ cơ sở dữ liệu vector được quản lý hoàn toàn dựa trên Milvus hoạt động theo mô hình freemium. Nó bao gồm một gói "Starter" miễn phí mãi mãi cho việc phát triển và các dự án nhỏ, cũng như các gói trả phí "Serverless" và "Dedicated" cho các khối lượng công việc sản xuất cung cấp hiệu suất nâng cao, tự động mở rộng và hỗ trợ cấp doanh nghiệp.