Weaviate

Weaviate là một cơ sở dữ liệu vector hiệu suất cao, mã nguồn mở, gốc AI, giúp các nhà phát triển xây dựng thế hệ ứng dụng thông minh tiếp theo. Nó được thiết kế đặc biệt để lưu trữ, lập chỉ mục và tìm kiếm các đối tượng dữ liệu và các nhúng vector tương ứng của chúng, cho phép tìm kiếm dựa trên ý nghĩa ngữ nghĩa và ngữ cảnh thay vì chỉ dựa trên từ khóa. Điều này làm cho nó trở thành một thành phần cơ bản cho các ứng dụng liên quan đến tìm kiếm ngữ nghĩa, hệ thống đề xuất, bot trả lời câu hỏi và Sinh Tăng cường Truy xuất (RAG).

Cách sử dụng Weaviate

Bắt đầu với Weaviate bao gồm một vài bước chính, giúp các nhà phát triển với các cấp độ chuyên môn AI khác nhau có thể tiếp cận:

1. Triển khai: Chọn phương thức triển khai ưa thích của bạn. Bạn có thể sử dụng Dịch vụ Đám mây Weaviate (WCS) được quản lý hoàn toàn để có trải nghiệm không máy chủ, triển khai nó bằng Docker hoặc Kubernetes để tự lưu trữ, hoặc chạy nó cục bộ để phát triển.
2. Xác định Lược đồ (Schema): Trước khi nhập dữ liệu, bạn xác định một lược đồ mô tả các lớp dữ liệu của mình (ví dụ: 'Article', 'Product') và các thuộc tính của chúng (ví dụ: 'title', 'content'). Trong lược đồ, bạn chỉ định thuộc tính nào sẽ được vector hóa và mô-đun vector hóa nào sẽ được sử dụng (ví dụ: OpenAI, Cohere, Hugging Face).
3. Nhập Dữ liệu: Thêm các đối tượng dữ liệu của bạn vào Weaviate. Nếu bạn đã cấu hình một mô-đun vector hóa, Weaviate sẽ tự động xử lý các trường văn bản được chỉ định và tạo ra các nhúng vector cho chúng, lưu trữ chúng cùng với dữ liệu gốc.
4. Thực hiện Truy vấn: Sử dụng các khả năng truy vấn mạnh mẽ của Weaviate thông qua các thư viện máy khách (Python, TypeScript, Go, Java) hoặc các API GraphQL và RESTful của nó. Bạn có thể thực hiện tìm kiếm vector (tìm các đối tượng tương tự với một văn bản hoặc vector cho trước), tìm kiếm từ khóa, hoặc tìm kiếm kết hợp mạnh mẽ kết hợp cả hai phương pháp để có độ liên quan tối ưu.

Tính năng chính của Weaviate

• Tìm kiếm Kết hợp (Hybrid Search): Kết hợp tìm kiếm từ khóa thưa thớt truyền thống (BM25) với tìm kiếm vector dày đặc hiện đại (ANN) để cung cấp các kết quả có độ liên quan cao, hiểu được cả truy vấn từ vựng và ngữ nghĩa.
• Tìm kiếm Sinh (Generative Search - RAG): Hỗ trợ tự nhiên Sinh Tăng cường Truy xuất. Nó truy xuất hiệu quả ngữ cảnh phù hợp nhất từ dữ liệu của bạn để cung cấp cho các Mô hình Ngôn ngữ Lớn (LLM), giảm thiểu ảo giác và cung cấp câu trả lời thực tế, cập nhật.
• Khả năng mở rộng và Hiệu suất: Được thiết kế để xử lý hàng tỷ đối tượng dữ liệu với các truy vấn có độ trễ thấp. Nó hỗ trợ mở rộng theo chiều ngang thông qua phân mảnh và đảm bảo tính sẵn sàng cao với sao chép.
• Hệ sinh thái Mô-đun: Một kiến trúc linh hoạt, có thể cắm thêm cho phép bạn tích hợp các mô hình vector hóa, LLM và các công cụ yêu thích khác trực tiếp vào cơ sở dữ liệu, đơn giản hóa quy trình MLOps của bạn.
• Lọc Nâng cao: Áp dụng các bộ lọc phức tạp, có cấu trúc trên các thuộc tính của đối tượng trong quá trình tìm kiếm vector. Điều này cho phép bạn thực hiện tìm kiếm ngữ nghĩa trong các danh mục, phạm vi ngày hoặc thẻ do người dùng xác định.
• Mã nguồn mở: Weaviate là một dự án mã nguồn mở với một cộng đồng sôi động, đảm bảo tính minh bạch, cải tiến liên tục và không bị khóa nhà cung cấp.

Các trường hợp sử dụng Weaviate

Weaviate rất linh hoạt và có thể được sử dụng để cung cấp năng lượng cho một loạt các tính năng do AI điều khiển:

• Tìm kiếm Ngữ nghĩa: Tạo các công cụ tìm kiếm hiểu được ý định và ngữ cảnh đằng sau truy vấn của người dùng, vượt ra ngoài việc khớp từ khóa đơn giản cho tài liệu, sản phẩm hoặc hình ảnh.
• Hệ thống Hỏi-Đáp và Chatbot: Xây dựng các chatbot thông minh và hệ thống trả lời câu hỏi bằng RAG. Weaviate cung cấp cơ sở kiến thức thực tế, cho phép các LLM tạo ra các câu trả lời chính xác và nhận biết ngữ cảnh.
• Công cụ Đề xuất: Đề xuất các sản phẩm, bài viết hoặc nội dung có liên quan cho người dùng bằng cách tìm các mục có nhúng vector tương tự.
• Tìm kiếm Đa phương thức: Lưu trữ và tìm kiếm trên các loại dữ liệu khác nhau, bao gồm văn bản, hình ảnh, v.v., cho phép các truy vấn như "tìm hình ảnh tương tự với mô tả văn bản này."

Ưu điểm của Weaviate

Weaviate nổi bật như một giải pháp thân thiện với nhà phát triển và sẵn sàng cho doanh nghiệp. Các ưu điểm chính của nó bao gồm thiết kế gốc AI, giúp đơn giản hóa việc xây dựng các tính năng AI phức tạp. Khả năng tìm kiếm kết hợp mạnh mẽ đảm bảo độ liên quan tiên tiến. Bản chất mã nguồn mở của nó thúc đẩy sự hợp tác của cộng đồng và cung cấp sự linh hoạt, trong khi Dịch vụ Đám mây Weaviate được quản lý cung cấp một cơ sở hạ tầng có thể mở rộng và không rắc rối, cho phép các nhóm tập trung vào việc xây dựng ứng dụng thay vì quản lý cơ sở dữ liệu.

Giá cả và gói dịch vụ

Weaviate cung cấp một cấu trúc giá linh hoạt để phù hợp với các nhu cầu khác nhau:

• Mã nguồn mở: Hoàn toàn miễn phí để tải xuống, sử dụng và tự lưu trữ. Lý tưởng cho việc phát triển cục bộ, nghiên cứu và các dự án mà bạn tự quản lý cơ sở hạ tầng của mình.
• Dịch vụ Đám mây Weaviate (WCS) - Không máy chủ: Một tùy chọn được quản lý hoàn toàn, trả theo mức sử dụng. Nó bao gồm một gói miễn phí hào phóng (sandbox) hoàn hảo cho việc tạo mẫu và các ứng dụng quy mô nhỏ. Khi bạn phát triển, bạn chỉ trả tiền cho các tài nguyên bạn sử dụng (ví dụ: lưu trữ, tính toán).
• Dịch vụ Đám mây Weaviate (WCS) - Cụm chuyên dụng: Một giải pháp cấp doanh nghiệp cung cấp cơ sở hạ tầng chuyên dụng để có hiệu suất, bảo mật và cách ly tối đa. Gói này phù hợp cho các khối lượng công việc sản xuất quy mô lớn và đi kèm với hỗ trợ doanh nghiệp và các tính năng như mạng riêng. Giá cả dựa trên cấu hình của cụm.