Sanctum

Sanctum là một ứng dụng máy tính để bàn được thiết kế cho những người dùng ưu tiên quyền riêng tư và kiểm soát dữ liệu trong thời đại trí tuệ nhân tạo. Nó hoạt động như một cổng vào riêng tư, cục bộ đến thế giới của các Mô hình Ngôn ngữ Lớn (LLM) mã nguồn mở. Không giống như các dịch vụ AI dựa trên đám mây xử lý dữ liệu của bạn trên các máy chủ từ xa, Sanctum chạy hoàn toàn trên thiết bị của riêng bạn (Windows hoặc Mac, sắp có hỗ trợ Linux). Cách tiếp cận ưu tiên cục bộ này đảm bảo rằng tất cả các cuộc trò chuyện, tài liệu và dữ liệu của bạn đều được mã hóa và được giữ an toàn trong 'Sanctum' cá nhân của bạn, không bao giờ bị chia sẻ hoặc tiết lộ ra internet trừ khi bạn chọn.

Sứ mệnh cốt lõi của Sanctum là trao quyền cho các cá nhân và nhà phát triển khai thác tiềm năng của AI mà không ảnh hưởng đến bảo mật. Nó đơn giản hóa quá trình thường phức tạp của việc thiết lập và chạy các mô hình mã nguồn mở mạnh mẽ từ các trung tâm như Hugging Face. Với giao diện trực quan, người dùng có thể dễ dàng tải xuống, quản lý và tương tác với một thư viện khổng lồ các mô hình GGUF, bao gồm các mô hình phổ biến như Llama 3, Mistral và Phi-3, trực tiếp trong ứng dụng.

Cách sử dụng Sanctum

Bắt đầu với Sanctum được thiết kế để đơn giản và thân thiện với người dùng:

1. Tải xuống và Cài đặt: Truy cập trang web chính thức của Sanctum và tải xuống ứng dụng cho hệ điều hành của bạn (Windows 10+ hoặc macOS cho Intel/Apple Silicon).
2. Khám phá và Tải xuống Mô hình: Sau khi cài đặt, hãy duyệt qua thư viện Hugging Face tích hợp. Sanctum giúp bạn kiểm tra xem phần cứng hệ thống của bạn có tương thích với một mô hình cụ thể hay không. Chọn một mô hình và tải xuống trực tiếp về thiết bị của bạn.
3. Bắt đầu Trò chuyện: Sau khi tải xuống mô hình, bạn có thể bắt đầu trò chuyện ngay lập tức. Vì quá trình xử lý diễn ra cục bộ, không cần kết nối internet sau khi tải xuống mô hình ban đầu.
4. Trò chuyện với Tệp (RAG): Kéo và thả các tệp cục bộ của bạn (PDF, DOCX, tệp mã, v.v.) vào cuộc trò chuyện. Sau đó, bạn có thể đặt câu hỏi, tóm tắt nội dung và trích xuất thông tin từ tài liệu của mình trong một môi trường hoàn toàn riêng tư.
5. Chuyển mã Âm thanh: Sử dụng tính năng chuyển đổi âm thanh thành văn bản bằng cách tải xuống mô hình Whisper. Tải lên một tệp âm thanh (như bản ghi cuộc họp hoặc ghi nhớ giọng nói) để nhận bản ghi cục bộ, riêng tư.
6. Dành cho Nhà phát triển (API Cục bộ): Kích hoạt máy chủ API cục bộ để tương tác với LLM đang chạy theo chương trình từ các ứng dụng hoặc dự án phát triển khác của bạn, tất cả đều trên mạng cục bộ của bạn.

Tính năng chính của Sanctum

• Xử lý AI Cục bộ: Chạy các LLM mã nguồn mở đầy đủ tính năng trên thiết bị của bạn, đảm bảo quyền riêng tư 100% và khả năng hoạt động ngoại tuyến.
• Tích hợp Hugging Face: Truy cập trực tiếp, kiểm tra khả năng tương thích và tải xuống hàng nghìn mô hình GGUF từ Hugging Face.
• Trò chuyện Tài liệu Riêng tư (RAG): Trò chuyện, tóm tắt và đặt câu hỏi một cách an toàn về các tài liệu cục bộ của bạn, bao gồm PDF, DOCX, PPTX và các tệp mã khác nhau.
• Chuyển mã Âm thanh Cục bộ: Chuyển mã các tệp âm thanh một cách riêng tư trên thiết bị của bạn bằng các mô hình Whisper, với các tính năng như phát lại đồng bộ thời gian thực.
• Sanctum Vault: Một cơ sở dữ liệu cục bộ được mã hóa để lưu trữ an toàn toàn bộ lịch sử trò chuyện của bạn. Nó được bảo vệ bằng mật khẩu và cụm từ khôi phục 24 từ.
• Máy chủ API Cục bộ: Được cung cấp bởi llama.cpp, cho phép các nhà phát triển chạy một máy chủ cục bộ với bất kỳ mô hình GGUF nào, có thể tùy chỉnh cổng và thông số.
• Tùy chỉnh Mô hình Nâng cao: Tinh chỉnh hiệu suất LLM với các mẫu lời nhắc tùy chỉnh, cài đặt tối ưu hóa phần cứng và các thông số suy luận.
• Hỗ trợ Đa nền tảng: Có sẵn cho Windows và macOS (cả Intel và Apple Silicon), với phiên bản Linux đang được phát triển.

Các trường hợp sử dụng Sanctum

Sanctum lý tưởng cho bất kỳ tác vụ nào liên quan đến thông tin nhạy cảm:

• Phân tích Dữ liệu Mật: Phân tích dữ liệu tài chính cá nhân, hồ sơ sức khỏe cá nhân hoặc tài liệu kinh doanh độc quyền mà không có nguy cơ rò rỉ dữ liệu.
• Tạo Nội dung An toàn: Soạn thảo email nhạy cảm, viết báo cáo hoặc lên ý tưởng chiến lược trong một môi trường an toàn.
• Phát triển Mã Riêng tư: Hợp tác viết mã, gỡ lỗi và nhận hỗ trợ lập trình mà không để lộ mã nguồn của bạn cho các dịch vụ của bên thứ ba.
• Nghiên cứu và Học tập: Tương tác với các bài báo nghiên cứu, sách giáo khoa và ghi chú ở định dạng PDF để tóm tắt các điểm chính và hiểu sâu hơn.
• Phân tích Cuộc họp và Cuộc gọi: Chuyển mã và xem lại ghi chú cuộc gọi hoặc bản ghi cuộc họp một cách riêng tư để trích xuất các mục hành động và thông tin chi tiết.

Ưu điểm của Sanctum

Ưu điểm chính của Sanctum là cam kết không lay chuyển đối với quyền riêng tư.

• Quyền riêng tư Vô song: Với quá trình xử lý và mã hóa trên thiết bị, dữ liệu của bạn không bao giờ rời khỏi máy tính của bạn.
• Kiểm soát Dữ liệu Toàn diện: Bạn sở hữu dữ liệu và các cuộc trò chuyện của mình, được lưu trữ an toàn trong Sanctum Vault cục bộ.
• Chức năng Ngoại tuyến: Làm việc với trợ lý AI của bạn ở bất cứ đâu, bất cứ lúc nào mà không cần kết nối internet.
• Hiệu quả về Chi phí: Tránh các khoản phí đăng ký định kỳ cho các dịch vụ AI dựa trên đám mây bằng cách tận dụng phần cứng của riêng bạn.
• Tiếp cận Sáng tạo Mã nguồn mở: Luôn đi đầu trong lĩnh vực AI bằng cách dễ dàng chạy các mô hình mã nguồn mở mới nhất và tốt nhất.
• Thân thiện với Người dùng: Nó loại bỏ các rào cản kỹ thuật để chạy các LLM cục bộ, giúp chúng có thể tiếp cận được với nhiều đối tượng hơn.

Giá cả và gói dịch vụ

Sanctum hoạt động theo mô hình freemium, cung cấp cả gói miễn phí và trả phí để đáp ứng các nhu cầu khác nhau của người dùng.

• Gói Cơ bản (Miễn phí): Gói này bao gồm tất cả các tính năng cần thiết để trò chuyện riêng tư với các LLM chạy cục bộ. Nó hoàn hảo cho những người dùng mới bắt đầu với AI riêng tư.
• Sanctum Pro (Trả phí): Gói đăng ký này mở khóa các tính năng nâng cao cho người dùng thành thạo, chẳng hạn như trò chuyện PDF an toàn và riêng tư, khả năng tìm kiếm nâng cao trong lịch sử trò chuyện được mã hóa của bạn (Sanctum Vault) và quyền truy cập sớm độc quyền vào các tính năng và bản cập nhật mô hình mới. Chi tiết về giá cụ thể có sẵn trên trang web chính thức hoặc trong ứng dụng.