Best LLM cục bộ AI tools

PersonaXYZ là một công cụ trò chuyện AI riêng tư, chạy trên thiết bị, cho phép người dùng tạo và tương tác với các nhân vật AI tùy chỉnh. Nó nhấn mạnh quyền riêng tư bằng cách chạy hoàn toàn trong trình duyệt của bạn mà không có máy chủ đám mây hoặc chia sẻ dữ liệu. Người dùng có thể xác định tính cách, giọng nói và cài đặt bộ nhớ độc đáo cho bạn đồng hành AI của mình, mang đến trải nghiệm trò chuyện thực sự cá nhân và an toàn.

Vectra là một SDK mã nguồn mở, cấp độ sản xuất cho Node.js và Python, được thiết kế để xây dựng, quản lý và truy vấn các đường ống tạo sinh tăng cường truy xuất (RAG) nâng cao. Nó cung cấp một bộ công cụ toàn diện để phát triển các ứng dụng AI nhận biết ngữ cảnh, được tối ưu hóa cho độ trễ thấp, độ chính xác cao và khả năng mở rộng.

Apprendre là một công cụ học tiếng Pháp được hỗ trợ bởi AI dành cho macOS. Nó hoạt động hoàn toàn trên thiết bị, đảm bảo quyền riêng tư 100% mà không cần đăng ký. Nó cung cấp các công cụ phân tích câu, phát âm, quản lý từ vựng và kế hoạch bài học do AI tạo ra, tất cả thông qua mô hình "Trả tiền tùy tâm" một lần.

Offeline là một ứng dụng trò chuyện AI mạnh mẽ, ưu tiên quyền riêng tư, chạy các Mô hình Ngôn ngữ Lớn (LLM) mã nguồn mở cục bộ trên phần cứng của bạn. Nó hỗ trợ cả trình duyệt và ứng dụng máy tính để bàn gốc, đảm bảo dữ liệu của bạn không bao giờ rời khỏi máy của bạn. Tận hưởng các khả năng ngoại tuyến, tích hợp tìm kiếm web, phân tích tài liệu và hỗ trợ giọng nói.

Sidian là một trình soạn thảo mã nguồn được hỗ trợ bởi AI dành cho các nhà phát triển hiện đại. Nó có một công cụ ngữ cảnh tinh vi giúp nhanh chóng hiểu các cơ sở mã phức tạp, tích hợp với các nhà cung cấp AI lớn như OpenAI và Google, và hỗ trợ các mô hình cục bộ để tăng cường quyền riêng tư và linh hoạt.

Privacy AI là một ứng dụng gốc cho iPhone, iPad và Mac cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) mã nguồn mở mạnh mẽ hoàn toàn ngoại tuyến. Nó đảm bảo quyền riêng tư tuyệt đối bằng cách xử lý tất cả dữ liệu trên thiết bị của bạn, không thu thập dữ liệu và không cần kết nối internet. Truy cập các mô hình như LLaMA, Mistral và Phi3 một cách an toàn, với các tùy chọn tùy chỉnh nâng cao để có trải nghiệm AI phù hợp.

Ollama là một framework mã nguồn mở mạnh mẽ để chạy các mô hình ngôn ngữ lớn (LLM) như Llama 3, Mistral và Gemma cục bộ trên phần cứng của riêng bạn. Có sẵn cho macOS, Windows và Linux, nó đơn giản hóa việc thiết lập và quản lý các mô hình mã nguồn mở, cho phép phát triển và sử dụng AI một cách riêng tư, ngoại tuyến và tiết kiệm chi phí.

RAGDrive là một công cụ miễn phí, mã nguồn mở và không cần code, cho phép bạn trò chuyện với tài liệu của mình một cách riêng tư và ngoại tuyến. Sử dụng công nghệ RAG, nó biến các tệp của bạn thành một cơ sở kiến thức tương tác, có thể truy cập trên Windows, Mac, iOS và Android.

MinimalChat là một nền tảng trò chuyện AI mã nguồn mở, tự lưu trữ phổ biến, nổi tiếng với thiết kế nhẹ và tối giản. Nó hỗ trợ nhiều mô hình GPT, tải lên tệp và tương tác bằng giọng nói, cung cấp một giải pháp thay thế riêng tư và linh hoạt cho các dịch vụ thương mại. Lưu ý: Dự án đã ngừng hoạt động.

Socrates là một công cụ AI tiên tiến để phân tích tài liệu sâu. Nó cho phép người dùng tải lên các tài liệu dài như PDF và DOCX để nhận được câu trả lời đầy đủ và chính xác. Tính năng 'Deep Dive' độc đáo của nó cung cấp phân tích kỹ lưỡng, trong khi các tính năng như Table AI và hỗ trợ LLM cục bộ phục vụ cho các nhà nghiên cứu, chuyên gia pháp lý và sinh viên tìm kiếm thông tin chi tiết với quyền riêng tư dữ liệu nâng cao.

Protocraft AI là một studio sản xuất AI đa năng dành cho phát triển phần mềm, phân tích dữ liệu và các tác vụ sáng tạo. Nó hoạt động theo mô hình 'Mang theo khóa của riêng bạn' (BYOK), tích hợp với các LLM lớn như OpenAI, Anthropic và Google, cũng như các mô hình cục bộ. Có sẵn dưới dạng ứng dụng web và máy tính để bàn, nó cho phép người dùng tương tác trực tiếp với các tệp cục bộ, tạo và chỉnh sửa mã, tạo hình ảnh và tự động hóa lời nhắc, tất cả trong khi vẫn duy trì toàn quyền kiểm soát dữ liệu và quyền riêng tư của họ.

RecurseChat là một ứng dụng AI client mạnh mẽ, tập trung vào quyền riêng tư cho macOS. Nó hoạt động ưu tiên cục bộ, cho phép bạn trò chuyện với các LLM cục bộ, ChatGPT và Claude, ngay cả khi ngoại tuyến. Tương tác với các tệp PDF và tài liệu của bạn một cách an toàn trên thiết bị bằng công nghệ RAG. Nó có tính năng nhập đa phương thức, tìm kiếm toàn văn bản và tùy chỉnh rộng rãi mà không cần đăng ký.

Jan là một ứng dụng trò chuyện AI mã nguồn mở, ưu tiên ngoại tuyến, hoạt động như một giải pháp thay thế mạnh mẽ cho ChatGPT. Nó cho phép bạn chạy các mô hình ngôn ngữ lớn (LLM) như Llama 3 và Mistral trực tiếp trên máy tính của mình, đảm bảo 100% quyền riêng tư và kiểm soát dữ liệu. Jan cũng cung cấp sự linh hoạt để kết nối với các dịch vụ AI dựa trên đám mây và cung cấp một máy chủ API cục bộ cho các nhà phát triển.

EnConvo là một trình khởi chạy tác nhân AI mạnh mẽ cho macOS được thiết kế để tự động hóa các tác vụ và tăng năng suất. Nó tích hợp liền mạch vào quy trình làm việc của bạn với giao diện giống Spotlight, cung cấp hơn 150 công cụ, quy trình làm việc tùy chỉnh, nhận thức ngữ cảnh và hỗ trợ các LLM cục bộ, thay đổi cách bạn tương tác với máy Mac.

Socrates là một công cụ AI tiên tiến để phân tích tài liệu sâu. Tải lên các tệp PDF, DOCX và nhiều hơn nữa để nhận được câu trả lời đầy đủ, chính xác ngay lập tức. Các tính năng như Deep Dive, Table AI và hỗ trợ LLM cục bộ cung cấp những hiểu biết sâu sắc vô song đồng thời đảm bảo quyền riêng tư dữ liệu. Lý tưởng cho các nhà nghiên cứu, chuyên gia và bất kỳ ai cần hiểu nhanh các tài liệu dài.

Chorus là một ứng dụng máy tính để bàn nhanh và nhẹ dành cho Mac, cho phép bạn trò chuyện với nhiều mô hình AI tiên tiến cùng một lúc. Nó hợp nhất quyền truy cập vào các mô hình như GPT, Claude, Gemini và các AI mã nguồn mở cục bộ trong một giao diện duy nhất, hoàn chỉnh với các tính năng so sánh phản hồi, tổng hợp câu trả lời và tích hợp vào quy trình làm việc của bạn thông qua việc tải lên tệp và ngữ cảnh màn hình.

FridayGPT là một trợ lý AI cho Mac, tích hợp ChatGPT, Claude và các LLM cục bộ trực tiếp vào quy trình làm việc của bạn. Nó cung cấp quyền truy cập AI tức thì, chuyển giọng nói thành văn bản nâng cao với hơn 100 ngôn ngữ, và các hành động một cú nhấp như sửa lỗi ngữ pháp và viết lại văn bản. Tăng năng suất của bạn bằng cách sử dụng AI ở bất cứ đâu trên máy Mac mà không cần chuyển đổi ngữ cảnh.

ncurator là một tiện ích mở rộng trình duyệt giúp biến tài liệu, trang web và dấu trang của bạn thành một cơ sở tri thức cá nhân do AI cung cấp. Đặt câu hỏi bằng ngôn ngữ tự nhiên và nhận câu trả lời tóm tắt trực tiếp từ dữ liệu của riêng bạn, với sự tập trung mạnh mẽ vào xử lý cục bộ và quyền riêng tư dữ liệu.

Omnibot là một trợ lý AI riêng tư, gốc chạy các mô hình ngôn ngữ lớn (LLM) trực tiếp trong trình duyệt của bạn bằng WebGPU. Nó cung cấp trải nghiệm trò chuyện hoàn toàn ngoại tuyến và an toàn, đảm bảo dữ liệu của bạn không bao giờ rời khỏi máy tính. Tùy chỉnh nó với các hướng dẫn riêng để có phản hồi được cá nhân hóa.

GrammarBot là công cụ kiểm tra ngữ pháp và chính tả AI tập trung vào quyền riêng tư cho macOS. Nó hoạt động hoàn toàn ngoại tuyến bằng Mô hình Ngôn ngữ Lớn (LLM) cục bộ, đảm bảo văn bản của bạn không bao giờ rời khỏi máy tính. Với tích hợp phím nóng đơn giản, nó hoạt động trên tất cả các ứng dụng của bạn. Công cụ có sẵn dưới dạng mua một lần, cung cấp giấy phép trọn đời mà không cần đăng ký.

MindMac là một client macOS gốc mạnh mẽ, cung cấp giao diện hợp nhất để tương tác với nhiều mô hình AI, bao gồm GPT của OpenAI, Google Gemini, Claude và các LLM cục bộ. Nó nâng cao năng suất với các tính năng như chế độ nội tuyến để sử dụng trong bất kỳ ứng dụng nào, thư viện prompt phong phú và khả năng tùy chỉnh rộng rãi. Nó ưu tiên quyền riêng tư và bảo mật bằng cách lưu trữ khóa API cục bộ và giao tiếp trực tiếp với các nhà cung cấp AI.

LM Studio là một ứng dụng máy tính để bàn cho Windows, macOS và Linux cho phép bạn khám phá, tải xuống và chạy các Mô hình Ngôn ngữ Lớn (LLM) mã nguồn mở hoàn toàn trên máy tính cục bộ của bạn. Nó cung cấp giao diện thân thiện với người dùng, máy chủ cục bộ tương thích với OpenAI và các tính năng bảo mật mạnh mẽ, lý tưởng cho các nhà phát triển, nhà nghiên cứu và bất kỳ ai tìm kiếm trải nghiệm AI riêng tư.

Msty là một ứng dụng máy tính để bàn thân thiện với người dùng, giúp đơn giản hóa việc chạy các mô hình AI cục bộ và trực tuyến. Nó cung cấp cài đặt bằng một cú nhấp chuột, phương pháp tiếp cận ưu tiên ngoại tuyến để bảo mật tối đa, và các tính năng mạnh mẽ như so sánh mô hình trên màn hình chia đôi, RAG nâng cao qua Knowledge Stacks, và toàn quyền kiểm soát cuộc trò chuyện mà không cần chuyên môn kỹ thuật.

LM Studio là một ứng dụng máy tính để bàn thân thiện với người dùng để khám phá, tải xuống và chạy các Mô hình Ngôn ngữ Lớn (LLM) mã nguồn mở cục bộ trên máy tính của bạn. Nó cung cấp một giao diện trò chuyện đơn giản và một máy chủ suy luận cục bộ, đảm bảo quyền riêng tư và truy cập ngoại tuyến.