Sanctum

Sanctum은 인공지능 시대에 데이터 개인 정보 보호와 통제를 우선시하는 사용자를 위해 설계된 데스크톱 애플리케이션입니다. 이는 오픈 소스 대규모 언어 모델(LLM)의 세계로 들어가는 개인적이고 로컬화된 게이트웨이 역할을 합니다. 원격 서버에서 데이터를 처리하는 클라우드 기반 AI 서비스와 달리, Sanctum은 전적으로 사용자 자신의 기기(Windows 또는 Mac, Linux 지원 예정)에서 실행됩니다. 이 로컬 우선 접근 방식은 모든 대화, 문서, 데이터가 암호화되어 개인 'Sanctum' 내에 안전하게 보관되며, 사용자가 선택하지 않는 한 인터넷에 공유되거나 노출되지 않음을 보장합니다.

Sanctum의 핵심 사명은 개인과 개발자가 보안을 타협하지 않으면서 AI의 잠재력을 최대한 활용할 수 있도록 지원하는 것입니다. Hugging Face와 같은 허브에서 강력한 오픈 소스 모델을 설정하고 실행하는 복잡한 과정을 단순화합니다. 직관적인 인터페이스를 통해 사용자는 Llama 3, Mistral, Phi-3와 같은 인기 모델을 포함한 방대한 GGUF 모델 라이브러리를 애플리케이션 내에서 직접 쉽게 다운로드, 관리 및 상호 작용할 수 있습니다.

Sanctum 사용 방법

Sanctum 시작하기는 간단하고 사용자 친화적으로 설계되었습니다:

1. 다운로드 및 설치: Sanctum 공식 웹사이트를 방문하여 운영 체제(Windows 10+ 또는 Intel/Apple Silicon용 macOS)에 맞는 애플리케이션을 다운로드합니다.
2. 모델 탐색 및 다운로드: 설치 후 통합된 Hugging Face 라이브러리를 탐색합니다. Sanctum은 시스템 하드웨어가 특정 모델과 호환되는지 확인하는 데 도움을 줍니다. 모델을 선택하고 기기에 직접 다운로드합니다.
3. 채팅 시작: 모델을 다운로드하면 즉시 채팅을 시작할 수 있습니다. 처리가 로컬에서 이루어지므로 초기 모델 다운로드 후에는 인터넷 연결이 필요 없습니다.
4. 파일과 채팅하기(RAG): 로컬 파일(PDF, DOCX, 코드 파일 등)을 채팅 창으로 드래그 앤 드롭합니다. 그런 다음 완전히 비공개 환경에서 질문하고, 내용을 요약하고, 문서에서 정보를 추출할 수 있습니다.
5. 오디오 텍스트 변환: Whisper 모델을 다운로드하여 오디오-텍스트 변환 기능을 사용합니다. 회의 녹음이나 음성 메모와 같은 오디오 파일을 업로드하여 로컬에서 비공개로 텍스트 변환을 받으세요.
6. 개발자용(로컬 API): 로컬 API 서버를 활성화하여 다른 애플리케이션이나 개발 프로젝트에서 실행 중인 LLM과 프로그래밍 방식으로 상호 작용할 수 있으며, 모든 작업은 로컬 네트워크에서 이루어집니다.

Sanctum의 핵심 기능

• 로컬 AI 처리: 기기에서 완전한 기능을 갖춘 오픈 소스 LLM을 실행하여 100% 개인 정보 보호 및 오프라인 기능을 보장합니다.
• Hugging Face 통합: Hugging Face에서 수천 개의 GGUF 모델에 직접 액세스하고 호환성을 확인하며 다운로드합니다.
• 비공개 문서 채팅(RAG): PDF, DOCX, PPTX 및 다양한 코드 파일을 포함한 로컬 문서와 안전하게 채팅하고, 요약하며, 질문합니다.
• 로컬 오디오 텍스트 변환: Whisper 모델을 사용하여 기기에서 오디오 파일을 비공개로 텍스트로 변환하며, 실시간 동기화 재생과 같은 기능을 제공합니다.
• Sanctum Vault: 모든 채팅 기록을 안전하게 저장하는 암호화된 로컬 데이터베이스입니다. 비밀번호와 24단어 복구 구문으로 보호됩니다.
• 로컬 API 서버: llama.cpp로 구동되며, 개발자가 모든 GGUF 모델로 로컬 서버를 실행하고 포트와 매개변수를 사용자 정의할 수 있습니다.
• 고급 모델 사용자 정의: 사용자 정의 프롬프트 템플릿, 하드웨어 최적화 설정 및 추론 매개변수로 LLM 성능을 미세 조정합니다.
• 크로스 플랫폼 지원: Windows 및 macOS(Intel 및 Apple Silicon 모두)에서 사용 가능하며, Linux 버전이 개발 중입니다.

Sanctum의 사용 사례

Sanctum은 민감한 정보와 관련된 모든 작업에 이상적입니다:

• 기밀 데이터 분석: 데이터 유출 위험 없이 개인 금융 데이터, 개인 건강 기록 또는 독점적인 비즈니스 문서를 분석합니다.
• 안전한 콘텐츠 제작: 안전한 환경에서 민감한 이메일을 작성하고, 보고서를 작성하며, 전략적 아이디어를 브레인스토밍합니다.
• 비공개 코드 개발: 소스 코드를 제3자 서비스에 노출하지 않고 코드를 공동 작업하고, 디버깅하며, 프로그래밍 지원을 받습니다.
• 연구 및 학습: PDF 형식의 연구 논문, 교과서, 노트와 상호 작용하여 핵심 사항을 요약하고 이해를 심화합니다.
• 회의 및 통화 분석: 통화 노트나 회의 녹음을 비공개로 텍스트로 변환하고 검토하여 실행 항목과 통찰력을 추출합니다.

Sanctum의 장점

Sanctum의 주요 장점은 개인 정보 보호에 대한 확고한 약속입니다.

• 타의 추종을 불허하는 개인 정보 보호: 기기 내 처리 및 암호화를 통해 데이터가 컴퓨터를 절대 떠나지 않습니다.
• 완전한 데이터 제어: 사용자는 자신의 데이터와 대화를 소유하며, 이는 로컬 Sanctum Vault에 안전하게 저장됩니다.
• 오프라인 기능: 인터넷 연결 없이 언제 어디서나 AI 어시스턴트와 작업할 수 있습니다.
• 비용 효율적: 자신의 하드웨어를 활용하여 클라우드 기반 AI 서비스의 반복적인 구독료를 피할 수 있습니다.
• 오픈 소스 혁신에 대한 접근: 최신 및 최고의 오픈 소스 모델을 쉽게 실행하여 AI 분야의 최전선에 머물 수 있습니다.
• 사용자 친화적: 로컬 LLM 실행의 기술적 장벽을 제거하여 더 넓은 사용자층이 접근할 수 있도록 합니다.

가격 및 플랜

Sanctum은 프리미엄(freemium) 모델로 운영되며, 다양한 사용자 요구를 충족시키기 위해 무료 및 유료 등급을 모두 제공합니다.

• 기본 플랜(무료): 이 플랜에는 로컬에서 실행되는 LLM과의 비공개 채팅에 필요한 모든 필수 기능이 포함되어 있습니다. 비공개 AI를 처음 사용하는 사용자에게 적합합니다.
• Sanctum Pro(유료): 이 구독 플랜은 파워 유저를 위한 고급 기능을 잠금 해제합니다. 여기에는 안전한 비공개 PDF 채팅, 암호화된 채팅 기록(Sanctum Vault) 내 고급 검색 기능, 새로운 기능 및 모델 업데이트에 대한 독점적인 조기 액세스 등이 포함됩니다. 구체적인 가격 정보는 공식 웹사이트나 애플리케이션 내에서 확인할 수 있습니다.