Weaviate

Weaviate는 개발자가 차세대 지능형 애플리케이션을 구축할 수 있도록 지원하는 고성능 오픈 소스 AI 네이티브 벡터 데이터베이스입니다. 데이터 객체와 해당 벡터 임베딩을 저장, 인덱싱 및 검색하도록 특별히 설계되어 단순한 키워드가 아닌 의미적 의미와 맥락에 기반한 검색을 가능하게 합니다. 이로 인해 시맨틱 검색, 추천 시스템, 질의응답 봇 및 검색 증강 생성(RAG)과 관련된 애플리케이션의 기본 구성 요소가 됩니다.

Weaviate 사용 방법

Weaviate를 시작하는 과정은 몇 가지 주요 단계로 이루어져 있어 AI 전문 지식 수준이 다양한 개발자도 쉽게 접근할 수 있습니다:

1. 배포: 선호하는 배포 방법을 선택합니다. 완전 관리형 Weaviate Cloud Services(WCS)를 사용하여 서버리스 환경을 이용하거나, Docker 또는 Kubernetes를 사용하여 자체 호스팅하거나, 개발을 위해 로컬에서 실행할 수 있습니다.
2. 스키마 정의: 데이터를 가져오기 전에 데이터 클래스('Article', 'Product' 등)와 해당 속성('title', 'content' 등)을 설명하는 스키마를 정의합니다. 스키마에서 어떤 속성을 벡터화할지, 어떤 벡터라이저 모듈(OpenAI, Cohere, Hugging Face 등)을 사용할지 지정합니다.
3. 데이터 가져오기: 데이터 객체를 Weaviate에 추가합니다. 벡터라이저 모듈을 구성한 경우 Weaviate는 지정된 텍스트 필드를 자동으로 처리하고 벡터 임베딩을 생성하여 원본 데이터와 함께 저장합니다.
4. 쿼리 수행: 클라이언트 라이브러리(Python, TypeScript, Go, Java) 또는 GraphQL 및 RESTful API를 통해 Weaviate의 강력한 쿼리 기능을 사용합니다. 벡터 검색(주어진 텍스트 또는 벡터와 유사한 객체 찾기), 키워드 검색 또는 두 가지 방법을 결합하여 최적의 관련성을 제공하는 강력한 하이브리드 검색을 수행할 수 있습니다.

Weaviate의 핵심 기능

• 하이브리드 검색: 전통적인 희소 키워드 검색(BM25)과 현대적인 밀집 벡터 검색(ANN)을 결합하여 어휘 및 의미 쿼리를 모두 이해하는 매우 관련성 높은 결과를 제공합니다.
• 생성형 검색(RAG): 검색 증강 생성을 기본적으로 지원합니다. 데이터에서 가장 관련성 높은 컨텍스트를 효율적으로 검색하여 대규모 언어 모델(LLM)에 제공함으로써 환각을 줄이고 사실에 기반한 최신 답변을 제공합니다.
• 확장성 및 성능: 수십억 개의 데이터 객체를 낮은 지연 시간으로 쿼리하도록 설계되었습니다. 샤딩을 통한 수평적 확장을 지원하고 복제를 통해 고가용성을 보장합니다.
• 모듈식 생태계: 유연한 플러그형 아키텍처를 통해 선호하는 벡터화 모델, LLM 및 기타 도구를 데이터베이스에 직접 통합하여 MLOps 파이프라인을 단순화할 수 있습니다.
• 고급 필터링: 벡터 검색 중에 객체 속성에 복잡한 구조화된 필터를 적용합니다. 이를 통해 특정 카테고리, 날짜 범위 또는 사용자 정의 태그 내에서 시맨틱 검색을 수행할 수 있습니다.
• 오픈 소스: Weaviate는 활발한 커뮤니티를 가진 오픈 소스 프로젝트로, 투명성, 지속적인 개선 및 공급업체 종속성 없음을 보장합니다.

Weaviate의 사용 사례

Weaviate는 다재다능하며 다양한 AI 기반 기능을 구동하는 데 사용될 수 있습니다:

• 시맨틱 검색: 문서, 제품 또는 이미지에 대한 단순한 키워드 매칭을 넘어 사용자의 쿼리 의도와 맥락을 이해하는 검색 엔진을 만듭니다.
• Q&A 시스템 및 챗봇: RAG를 사용하여 지능형 챗봇 및 질의응답 시스템을 구축합니다. Weaviate는 사실적 지식 기반을 제공하여 LLM이 정확하고 맥락에 맞는 응답을 생성할 수 있도록 합니다.
• 추천 엔진: 유사한 벡터 임베딩을 가진 항목을 찾아 사용자에게 관련 제품, 기사 또는 콘텐츠를 제안합니다.
• 멀티모달 검색: 텍스트, 이미지 등 다양한 데이터 유형을 저장하고 검색하여 "이 텍스트 설명과 유사한 이미지 찾기"와 같은 쿼리를 가능하게 합니다.

Weaviate의 장점

Weaviate는 개발자 친화적이고 엔터프라이즈급 솔루션으로 두각을 나타냅니다. 주요 장점으로는 복잡한 AI 기능 구축을 단순화하는 AI 네이티브 설계가 있습니다. 강력한 하이브리드 검색 기능은 최첨단 관련성을 보장합니다. 오픈 소스 특성은 커뮤니티 협업을 촉진하고 유연성을 제공하며, 관리형 Weaviate Cloud Service는 번거로움 없는 확장 가능한 인프라를 제공하여 팀이 데이터베이스 관리 대신 애플리케이션 구축에 집중할 수 있도록 합니다.

가격 및 플랜

Weaviate는 다양한 요구에 맞는 유연한 가격 구조를 제공합니다:

• 오픈 소스: 다운로드, 사용 및 자체 호스팅이 완전히 무료입니다. 자체 인프라를 관리하는 로컬 개발, 연구 및 프로젝트에 이상적입니다.
• Weaviate Cloud Services(WCS) - 서버리스: 완전 관리형 종량제 옵션입니다. 프로토타이핑 및 소규모 애플리케이션에 적합한 넉넉한 무료 티어(샌드박스)가 포함되어 있습니다. 성장에 따라 사용한 리소스(예: 스토리지, 컴퓨팅)에 대해서만 비용을 지불합니다.
• Weaviate Cloud Services(WCS) - 전용 클러스터: 최대 성능, 보안 및 격리를 위한 전용 인프라를 제공하는 엔터프라이즈급 솔루션입니다. 이 플랜은 대규모 프로덕션 워크로드에 적합하며 엔터프라이즈 지원 및 사설 네트워킹과 같은 기능이 함께 제공됩니다. 가격은 클러스터 구성에 따라 결정됩니다.