Chroma

Chroma는 새로운 시대의 AI 애플리케이션을 위해 특별히 설계된 선구적인 오픈 소스 검색 데이터베이스입니다. 주요 임무는 개발자에게 검색 증강 생성(RAG)을 사용하는 정교한 시스템을 구축하는 데 필수적인 인프라를 제공하는 것입니다. Chroma는 대규모 언어 모델(LLM)에 관련성 있거나 비공개이거나 최신 정보를 보강함으로써 환각을 줄이고 생성된 텍스트의 품질과 관련성을 크게 향상시키는 데 도움을 줍니다. 이는 임베딩 관리, 벡터 검색, 문서 저장, 전체 텍스트 검색 및 메타데이터 필터링을 단일의 통합된 시스템 내에서 포괄적인 솔루션으로 제공합니다.

Chroma의 핵심은 단순성과 강력함으로, 개발자가 로컬 머신에서 빠르게 시작하고 필요에 따라 완전 관리형 서버리스 클라우드 환경으로 원활하게 확장할 수 있도록 합니다. 아키텍처는 종종 다양한 액세스 패턴을 가진 수백만 개의 작은 데이터 컬렉션을 포함하는 AI 워크로드에 고유하게 맞춰져 있습니다. 객체 스토리지 네이티브 설계를 활용하여 Chroma는 컴퓨팅과 스토리지를 분리하여 기존의 인메모리 검색 시스템에 비해 확장성이 뛰어나고 비용 효율적입니다.

Chroma 사용 방법

Chroma 시작은 개발자에게 간단하게 설계되었습니다. 프로세스는 일반적으로 다음 단계를 포함합니다:

1. 설치: 선호하는 환경에 Chroma 클라이언트 라이브러리를 설치하는 것으로 시작합니다. Chroma는 Python(`pip install chromadb`) 및 JavaScript/TypeScript(`npm install chromadb`)용 공식 클라이언트를 제공합니다.
2. 클라이언트 초기화: Chroma 클라이언트 인스턴스를 생성합니다. Chroma를 인메모리로 실행하거나 로컬 디스크에 유지하거나 Chroma Cloud를 포함한 실행 중인 Chroma 서버에 연결할 수 있습니다.
3. 컬렉션 생성: 컬렉션은 임베딩, 문서 및 메타데이터를 저장할 곳입니다. 간단한 명령으로 컬렉션을 생성할 수 있습니다. 예: `collection = client.create_collection(name="my_documents")`.
4. 데이터 추가: 컬렉션에 데이터를 추가합니다. 여기에는 문서(텍스트), 해당 임베딩(벡터), 메타데이터(예: 출처, 날짜) 및 고유 ID가 포함됩니다. 효율성을 위해 데이터를 일괄적으로 추가할 수 있습니다.
5. 컬렉션 쿼리: 컬렉션을 쿼리하여 관련 정보를 검색합니다. 쿼리 텍스트(Chroma가 임베딩해 줌)를 사용하거나 자체 쿼리 벡터를 제공하여 시맨틱 검색을 수행할 수 있습니다. 또한 강력한 메타데이터 필터와 전체 텍스트 검색 조건을 적용하여 결과를 구체화할 수 있습니다.
6. 클라우드로 확장: 애플리케이션이 프로덕션 준비가 되면 애플리케이션 코드를 변경하지 않고 Chroma Cloud에 배포할 수 있습니다. API 키로 클라이언트를 클라우드 엔드포인트에 연결하기만 하면 확장 가능하고 서버리스이며 완전 관리형 검색 시스템에 액세스할 수 있습니다.

Chroma의 핵심 기능

• AI 네이티브 검색: 하나의 데이터베이스에서 벡터 검색, 전체 텍스트 검색 및 메타데이터 필터링을 결합합니다.
• 오픈 소스: Apache 2.0 라이선스에 따라 개발자에게 자유와 통제권을 부여합니다. 무료로 사용, 검사 및 기여할 수 있습니다.
• 멀티모달: 텍스트와 이미지를 포함한 다양한 데이터 유형을 처리하고 검색할 수 있습니다.
• 개발자 친화적: Python 및 JavaScript/TypeScript를 위한 간단한 API를 제공하여 모든 AI 스택에 쉽게 통합할 수 있습니다.
• 확장 가능한 아키텍처: 스토리지와 컴퓨팅을 분리하는 분산형 서버리스 아키텍처를 기반으로 합니다. 로컬 프로젝트에서 테라바이트 규모의 프로덕션 워크로드까지 확장할 수 있습니다.
• 비용 효율적: 객체 스토리지 네이티브 설계는 특히 액세스 패턴이 드문 데이터의 인덱스 저장 및 제공 비용을 크게 절감합니다.
• 풍부한 통합: LangChain, LlamaIndex, OpenAI, Google 및 Hugging Face와 같은 인기 있는 AI 프레임워크 및 라이브러리와 원활하게 통합됩니다.
• Chroma Cloud: 인프라 관리가 필요 없는 완전 관리형 서버리스 옵션으로, 사용량 기반 가격 책정을 제공합니다.

Chroma의 사용 사례

Chroma는 컨텍스트 인식 응답과 지식 검색이 필요한 광범위한 AI 애플리케이션의 중추입니다.

• 검색 증강 생성(RAG): 주요 사용 사례. LLM에 사실적, 실시간 또는 독점 데이터를 제공하여 챗봇, Q&A 시스템 및 콘텐츠 제작 도구를 지원합니다.
• 내부 지식 기반 검색: 직원들이 자연어 질문을 하고 내부 문서, 위키 및 데이터베이스에서 정확한 답변을 얻을 수 있도록 합니다.
• 개인화된 AI 비서: 과거 상호 작용을 기억하고 사용자의 개인 데이터(예: 메모, 이메일)에 액세스하여 맞춤형 도움을 제공하는 비서를 구축합니다.
• 전자 상거래 및 제품 발견: 키워드뿐만 아니라 설명적인 쿼리를 기반으로 제품의 시맨틱 검색을 가능하게 하여 사용자 경험과 전환율을 향상시킵니다.
• 연구 및 분석: 연구원들이 방대한 양의 학술 논문, 보고서 및 데이터를 검색하여 관련 정보를 신속하게 찾을 수 있도록 지원합니다.

Chroma의 장점

Chroma는 AI 개발자를 위해 특별히 제작되었다는 점에서 두드러집니다. 주요 장점은 다음과 같습니다.

• 단순성: 벡터 인덱싱 및 분산 시스템의 복잡성을 추상화하여 "그냥 작동하는" 경험을 제공합니다.
• 통합 플랫폼: 벡터 검색, 키워드 검색 및 메타데이터 저장을 위해 별도의 시스템을 연결할 필요가 없습니다.
• 미래 보장 확장성: 개발자는 로컬에서 클라우드로의 원활한 전환 덕분에 벽에 부딪히지 않고 작게 시작하여 성장할 수 있습니다.
• AI 워크로드에 최적화: 아키텍처는 다중 테넌트 AI 애플리케이션에서 흔히 볼 수 있는 멱법칙 액세스 패턴과 고유성 높은 컬렉션을 위해 특별히 설계되었습니다.
• 강력한 커뮤니티: Discord 및 GitHub의 활발한 오픈 소스 커뮤니티가 지원하며, 지원을 제공하고 혁신을 주도합니다.

가격 및 플랜

Chroma는 개인 개발자부터 대기업까지 다양한 요구에 맞는 유연한 가격 모델을 제공합니다.

• 오픈 소스: 자체 호스팅 버전의 Chroma는 완전 무료이며 Apache 2.0 라이선스가 적용됩니다. 로컬 개발, 연구 및 자체 관리 배포에 이상적입니다.
• Chroma Cloud - 스타터 플랜: 월 $0 + 사용량. 이 플랜은 빠르게 시작하기에 완벽합니다. $5의 무료 크레딧이 포함되어 있으며, 그 이후에는 사용한 만큼만 지불합니다. 최대 10개의 데이터베이스와 10명의 팀원을 지원합니다.
• Chroma Cloud - 팀 플랜: 월 $250 + 사용량. 프로덕션 사용 사례를 위해 설계된 이 플랜은 $100의 크레딧을 포함하고, 최대 100개의 데이터베이스와 30명의 팀원을 지원하며, Slack 지원을 제공하고 SOC II를 준수합니다.
• Chroma Cloud - 엔터프라이즈 플랜: 맞춤 가격. 대규모 요구 사항이 있는 조직을 위해 이 플랜은 무제한 데이터베이스 및 팀원, 전담 지원, 단일 테넌트 클러스터, BYOC(Bring Your Own Cloud) 옵션 및 SLA를 제공합니다.

Chroma Cloud의 사용량 기반 가격은 작성된 데이터($2.50/GiB), 저장된 데이터($0.33/GiB/월), 쿼리된 데이터($0.0075/TiB 쿼리 + $0.09/GiB 반환)를 기준으로 계산됩니다.