Chonkie

Chonkie는 고급 AI 애플리케이션을 위해 모든 데이터를 준비하도록 특별히 설계된 강력한 오픈 소스 데이터 수집 파이프라인입니다. 정확하고 신뢰할 수 있는 AI 시스템을 구축하는 데 필수적인 대규모 언어 모델(LLM)에 고품질의 관련성 있고 잘 구조화된 컨텍스트를 제공하는 중요한 과제를 해결합니다. Chonkie는 유연하고 자체 호스팅이 가능한 오픈 소스 라이브러리(Python 및 TypeScript)와 편리한 관리형 클라우드 서비스로 모두 제공되어 개인 프로젝트에서 기업 수준의 솔루션에 이르기까지 광범위한 개발자 요구를 충족합니다.

Chonkie의 핵심은 모듈식 6단계 데이터 처리 워크플로우로, 개발자가 전체 수집 파이프라인을 세밀하게 제어할 수 있도록 합니다. 이를 통해 데이터는 단순히 수집되는 것이 아니라 AI 작업, 특히 검색 증강 생성(RAG) 시스템에서 최고의 성능을 발휘하도록 정제되고 최적화됩니다.

Chonkie 사용 방법

Chonkie를 사용하는 것은 원시 데이터를 AI 준비 자산으로 변환하는 간단한 단계별 프로세스를 포함합니다:

1. 설치: Python용 pip(`pip install chonkie`) 또는 TypeScript용 npm과 같은 패키지 관리자를 사용하여 프로젝트 환경에 Chonkie 라이브러리를 설치하는 것으로 시작합니다.
2. 수집(Documents): 다양한 소스에서 데이터를 로드합니다. Chonkie는 텍스트 파일(TXT), PDF, 문서(DOCX), 프레젠테이션(PPTX), 스프레드시트(XLSX) 및 여러 프로그래밍 언어의 소스 코드까지 처리할 수 있습니다.
3. 정리(Chefs): 'Chefs'를 적용하여 원시 데이터를 전처리하고 정리합니다. 이 단계는 누락된 구두점을 자동으로 추가하고 개인 식별 정보(PII)를 제거하며 일관성을 위해 텍스트 형식을 표준화할 수 있습니다.
4. 청킹(Chunkers): 'Chunkers'를 사용하여 정리된 데이터를 더 작고 의미 있는 조각으로 분할합니다. Chonkie는 빠른 규칙 기반 청커와 최적의 검색을 위한 고급 컨텍스트 인식 시맨틱 청커를 모두 제공합니다.
5. 보강(Refineries): 'Refineries'를 사용하여 가치 있는 메타데이터로 데이터 청크를 향상시킵니다. 여기에는 임베딩 생성, 요약 생성, 주제 식별 또는 각 청크에 레이블 추가가 포함될 수 있습니다.
6. 연결(Handshakes): Chroma, Qdrant, Turbopuffer와 같은 인기 있는 벡터 데이터베이스에 안전한 연결을 설정하여 처리되고 보강된 청크를 효율적인 검색을 위해 저장합니다.
7. 내보내기(Porters): 마지막으로 'Porters'를 사용하여 AI 준비 청크를 원하는 형식이나 대상으로 내보내 LLM 또는 RAG 애플리케이션에서 사용할 수 있도록 합니다.

Chonkie의 핵심 기능

• 모듈식 파이프라인: 포괄적인 6단계 프로세스(Documents, Chefs, Chunkers, Refineries, Handshakes, Porters)는 데이터 준비에 대한 완전한 제어를 제공합니다.
• 다중 형식 수집: PDF, TXT, CSV, Markdown, DOCX, PPTX, XLSX 및 코드 파일(Python, Java, JS/TSX, C++, Rust)을 포함한 광범위한 파일 형식을 기본적으로 지원합니다.
• 고급 청킹 전략: 속도와 단순성을 위한 규칙 기반 청커와 더 의미 있는 데이터 분할을 위해 컨텍스트를 이해하는 정교한 시맨틱 청커를 모두 제공합니다.
• 데이터 정리 및 보강: 자동 데이터 정리를 위한 통합된 'Chefs'와 임베딩, 요약, 주제 및 기타 메타데이터로 청크를 보강하는 'Refineries'.
• 벡터 DB 통합: 선도적인 벡터 데이터베이스에 대한 원활하고 안전한 연결을 위한 'Handshakes' 기능으로 RAG 워크플로우를 간소화합니다.
• 이중 배포 모델: 최대의 사용자 정의를 위한 MIT 라이선스 오픈 소스 라이브러리와 사용 용이성 및 확장성을 위한 관리형 'Chonkie Cloud' 플랫폼으로 제공됩니다.

Chonkie의 사용 사례

Chonkie는 정교한 AI 기반 솔루션을 구축하는 개발자 및 팀에 이상적입니다:

• 검색 증강 생성(RAG): 주요 사용 사례는 잘게 쪼개지고 관련성 있으며 깨끗한 컨텍스트를 제공하여 환각을 대폭 줄이는 매우 정확한 RAG 시스템을 구축하는 것입니다.
• 지능형 챗봇: 지식 기반이나 제품 설명서와 같은 특정 문서 코퍼스를 기반으로 정확하게 질문에 답할 수 있는 고객 지원 또는 내부용 지식 챗봇을 만듭니다.
• AI 기반 데이터 분석: AI 기반 분석, 요약, 트렌드 식별 및 주제 모델링을 위해 대량의 비정형 텍스트를 전처리합니다.
• 개발자 보조 도구: 전체 코드베이스를 수집하고 구조화하여 개발자가 코드를 이해하고 예제를 찾고 문제를 디버깅하는 데 도움이 되는 AI 도우미를 구축합니다.

Chonkie의 장점

Chonkie를 사용하면 AI 개발에서 상당한 경쟁 우위를 확보할 수 있습니다:

• 환각 제거: 정확하고 사실적인 컨텍스트를 제공함으로써 Chonkie는 AI 모델이 정확하고 신뢰할 수 있는 답변을 생성하도록 돕습니다.
• 효율성 향상: 모델에 공급되는 데이터를 최적화하여 최대 10배 빠른 추론 속도를 제공하고 토큰 사용량을 최대 90%까지 줄입니다.
• 내장된 인용 기능: AI 모델이 답변을 생성하는 데 사용된 특정 소스 청크를 인용할 수 있게 하여 투명성과 사용자 신뢰를 높입니다.
• 개발자 친화적 및 유연성: 오픈 소스 특성과 모듈식 아키텍처를 통해 모든 프로젝트의 특정 데이터 수집 요구에 맞게 깊이 있는 사용자 정의가 가능합니다.
• 확장 가능한 솔루션: 취미 사용자를 위한 무료 클라우드 플랜부터 온프레미스 기업 배포까지, Chonkie는 프로젝트의 성장에 따라 확장됩니다.

가격 및 플랜

Chonkie는 Chonkie Cloud 서비스를 통해 유연한 가격 구조를 제공합니다:

• Chonk-As-You-Go: 월 0달러의 무료 시작 플랜으로, 5달러의 초기 크레딧이 포함됩니다. 사용량은 규칙 기반 청커의 경우 MB당 0.06달러, 시맨틱 청커의 경우 MB당 0.08달러로 청구됩니다. 소규모 프로젝트 및 테스트에 이상적입니다.
• Growing Hippo: 월 25달러로 책정된 이 플랜은 15달러의 크레딧을 포함하며 더 저렴한 요금(규칙 기반 MB당 0.04달러, 시맨틱 MB당 0.06달러)을 제공합니다. DOCX/PPTX/XLSX 지원, 자체 OCR 모델 연결, Chunk Refineries 사용과 같은 고급 기능을 잠금 해제합니다.
• Business Chonkie: 월 500달러의 기업 플랜으로, 150달러의 크레딧이 포함됩니다. 가장 낮은 처리 요금(규칙 기반 MB당 0.02달러, 시맨틱 MB당 0.04달러), 온프레미스 배포 옵션, 24/7 지원 및 파이프라인 구축을 위한 Chonkie 팀의 직접적인 도움을 제공합니다.