Chonkie

Chonkie é um pipeline de ingestão de dados poderoso e de código aberto, projetado especificamente para preparar qualquer dado para aplicações avançadas de IA. Ele aborda o desafio crítico de fornecer contexto de alta qualidade, relevante e bem estruturado para Modelos de Linguagem Grandes (LLMs), o que é essencial para construir sistemas de IA precisos e confiáveis. O Chonkie está disponível tanto como uma biblioteca de código aberto flexível e auto-hospedável (Python e TypeScript) quanto como um serviço de nuvem gerenciado e conveniente, atendendo a uma ampla gama de necessidades de desenvolvedores, desde projetos individuais até soluções de nível empresarial.

O núcleo do Chonkie é seu fluxo de trabalho de processamento de dados modular de seis etapas, que dá aos desenvolvedores controle granular sobre todo o pipeline de ingestão. Isso garante que os dados não sejam apenas ingeridos, mas também refinados e otimizados para o desempenho máximo em tarefas de IA, particularmente em sistemas de Geração Aumentada por Recuperação (RAG).

Como usar Chonkie

Usar o Chonkie envolve um processo direto e passo a passo para transformar dados brutos em ativos prontos para IA:

1. Instalação: Comece instalando a biblioteca Chonkie em seu ambiente de projeto usando gerenciadores de pacotes como pip para Python (`pip install chonkie`) ou npm para TypeScript.
2. Ingestão (Documents): Carregue seus dados de uma ampla variedade de fontes. O Chonkie pode lidar com arquivos de texto (TXT), PDFs, documentos (DOCX), apresentações (PPTX), planilhas (XLSX) e até mesmo código-fonte de várias linguagens de programação.
3. Limpeza (Chefs): Aplique 'Chefs' para pré-processar e limpar seus dados brutos. Esta etapa pode adicionar pontuação ausente automaticamente, remover informações de identificação pessoal (PII) e padronizar o formato do texto para consistência.
4. Divisão (Chunkers): Divida os dados limpos em pedaços menores e significativos usando 'Chunkers'. O Chonkie oferece tanto 'chunkers' rápidos baseados em regras quanto 'chunkers' semânticos mais avançados e conscientes do contexto para uma recuperação ótima.
5. Enriquecimento (Refineries): Aprimore os pedaços de dados com metadados valiosos usando 'Refineries'. Isso pode incluir a geração de embeddings, a criação de resumos, a identificação de tópicos ou a adição de rótulos a cada pedaço.
6. Conexão (Handshakes): Estabeleça conexões seguras com bancos de dados vetoriais populares como Chroma, Qdrant e Turbopuffer para armazenar os pedaços processados e enriquecidos para recuperação eficiente.
7. Exportação (Porters): Finalmente, use 'Porters' para exportar os pedaços prontos para IA para o formato ou destino desejado, tornando-os disponíveis para seu LLM ou aplicação RAG.

Recursos principais do Chonkie

• Pipeline Modular: Um processo abrangente de seis etapas (Documents, Chefs, Chunkers, Refineries, Handshakes, Porters) oferece controle total sobre a preparação dos dados.
• Ingestão Multi-Formato: Suporta nativamente uma vasta gama de formatos de arquivo, incluindo PDF, TXT, CSV, Markdown, DOCX, PPTX, XLSX e arquivos de código (Python, Java, JS/TSX, C++, Rust).
• Estratégias Avançadas de Divisão: Oferece 'chunkers' baseados em regras para velocidade e simplicidade, e 'chunkers' semânticos sofisticados que entendem o contexto para divisões de dados mais significativas.
• Limpeza e Enriquecimento de Dados: 'Chefs' integrados para limpeza automática de dados e 'Refineries' para enriquecer os pedaços com embeddings, resumos, tópicos и outros metadados.
• Integração com BD Vetorial: Apresenta 'Handshakes' para conexões perfeitas e seguras com os principais bancos de dados vetoriais, simplificando o fluxo de trabalho RAG.
• Modelo de Implantação Dupla: Disponível como uma biblioteca de código aberto com licença MIT para máxima personalização e uma plataforma gerenciada 'Chonkie Cloud' para facilidade de uso e escalabilidade.

Casos de uso para Chonkie

O Chonkie é ideal para desenvolvedores e equipes que constroem soluções sofisticadas alimentadas por IA:

• Geração Aumentada por Recuperação (RAG): O principal caso de uso é a construção de sistemas RAG altamente precisos, alimentando-os com contexto bem dividido, relevante e limpo, o que reduz drasticamente as alucinações.
• Chatbots Inteligentes: Criação de chatbots experientes para suporte ao cliente ou uso interno que podem responder com precisão a perguntas com base em um corpus específico de documentos, como uma base de conhecimento ou manuais de produtos.
• Análise de Dados com IA: Pré-processamento de grandes volumes de texto não estruturado para análise, resumo, identificação de tendências e modelagem de tópicos orientados por IA.
• Ferramentas de Assistência ao Desenvolvedor: Ingerir e estruturar bases de código inteiras para construir assistentes de IA que ajudam os desenvolvedores a entender o código, encontrar exemplos e depurar problemas.

Vantagens do Chonkie

Usar o Chonkie oferece uma vantagem competitiva significativa no desenvolvimento de IA:

• Elimina Alucinações: Ao fornecer contexto preciso e factual, o Chonkie ajuda os modelos de IA a gerar respostas precisas e confiáveis.
• Eficiência Aprimorada: Oferece velocidades de inferência até 10x mais rápidas e reduz o uso de tokens em até 90%, otimizando os dados fornecidos ao modelo.
• Citações Integradas: Permite que os modelos de IA citem os pedaços de fonte específicos usados para gerar uma resposta, aumentando a transparência e a confiança do usuário.
• Amigável ao Desenvolvedor e Flexível: A natureza de código aberto e a arquitetura modular permitem uma personalização profunda para atender às necessidades específicas de ingestão de dados de qualquer projeto.
• Soluções Escaláveis: De um plano de nuvem gratuito para amadores a implantações empresariais on-premise, o Chonkie escala com o crescimento do seu projeto.

Preços e planos

O Chonkie oferece uma estrutura de preços flexível através de seu serviço Chonkie Cloud:

• Chonk-As-You-Go: Um plano gratuito para começar por $0/mês que inclui $5 em créditos iniciais. O uso é cobrado a $0.06/MB para Chunkers Baseados em Regras e $0.08/MB para Chunkers Semânticos. Ideal para pequenos projetos e testes.
• Growing Hippo: Com preço de $25/mês, este plano inclui $15 em créditos e oferece taxas mais baixas ($0.04/MB para Baseado em Regras, $0.06/MB para Semântico). Ele desbloqueia recursos avançados como suporte para DOCX/PPTX/XLSX, conexão do seu próprio modelo de OCR e uso de Chunk Refineries.
• Business Chonkie: Um plano empresarial de $500/mês com $150 em créditos incluídos. Apresenta as taxas de processamento mais baixas ($0.02/MB para Baseado em Regras, $0.04/MB para Semântico), opções de implantação on-premise, suporte 24/7 e ajuda prática da equipe Chonkie para construir seu pipeline.