Chonkie

Chonkie est un pipeline d'ingestion de données puissant et open source, spécifiquement conçu pour préparer n'importe quelle donnée pour des applications d'IA avancées. Il s'attaque au défi critique de fournir un contexte de haute qualité, pertinent et bien structuré aux grands modèles de langage (LLM), ce qui est essentiel pour construire des systèmes d'IA précis et fiables. Chonkie est disponible à la fois comme une bibliothèque open source flexible et auto-hébergeable (Python et TypeScript) et comme un service cloud géré et pratique, répondant à un large éventail de besoins des développeurs, des projets individuels aux solutions d'entreprise.

Le cœur de Chonkie est son flux de travail modulaire de traitement des données en six étapes, donnant aux développeurs un contrôle granulaire sur l'ensemble du pipeline d'ingestion. Cela garantit que les données ne sont pas seulement ingérées, mais aussi affinées et optimisées pour des performances de pointe dans les tâches d'IA, en particulier dans les systèmes de Génération Augmentée par la Récupération (RAG).

Comment utiliser Chonkie

L'utilisation de Chonkie implique un processus simple et étape par étape pour transformer les données brutes en actifs prêts pour l'IA :

1. Installation : Commencez par installer la bibliothèque Chonkie dans votre environnement de projet à l'aide de gestionnaires de paquets comme pip pour Python (`pip install chonkie`) ou npm pour TypeScript.
2. Ingestion (Documents) : Chargez vos données à partir d'une grande variété de sources. Chonkie peut gérer des fichiers texte (TXT), des PDF, des documents (DOCX), des présentations (PPTX), des feuilles de calcul (XLSX) et même du code source de plusieurs langages de programmation.
3. Nettoyage (Chefs) : Appliquez des 'Chefs' pour prétraiter et nettoyer vos données brutes. Cette étape peut ajouter automatiquement la ponctuation manquante, supprimer les informations d'identification personnelle (PII) et standardiser le format du texte pour la cohérence.
4. Segmentation (Chunkers) : Divisez les données nettoyées en morceaux plus petits et significatifs à l'aide de 'Chunkers'. Chonkie propose à la fois des segmenteurs rapides basés sur des règles et des segmenteurs sémantiques plus avancés et conscients du contexte pour une récupération optimale.
5. Enrichissement (Refineries) : Améliorez les morceaux de données avec des métadonnées précieuses à l'aide de 'Refineries'. Cela peut inclure la génération d'embeddings, la création de résumés, l'identification de sujets ou l'ajout d'étiquettes à chaque morceau.
6. Connexion (Handshakes) : Établissez des connexions sécurisées avec des bases de données vectorielles populaires comme Chroma, Qdrant et Turbopuffer pour stocker les morceaux traités et enrichis en vue d'une récupération efficace.
7. Exportation (Porters) : Enfin, utilisez des 'Porters' pour exporter les morceaux prêts pour l'IA vers le format ou la destination de votre choix, les rendant disponibles pour votre LLM ou votre application RAG.

Fonctionnalités principales de Chonkie

• Pipeline modulaire : Un processus complet en six étapes (Documents, Chefs, Chunkers, Refineries, Handshakes, Porters) offre un contrôle total sur la préparation des données.
• Ingestion multi-format : Prend en charge nativement une large gamme de formats de fichiers, y compris PDF, TXT, CSV, Markdown, DOCX, PPTX, XLSX et des fichiers de code (Python, Java, JS/TSX, C++, Rust).
• Stratégies de segmentation avancées : Offre à la fois des segmenteurs basés sur des règles pour la vitesse et la simplicité, et des segmenteurs sémantiques sophistiqués qui comprennent le contexte pour des divisions de données plus significatives.
• Nettoyage et enrichissement des données : Des 'Chefs' intégrés pour le nettoyage automatique des données et des 'Refineries' pour enrichir les morceaux avec des embeddings, des résumés, des sujets et d'autres métadonnées.
• Intégration de bases de données vectorielles : Dispose de 'Handshakes' pour des connexions transparentes et sécurisées avec les principales bases de données vectorielles, simplifiant le flux de travail RAG.
• Modèle de déploiement double : Disponible en tant que bibliothèque open source sous licence MIT pour une personnalisation maximale et une plateforme 'Chonkie Cloud' gérée pour une facilité d'utilisation et une évolutivité.

Cas d'utilisation pour Chonkie

Chonkie est idéal pour les développeurs et les équipes qui construisent des solutions sophistiquées basées sur l'IA :

• Génération Augmentée par la Récupération (RAG) : Le principal cas d'utilisation est la construction de systèmes RAG très précis en leur fournissant un contexte bien segmenté, pertinent et propre, ce qui réduit considérablement les hallucinations.
• Chatbots intelligents : Création de chatbots compétents pour le support client ou l'usage interne, capables de répondre avec précision aux questions sur la base d'un corpus de documents spécifique, tel qu'une base de connaissances ou des manuels de produits.
• Analyse de données assistée par l'IA : Prétraitement de grands volumes de texte non structuré pour l'analyse, le résumé, l'identification des tendances et la modélisation de sujets pilotés par l'IA.
• Outils d'assistance aux développeurs : Ingestion et structuration de bases de code entières pour construire des assistants d'IA qui aident les développeurs à comprendre le code, à trouver des exemples et à déboguer les problèmes.

Avantages de Chonkie

L'utilisation de Chonkie offre un avantage concurrentiel significatif dans le développement de l'IA :

• Élimine les hallucinations : En fournissant un contexte précis et factuel, Chonkie aide les modèles d'IA à générer des réponses précises et fiables.
• Efficacité améliorée : Offre des vitesses d'inférence jusqu'à 10 fois plus rapides et réduit l'utilisation des jetons jusqu'à 90 % en optimisant les données fournies au modèle.
• Citations intégrées : Permet aux modèles d'IA de citer les morceaux de source spécifiques utilisés pour générer une réponse, augmentant ainsi la transparence et la confiance de l'utilisateur.
• Convivial pour les développeurs et flexible : La nature open source et l'architecture modulaire permettent une personnalisation approfondie pour s'adapter aux besoins spécifiques d'ingestion de données de tout projet.
• Solutions évolutives : D'un plan cloud gratuit pour les amateurs aux déploiements d'entreprise sur site, Chonkie évolue avec la croissance de votre projet.

Tarification et plans

Chonkie propose une structure de tarification flexible via son service Chonkie Cloud :

• Chonk-As-You-Go : Un plan de démarrage gratuit à 0 $/mois qui inclut 5 $ de crédits initiaux. L'utilisation est facturée à 0,06 $/Mo pour les segmenteurs basés sur des règles et à 0,08 $/Mo pour les segmenteurs sémantiques. Idéal pour les petits projets et les tests.
• Growing Hippo : Au prix de 25 $/mois, ce plan inclut 15 $ de crédits et offre des tarifs plus bas (0,04 $/Mo pour les règles, 0,06 $/Mo pour le sémantique). Il débloque des fonctionnalités avancées comme la prise en charge de DOCX/PPTX/XLSX, la connexion de votre propre modèle OCR et l'utilisation des raffineries de morceaux (Chunk Refineries).
• Business Chonkie : Un plan d'entreprise à 500 $/mois avec 150 $ de crédits inclus. Il propose les tarifs de traitement les plus bas (0,02 $/Mo pour les règles, 0,04 $/Mo pour le sémantique), des options de déploiement sur site, un support 24/7 et une aide pratique de l'équipe Chonkie pour construire votre pipeline.