Chonkie

Chonkie 是一個功能強大的開源資料擷取管道，專門為進階AI應用準備任何資料而設計。它解決了向大型語言模型（LLM）提供高品質、相關且結構良好上下文的關鍵挑戰，這對於建構準確可靠的AI系統至關重要。Chonkie 提供靈活的、可自行託管的開源函式庫（Python和TypeScript）和便捷的託管雲端服務兩種形式，滿足從個人專案到企業級解決方案的廣泛開發者需求。

Chonkie 的核心是其模組化的六步資料處理工作流程，讓開發者能夠對整個擷取管道進行精細控制。這確保了資料不僅被擷取，還經過了精煉和最佳化，以在AI任務中（尤其是在檢索增強生成（RAG）系統中）實現最佳性能。

如何使用Chonkie

使用 Chonkie 涉及一個直接的、分步的過程，將原始資料轉換為AI就緒的資產：

1. 安裝：首先，在您的專案環境中使用套件管理器（如Python的pip `pip install chonkie` 或TypeScript的npm）安裝 Chonkie 函式庫。
2. 擷取（Documents）：從各種來源載入您的資料。Chonkie 可以處理文字檔案（TXT）、PDF、文件（DOCX）、簡報（PPTX）、試算表（XLSX），甚至多種程式語言的原始碼。
3. 清理（Chefs）：應用“Chefs”來預處理和清理您的原始資料。此步驟可以自動新增缺少的標點符號、移除個人身份資訊（PII），並標準化文字格式以保持一致性。
4. 分塊（Chunkers）：使用“Chunkers”將清理後的資料分割成更小的、有意義的片段。Chonkie 提供快速的、基於規則的分塊器和更進階的、上下文感知的語義分塊器，以實現最佳檢索效果。
5. 豐富（Refineries）：使用“Refineries”為資料塊增強有價值的元資料。這可以包括生成嵌入、建立摘要、識別主題或為每個塊新增標籤。
6. 連接（Handshakes）：與流行的向量資料庫（如Chroma、Qdrant和Turbopuffer）建立安全連接，以儲存處理和豐富後的資料塊，便於高效檢索。
7. 匯出（Porters）：最後，使用“Porters”將AI就緒的資料塊匯出為您期望的格式或目的地，使其可用於您的LLM或RAG應用。

Chonkie的核心功能

• 模組化管道：全面的六步流程（Documents, Chefs, Chunkers, Refineries, Handshakes, Porters）提供對資料準備的完全控制。
• 多格式擷取：原生支援廣泛的檔案格式，包括PDF、TXT、CSV、Markdown、DOCX、PPTX、XLSX以及程式碼檔案（Python、Java、JS/TSX、C++、Rust）。
• 進階分塊策略：提供基於規則的分塊器以追求速度和簡易性，以及能夠理解上下文的複雜語義分塊器，以實現更有意義的資料分割。
• 資料清理與豐富：整合的“Chefs”用於自動資料清理，“Refineries”用於透過嵌入、摘要、主題等元資料豐富資料塊。
• 向量資料庫整合：透過“Handshakes”功能，與領先的向量資料庫實現無縫、安全的連接，簡化RAG工作流程。
• 雙重部署模式：提供MIT授權的開源函式庫以實現最大程度的客製化，以及一個託管的“Chonkie Cloud”平台，以簡化使用和擴展。

Chonkie的使用案例

Chonkie 是建構複雜AI驅動解決方案的開發者和團隊的理想選擇：

• 檢索增強生成（RAG）：主要用例是透過向RAG系統提供分塊良好、相關且乾淨的上下文來建構高精度的RAG系統，從而顯著減少幻覺。
• 智慧聊天機器人：創建知識淵博的聊天機器人用於客戶支援或內部使用，能夠根據特定的文件語料庫（如知識庫或產品手冊）準確回答問題。
• AI驅動的資料分析：為AI驅動的分析、摘要、趨勢識別和主題建模預處理大量非結構化文字。
• 開發者輔助工具：擷取和結構化整個程式碼庫，以建構幫助開發者理解程式碼、尋找範例和除錯問題的AI助理。

Chonkie的優勢特點

使用 Chonkie 在AI開發中提供了顯著的競爭優勢：

• 消除幻覺：透過提供精確、真實性的上下文，Chonkie 幫助AI模型生成準確可靠的答案。
• 提升效率：透過最佳化輸入到模型的資料，可實現高達10倍的推論速度提升，並減少高達90%的權杖使用量。
• 內建引用功能：使AI模型能夠引用生成答案所使用的特定來源資料塊，增加了透明度和使用者信任。
• 開發者友善與靈活性：開源性質和模組化架構允許深度客製化，以適應任何專案的特定資料擷取需求。
• 可擴展的解決方案：從面向業餘愛好者的免費雲端計畫到本地部署的企業解決方案，Chonkie 隨您的專案成長而擴展。

定價和計劃

Chonkie 透過其 Chonkie Cloud 服務提供靈活的定價結構：

• Chonk-As-You-Go（按量付費）：一個免費入門計畫，每月0美元，包含5美元的初始額度。使用費用按基於規則的分塊器每MB 0.06美元和語義分塊器每MB 0.08美元計費。非常適合小型專案和測試。
• Growing Hippo（成長計畫）：定價為每月25美元，此計畫包含15美元的額度，並提供更低的費率（基於規則的每MB 0.04美元，語義的每MB 0.06美元）。它解鎖了進階功能，如支援DOCX/PPTX/XLSX、連接您自己的OCR模型以及使用Chunk Refineries。
• Business Chonkie（商業計畫）：一個企業計畫，每月500美元，包含150美元的額度。它具有最低的處理費率（基於規則的每MB 0.02美元，語義的每MB 0.04美元）、本地部署選項、24/7支援以及Chonkie團隊的實踐幫助來建構您的管道。