boundaryml

boundaryml，也被稱為 BAML (Boundary AI Markup Language)，是一種功能強大且富有表現力的語言，專為使用大型語言模型 (LLM) 的開發人員設計。其主要目標是解決 AI 開發中的一個關鍵挑戰：從 LLM 通常不可預測的輸出中可靠地獲取結構化資料，例如 JSON。BAML 用一個強固的、型別安全的框架取代了脆弱的提示工程和手動解析，將 LLM 互動視為軟體開發生命週期的核心部分。

該平台提供了一個全面的工具包，簡化了定義、測試和部署由 AI 驅動的資料提取管道的整個過程。透過在 `.baml` 檔案中定義資料模式和提示，開發人員可以利用靜態分析、即時回饋和專用的 VSCode 遊樂場來快速迭代。BAML 的智慧型解析器是一個突出的功能，它能自動糾正常見的 LLM 輸出錯誤，如結尾逗號、未加引號的鍵和其他 JSON 格式問題，從而防止執行時失敗並確保資料完整性。

如何使用 boundaryml

對於開發人員來說，開始使用 boundaryml 非常簡單。該過程從透過 pip 安裝必要的套件開始：

$ pip install baml-py

1. 定義您的模式： 在您的專案中建立一個 `.baml` 檔案。在此檔案中，您可以使用 BAML 直觀的語法（包括類別和列舉，類似於現代程式語言）來定義所需的輸出結構。您還可以編寫將發送給 LLM 的提示，並使用 Jinja 範本來處理動態內容。

2. 在遊樂場中開發和測試： 使用 BAML VSCode 擴充功能，它提供了一個整合的遊樂場。這使您能夠針對不同的 LLM（如 GPT-4o、Claude 3.5 等）測試您的提示，查看即時輸出，並在編寫任何應用程式程式碼之前偵錯任何問題。該遊樂場還支援多模態輸入，允許您使用圖像和音訊進行測試。

3. 產生和使用客戶端： BAML 的編譯器會以您選擇的語言（例如 Python、TypeScript）產生一個型別安全的客戶端。然後，您可以直接在您的應用程式程式碼中匯入和呼叫您的 BAML 函數，就像任何其他函式庫函數一樣。BAML 會處理底層的 LLM API 呼叫、解析和錯誤糾正。

4. 自信地部署： 整合後，您的應用程式可以可靠地呼叫 LLM 以獲取結構化資料。對於生產環境，boundaryml 提供了 Boundary Studio，這是一個用於可觀察性、監控和微調的 MLOps 套件。

boundaryml 的核心功能

• 富有表現力的 BAML 語言： 一種用於定義提示和資料模式的專用語法，將提示工程轉變為更結構化的編碼實踐。
• 進階錯誤糾正解析器： 自動修復來自 LLM 輸出的損壞的 JSON 和其他格式錯誤，確保高可靠性。
• 模型無關的函數呼叫： 與包括 OpenAI、Anthropic、Google 和開源替代品在內的各種模型無縫協作，通常性能優於原生的函數呼叫功能。
• 型別安全的客戶端產生： 為多種語言（Python、TypeScript、Ruby、Go 等）產生客戶端，提供完整的型別安全和編輯器自動完成功能。
• 整合的 VSCode 遊樂場： 一個用於快速原型設計、測試和偵錯提示及資料提取邏輯的互動式環境。
• 語義流式傳輸： 一種先進的技術，用於流式傳輸結構化資料物件，而不僅僅是原始文本令牌，從而實現更靈敏的使用者體驗。
• 多模態能力： 在提示中支援如音訊和圖像等非文本輸入。
• 開源核心： 核心的 BAML 語言和工具是免費的，並根據 Apache 2.0 授權條款開源。

boundaryml 的使用案例

boundaryml 非常適用於任何依賴於從 LLM 獲取結構化資訊的應用程式：

• 資料提取： 將履歷、發票、合約和客戶郵件等非結構化文件解析為結構化格式。
• AI 代理開發： 透過確保 LLM 的輸出正確匹配所需的函數簽名，建構使用工具和函數的可靠 AI 代理。
• 內容分類和標記： 根據內容自動對使用者回饋、支援工單或文章進行分類。
• RAG (檢索增強生成) 系統： 結構化 RAG 管道的輸出，例如，以一致的格式產生帶引用的答案。
• 自然語言到 API： 將使用者的自然語言請求轉換為結構化的 API 呼叫或資料庫查詢。

boundaryml 的優勢特點

開發人員選擇 boundaryml 的原因有幾個關鍵優勢：

• 增強的可靠性： 大大減少解析失敗，並消除了對複雜的 `JSON.parse()` try-catch 區塊的需求。
• 改善的開發體驗： 類似程式碼的語法、靜態分析和整合的測試遊樂場顯著加快了迭代速度並提高了程式碼品質。
• 成本和性能優化： BAML 高效的提示技術可以減少令牌使用量並縮短首個令牌的生成時間，而不會犧牲準確性。
• 跨平台和多語言： 在 BAML 中定義一次邏輯，即可在用各種程式語言編寫的不同服務中使用。
• 最先進的結果： 基準測試表明，與原生模型實作相比，BAML 在函數呼叫任務中取得了卓越的性能。

定價和計劃

boundaryml 採用免費增值模式，使其對從個人開發者到大型企業的每個人都可用。

• 入門計劃（永久免費）： 此計劃完全免費，包括核心的 BAML 語言（Apache 2.0 授權）、從 LLM 獲取結構化資料的能力、具有多模態功能的 VSCode 遊樂場，以及透過 Discord 和 GitHub 提供的社群支援。
• 企業計劃（客製化價格）： 專為需要最高級別可靠性和支援的企業量身打造。它包括入門計劃中的所有內容，外加對 Boundary Studio（一個具有可觀察性、資料標記和微調支援的 MLOps 套件）的存取權限、SLA 保證、專用的 Slack 支援、架構審查和優先功能請求。有意者應聯繫銷售獲取報價。