Zep

Zep 是一個先進的上下文工程平台，旨在幫助開發者建構具有持久性長期記憶的複雜 AI 代理。Zep 超越了簡單的提示工程，專注於系統性地為大型語言模型（LLM）提供所有必要的上下文——包括使用者歷史、業務數據和對話細節——以實現可靠和準確的任務完成。該平台的核心創新在於其能夠將對話和數據轉化為一個隨時序演進的知識圖譜，確保 AI 代理始終掌握最相關、最新的資訊。

Zep 的核心解決了無狀態 LLM 的根本局限性，即它們缺乏對過去互動的記憶。透過創建一個「活」的知識圖譜，Zep 允許代理記住使用者的偏好、之前的對話和關鍵業務背景，使用者無需重複資訊，從而實現真正的個人化體驗。這是透過自動實體提取、關係對應和事實核對的組合實現的，從而使知識庫能夠隨著時間的推移保持準確和連貫。

如何使用 Zep

Zep 旨在無縫整合到現有的 AI 開發工作流程中，特別適合使用 LangChain 和 LangGraph 等框架的開發者。入門過程非常簡單，只需幾行程式碼即可完成。

1. 註冊並取得 API 金鑰： 在 Zep 網站上從免費方案開始，取得您的 API 憑證。初始設定無需信用卡。
2. 安裝 Zep 客戶端： 將 Zep 客戶端函式庫整合到您的 Python 應用程式中。
3. 向記憶體中新增對話： 在您的代理程式碼中，使用簡單的函式呼叫將新訊息新增到使用者會話記憶體中。例如：zep.memory.add(session_id, messages)。Zep 會自動處理此對話，提取事實和實體，並更新知識圖譜。
4. 檢索相關上下文： 在呼叫您的 LLM 之前，從 Zep 檢索已組裝好的上下文。像 memory = zep.memory.get(session_id) 這樣的單一呼叫，即可提供一個最佳化的上下文區塊，其中包含與當前互動相關的關鍵事實、實體和摘要。
5. 注入業務數據： 透過注入 JSON、文字或訊息格式的數據，連接您的業務數據源（如 CRM、計費系統或支援資料庫）。Zep 會將這些資訊整合到知識圖譜中，使其可供檢索。

Zep 的核心功能

• 代理記憶： 為代理提供完美的、持久的使用者偏好、過去對話和關鍵細節的記憶，確保所有互動中的對話連續性。
• 圖譜 RAG： 一個基於知識圖譜的超快速檢索增強生成系統。它能理解您業務數據中的複雜關係和上下文，並在毫秒級內處理動態資訊。
• 自動上下文組裝： 自動建構結構化的、為 LLM 準備好的上下文區塊。它將使用者特徵、互動歷史和業務數據組合成一種節省權杖的格式，無需手動製作提示。
• 時序知識圖譜建構： 自動從非結構化對話和結構化數據中提取實體、關係和事實。它會將新資訊與現有數據進行核對，甚至會使過時的事實失效，以隨時間保持準確性。
• 企業級合規性： 提供 SOC 2 Type II 認證並符合 HIPAA 標準，使其適用於醫療保健等受監管行業的應用。

Zep 的使用案例

Zep 的功能可應用於各種領域，以創建高度個人化和高效的 AI 代理：

• 客戶支援： 代理可以存取客戶的完整互動歷史、先前問題和帳戶詳情，從而提供快速、準確和個人化的支援，而無需詢問重複性問題。
• 銷售與市場行銷： 銷售代理可以回憶潛在客戶的偏好、產品興趣、過去的定價討論和互動模式，以個人化推廣並加速銷售週期。
• 電子商務： 透過記住使用者的風格偏好、購買歷史甚至最近的投訴（例如，鞋子壞了），個人化購物體驗，使代理能夠提供高度相關的推薦。
• 醫療保健： 符合 HIPAA 標準的代理可以安全地管理患者互動歷史，幫助安排預約、進行後續追蹤，並在保持上下文和隱私的同時提供資訊。
• 教育： AI 導師可以記住學生的學習進度、難點和偏好的學習方式，以創造適應性強且有效的教育體驗。

Zep 的優勢特點

Zep 為 AI 應用帶來了顯著的性能和效率提升：

• 準確性大幅提升： 透過提供正確的上下文，Zep 在複雜任務上的代理性能實現了超過 100% 的準確性提升。
• 降低延遲： 最佳化的上下文檢索和組裝使延遲降低了 90%，實現了即時互動。
• 高權杖效率： 智慧上下文組裝可將權杖使用量減少高達 98%，在保持全面理解的同時降低了營運成本。
• 快速開發： 開發者可以在幾天內而不是幾個月內部署個人化代理，避免了從零開始建構複雜的記憶和檢索基礎設施。
• 可擴展且安全： Zep 為團隊建構並經過規模驗證，提供企業級安全性，包括 SOC 2 和 HIPAA 合規性，以及私有雲部署（BYOC）選項。

定價和計劃

Zep 提供靈活的、基於用量的定價模式，適用於各種規模的專案。

• 計量方案（免費增值）： 此方案非常適合開發者和成長中的應用。它包含一個慷慨的免費層級，每月提供 2,500 則訊息和 2.5MB 的圖譜數據。超出免費配額後，定價為每 1,000 則訊息 1.25 美元，每 MB 圖譜數據 2.50 美元。
• 企業方案： 專為任務關鍵型應用設計，此方案提供自訂限制、SOC 2 Type II 認證、包含 HIPAA BAA、單租戶、專屬 Slack 支援和 SLA 保證。
• 企業 BYOC（自備雲端）： 為了最大限度地控制數據和安全性，Zep 可以部署在您自己的 AWS、GCP 或 Azure 環境中，確保數據永遠不會離開您的安全邊界。
• 新創公司信用額度： 獲得風險投資的新創公司可以申請 2,500 美元的訂閱信用額度。