Skillgraph

Skillgraph 是一個創新性的開源（Apache 2.0 許可）框架，用於開發比現有工具構建的 AI 代理更有效、更經濟且更可控的 AI 代理。它解決了常見的痛點，例如高昂的營運成本、對代理控制不足以及實現多輪工作流程的複雜性。透過引入「技能」作為複雜的工作單元，Skillgraph 使代理能夠高效地委派複雜任務、管理狀態並協調多個工具。它專注於透過智能緩存和回退機制減少令牌浪費、簡化多輪交互並確保高可靠性。

如何使用Skillgraph

開發者可以使用 Skillgraph 定義和註冊「技能」，這些技能是封裝特定任務、邏輯和工作流程的智能單元。開發者無需直接指示代理調用低級工具，而是配置知道何時相關（透過意圖檢測）、可以處理多輪對話（技能模式）並管理其內部流程的技能。該框架提供了記憶（主客體）、緩存、可靠性（LLM 回退）和對話管理（摘要、向量搜索）的架構來支持這些技能。程式碼可在 GitHub 上獲取，允許直接實施和定制。

Skillgraph的核心功能

• 基於技能的架構：用複雜的「技能」取代傳統的工具調用，這些技能處理自己的邏輯、協調多個工具並管理狀態。
• 原生多輪支持（技能模式）：允許技能獨佔對話控制權，進行多輪交互，簡化了預訂或表單填寫等複雜工作流程。
• 主客體記憶架構：一種快速、廉價且有效的系統，透過追蹤用戶目標（主語）和當前討論主題（客體）來管理對話狀態，取代了複雜的 RAG 系統進行狀態管理。
• 智能緩存：實施多層緩存（系統提示的 Anthropic 提示緩存，對話歷史的 Redis）以顯著降低成本並提高檢索速度。
• 內置可靠性（LLM 回退鏈）：透過實施 LLM API 請求的回退鏈（例如，Beta → Alpha → 重試）和狀態分析的優雅降級，確保即使在部分中斷期間也能實現 99.9% 的正常運行時間。
• 開源（Apache 2.0）：根據 Apache 2.0 許可免費提供，可用於商業用途、修改和分發，程式碼在 GitHub 上。
• 意圖理解：使用快速分類器（Utility LLM）檢測用戶意圖，並根據語義相似性和關鍵字匹配將消息路由到最相關的技能。
• 向量搜索召回：利用 pgvector 在對話中語義搜索過去的消息，使代理能夠回憶起長對話中較早的信息。
• 對話摘要：每 10 條消息（可配置）採用增量摘要，管理上下文限制，使對話可以無限期地進行。
• 多 LLM 支持：支持 Anthropic、OpenAI、Azure、Bedrock、Deepseek、Together 和 Huggingface 等多種 LLM。
• 防護與安全：包括速率限制和 SQL 注入檢測等功能。

Skillgraph的使用案例

Skillgraph 非常適合希望構建高級、可靠且經濟高效的 AI 代理的開發者和組織。具體用例包括為客戶支持或虛擬助手開發複雜的對話式 AI 代理，創建複雜的多步驟任務自動化系統（例如，預訂票務、處理訂單、數據收集），以及實施需要長期交互中持久記憶和上下文的 AI 驅動工作流程。它也適用於實驗和構建需要高可靠性和成本效益的下一代代理式 AI 應用。

Skillgraph的優勢特點

Skillgraph 相對於傳統的 AI 代理框架具有多項關鍵優勢。透過基於技能的委派和智能緩存，它顯著降低了令牌使用和營運成本，從而使系統提示令牌的成本降低了 89%。開發者透過將邏輯封裝在技能中，可以更好地控制代理行為，確保更可預測的結果。該框架透過技能模式原生支持多輪工作流程，消除了對複雜變通方案的需求。內置的 LLM 回退鏈和優雅降級機制確保即使在 API 中斷期間也能實現穩健運行和更高的可靠性。此外，其主客體記憶架構為管理對話狀態提供了一種快速且廉價的替代傳統 RAG 的方法，其開源性質為商業用途和社區貢獻提供了靈活性。