Skillgraph

Skillgraph là một framework mã nguồn mở (được cấp phép Apache 2.0) sáng tạo để phát triển các tác nhân AI hiệu quả, kinh tế và có thể kiểm soát hơn so với những tác nhân được xây dựng bằng các công cụ hiện có. Nó giải quyết các vấn đề thường gặp như chi phí vận hành cao, thiếu kiểm soát tác nhân và sự phức tạp trong việc triển khai các quy trình làm việc đa lượt. Bằng cách giới thiệu 'kỹ năng' như các đơn vị công việc tinh vi, Skillgraph cho phép các tác nhân ủy quyền các tác vụ phức tạp, quản lý trạng thái và điều phối nhiều công cụ một cách hiệu quả. Nó tập trung vào việc giảm lãng phí token, đơn giản hóa các tương tác đa lượt và đảm bảo độ tin cậy cao thông qua các cơ chế bộ nhớ đệm và dự phòng thông minh.

Cách sử dụng Skillgraph

Các nhà phát triển có thể sử dụng Skillgraph để định nghĩa và đăng ký 'kỹ năng', là các đơn vị thông minh bao gồm các tác vụ, logic và quy trình làm việc cụ thể. Thay vì trực tiếp hướng dẫn một tác nhân gọi các hàm công cụ cấp thấp, các nhà phát triển cấu hình các kỹ năng biết khi nào chúng liên quan (thông qua phát hiện ý định), có thể xử lý các cuộc hội thoại đa lượt (Chế độ Kỹ năng) và quản lý các quy trình nội bộ của riêng chúng. Framework này cung cấp kiến trúc cho bộ nhớ (Chủ thể-Đối tượng), bộ nhớ đệm, độ tin cậy (dự phòng LLM) và quản lý hội thoại (tóm tắt, tìm kiếm vector) để hỗ trợ các kỹ năng này. Mã nguồn có sẵn trên GitHub, cho phép triển khai và tùy chỉnh trực tiếp.

Tính năng chính của Skillgraph

• Kiến trúc dựa trên kỹ năng: Thay thế cách gọi công cụ truyền thống bằng các 'kỹ năng' tinh vi tự xử lý logic, điều phối nhiều công cụ và quản lý trạng thái.
• Hỗ trợ đa lượt tự nhiên (Chế độ Kỹ năng): Cho phép các kỹ năng kiểm soát độc quyền cuộc hội thoại trong nhiều lượt, đơn giản hóa các quy trình làm việc phức tạp như đặt vé hoặc điền biểu mẫu.
• Kiến trúc bộ nhớ Chủ thể-Đối tượng: Một hệ thống nhanh, rẻ và hiệu quả để quản lý trạng thái hội thoại bằng cách theo dõi mục tiêu của người dùng (Chủ thể) và chủ đề thảo luận hiện tại (Đối tượng), thay thế các hệ thống RAG phức tạp cho trạng thái.
• Bộ nhớ đệm thông minh: Triển khai bộ nhớ đệm đa lớp (bộ nhớ đệm prompt Anthropic cho prompt hệ thống, Redis cho lịch sử hội thoại) để giảm đáng kể chi phí và cải thiện tốc độ truy xuất.
• Độ tin cậy tích hợp (Chuỗi dự phòng LLM): Đảm bảo thời gian hoạt động cao (99,9%) bằng cách triển khai các chuỗi dự phòng cho các yêu cầu API LLM (ví dụ: Beta → Alpha → Thử lại) và giảm cấp độ linh hoạt cho phân tích trạng thái.
• Mã nguồn mở (Apache 2.0): Miễn phí sử dụng thương mại, sửa đổi và phân phối, với mã nguồn trên GitHub.
• Hiểu ý định: Sử dụng bộ phân loại nhanh (Utility LLM) để phát hiện ý định của người dùng và định tuyến tin nhắn đến kỹ năng phù hợp nhất dựa trên sự tương đồng ngữ nghĩa và khớp từ khóa.
• Tìm kiếm vector để gợi nhớ: Sử dụng pgvector để tìm kiếm ngữ nghĩa các tin nhắn trong quá khứ trong một cuộc hội thoại, cho phép các tác nhân gợi nhớ thông tin từ các tương tác trước đó trong các cuộc hội thoại dài.
• Tóm tắt hội thoại: Sử dụng tóm tắt tăng dần cứ sau 10 tin nhắn (có thể cấu hình) để quản lý giới hạn ngữ cảnh, cho phép các cuộc hội thoại tiếp tục vô thời hạn.
• Hỗ trợ đa LLM: Hỗ trợ nhiều LLM khác nhau bao gồm Anthropic, OpenAI, Azure, Bedrock, Deepseek, Together và Huggingface.
• Hàng rào bảo vệ & Bảo mật: Bao gồm các tính năng như giới hạn tốc độ và phát hiện tấn công SQL injection.

Các trường hợp sử dụng Skillgraph

Skillgraph lý tưởng cho các nhà phát triển và tổ chức muốn xây dựng các tác nhân AI tiên tiến, đáng tin cậy và tiết kiệm chi phí. Các trường hợp sử dụng cụ thể bao gồm phát triển các tác nhân AI đàm thoại tinh vi cho hỗ trợ khách hàng hoặc trợ lý ảo, tạo các hệ thống tự động hóa tác vụ đa bước phức tạp (ví dụ: đặt vé, xử lý đơn hàng, thu thập dữ liệu) và triển khai các quy trình làm việc do AI điều khiển yêu cầu bộ nhớ và ngữ cảnh liên tục trong các tương tác dài. Nó cũng phù hợp để thử nghiệm và xây dựng các ứng dụng AI tác nhân thế hệ tiếp theo đòi hỏi độ tin cậy cao và hiệu quả chi phí.

Ưu điểm của Skillgraph

Skillgraph mang lại một số lợi thế chính so với các framework tác nhân AI truyền thống. Nó cung cấp hiệu quả chi phí đáng kể bằng cách giảm sử dụng token thông qua ủy quyền dựa trên kỹ năng và bộ nhớ đệm thông minh, dẫn đến giảm 89% chi phí token prompt hệ thống. Các nhà phát triển có được quyền kiểm soát nâng cao đối với hành vi của tác nhân bằng cách đóng gói logic trong các kỹ năng, đảm bảo kết quả dễ dự đoán hơn. Framework này đơn giản hóa các quy trình làm việc đa lượt với hỗ trợ tự nhiên thông qua Chế độ Kỹ năng, loại bỏ nhu cầu về các giải pháp phức tạp. Các chuỗi dự phòng LLM tích hợp và cơ chế giảm cấp độ linh hoạt đảm bảo hoạt động mạnh mẽ và độ tin cậy cao hơn ngay cả trong thời gian ngừng hoạt động của API. Hơn nữa, kiến trúc bộ nhớ Chủ thể-Đối tượng của nó cung cấp một giải pháp thay thế nhanh chóng và rẻ tiền cho RAG truyền thống để quản lý trạng thái hội thoại, và tính chất mã nguồn mở của nó mang lại sự linh hoạt cho việc sử dụng thương mại và đóng góp của cộng đồng.