HoneyHive

LangWatch 是一個一體化的開源平台，用於監控、評估和優化 LLM 應用。它專注於透過模擬使用者環境進行 AI 代理測試，幫助團隊在生產前捕獲回歸和邊緣案例。該平台結合了可觀測性、評估、優化和護欄功能，以確保 AI 應用的可靠性、安全性和高效能。

Atla AI 是一個專為 AI 代理（Agent）設計的可觀測性與評估平台。它透過深入洞察代理行為，幫助開發者發現、理解和修復代理的故障。該平台能自動偵測錯誤、識別重複出現的模式，並提供可行的改進建議，以持續提升代理的性能和任務完成率。

Laminar 是一個專為建構可靠 AI 應用的開發者設計的開源可觀測性與評估平台。它提供全面的工具用於追蹤、評估和偵錯由 LLM 驅動的系統。核心功能包括即時追蹤、瀏覽器代理可觀測性、互動式實驗場和整合的資料集管理，從而簡化從開發到生產的整個 MLOps 生命週期。

Arize 是一個專為開發、可觀測性與評估而設計的人工智慧與代理工程平台。它為團隊提供統一的解決方案，以更快地建構、監控、除錯和改進 LLM 及機器學習模型。透過打通開發與生產之間的閉環，Arize 協助確保人工智慧系統在規模化應用中可靠、值得信賴且高效能。

Zencoder 是一款先進的 AI 編碼代理，旨在自動化常規開發任務。它深度整合到您的工作流程中，理解您的整個程式碼庫，以自主實現功能、編寫測試、修復錯誤和重構程式碼。借助可自訂的「Zen Agents」以及與 VS Code、JetBrains 和 100 多種開發工具的無縫整合，Zencoder 使工程團隊能夠專注於創新並更快地交付產品。

Braintrust 是一個用於開發、評估和部署穩健的 LLM 應用程式的端對端平台。它為提示詞工程、模型評估、即時追蹤和生產監控提供了一套全面的工具。Braintrust 專為技術和非技術團隊成員設計，有助於簡化 AI 開發生命週期，確保 AI 產品可靠、有效並為生產做好準備。

Laminar 是一個專為建構可靠 AI 應用的開發者設計的開源可觀測性與評估平台。它提供全面的工具用於追蹤、評估和偵錯由 LLM 驅動的系統。核心功能包括即時追蹤、瀏覽器代理可觀測性、互動式實驗場和整合的資料集管理，從而簡化從開發到生產的整個 MLOps 生命週期。

Langfuse 是一個開源的 LLM 工程平台，為偵錯、評估和改進 LLM 應用提供全面的工具。它提供追蹤、提示詞管理、評估框架和指標等功能，為使用大型語言模型進行建構的團隊簡化整個開發生命週期。

Teammately 是一個專為AI工程師設計的高級AI代理平台。它能自動化並加速整個AI開發生命週期，從提示詞生成、RAG建構到多維度評估和生產環境可觀測性。用更少的時間，建構可靠、可擴展且安全的，難以出錯的AI應用。

Atla AI 是一個專為 AI 代理（Agent）設計的可觀測性與評估平台。它透過深入洞察代理行為，幫助開發者發現、理解和修復代理的故障。該平台能自動偵測錯誤、識別重複出現的模式，並提供可行的改進建議，以持續提升代理的性能和任務完成率。

Valyr (前身為 Helicone) 是一個開源的 LLM 可觀測性平台和 AI 閘道。它幫助開發者監控、偵錯和分析他們的 AI 應用，透過單一整合即可存取超過100種模型，管理成本，並透過快取和速率限制等功能提高可靠性。

Helicone 是一個為開發者提供的開源平台，整合了 AI 閘道和 LLM 可觀測性功能。它透過提供路由、監控、偵錯和分析 LLM 使用情況的工具，幫助建構可靠的 AI 應用程式。主要功能包括支援100多種模型的統一 API、智慧快取、速率限制、提示詞管理和詳細的效能分析。

OpenLIT 是一個專為生成式 AI 和 LLM 應用程式設計的開源、OpenTelemetry 原生可觀測性平台。它透過請求追蹤、成本追蹤、異常監控和效能分析等工具簡化了開發流程。OpenLIT 擁有集中的提示詞儲存庫、用於儲存密鑰的安全保管庫以及用於比較 LLM 的實驗場，為高效監控和擴展 AI 應用程式提供了全面的解決方案。

Radicalbit 是一個企業級 MLOps 平台，專為大規模部署、服務和監控 AI 及 LLM 模型而設計。它提供即時可觀測性、可解釋性和資料完整性，以加速價值實現時間、降低營運成本，並確保 AI 應用的強大治理和合規性。

smallhours 是一個為開發者打造的AI平台，可實現全天候自動化根本原因分析（RCA）。它透過OpenTelemetry與您的技術堆疊整合，監控系統，利用您的程式碼庫和執行手冊作為上下文診斷問題，將解決時間加快10倍，從而最大限度地減少停機時間並簡化值班職責。

Firecrawl 是一個開源的、開發者優先的 API，可將任何網站轉化為乾淨的、適用於大型語言模型（LLM）的資料。它能處理網頁抓取的所有複雜問題，包括 JavaScript 渲染、代理輪換和速率限制，讓您能夠使用可靠的網頁內容來驅動 AI 應用、智慧體和 RAG 系統。它透過一個簡單的 API 提供抓取、爬取和搜尋功能。

Pydantic 是一個為開發者設計的綜合平台，提供強大的資料驗證、AI 開發工具和全端可觀測性解決方案。它透過利用型別提示進行執行時資料驗證，並提供從本地開發到生產環境的深度洞察，從而在 Python 和其他語言中實現更快、更穩健的應用程式開發。

Mastra 是一個開源 TypeScript 框架，專為開發人員設計，用於建構、部署和管理複雜的人工智慧智慧體和工作流程。它提供了一個對開發者友善的 SDK，具備持久化記憶體、工具呼叫、檢索增強生成（RAG）和確定性工作流程圖等功能。Mastra 由 Gatsby 團隊打造，旨在簡化在 JavaScript 生態系統中創建生產級 AI 應用的過程。

Langflow 是一個開源的視覺化使用者介面，用於建構和部署 AI 應用。它提供拖放式介面，可連接大型語言模型（LLM）、AI 代理和工具，從而實現 RAG 和多代理系統等複雜工作流程的快速原型設計和部署。它支援廣泛的整合，並提供自託管和雲端兩種選擇。

PromptLayer 是您用於 AI 工程的綜合工作臺，為提示詞管理、評估和 LLM 可觀測性提供統一平臺。它使團隊能夠對每個提示詞和代理進行版本控制、測試和監控，促進技術和非技術利害關係人之間的協作，從而高效地建構和擴展生產就緒的 AI 應用程式。