最好的 LLM 評估 AI 工具

Plurai是一個AI代理信任平台，透過模擬、評估和防護欄加速生產級代理的開發。它能顯著降低失敗率、策略違規和成本，相較於大型語言模型優勢明顯。

Agenta 是一個開源的 LLMOps 平台，專為團隊建構可靠的 LLM 應用程式而設計。它將提示管理、系統性評估和可觀測性整合到單一的協作工作流程中，幫助開發人員、產品經理和領域專家從分散的流程轉向結構化的開發模式。

Athina 是一個協作式 AI 開發平台，旨在幫助團隊以 10 倍的速度建構、測試和監控 LLM 應用程式。它為提示工程、評估、實驗、標註和生產監控提供了一套全面的工具。Athina 支援技術和非技術使用者，確保無縫協作和高品質、可靠的 AI 系統的部署。

LangWatch 是一個一體化的開源平台，用於監控、評估和優化 LLM 應用。它專注於透過模擬使用者環境進行 AI 代理測試，幫助團隊在生產前捕獲回歸和邊緣案例。該平台結合了可觀測性、評估、優化和護欄功能，以確保 AI 應用的可靠性、安全性和高效能。

Deepchecks 是一個用於評估、驗證和監控基於 LLM 的應用程式的端到端平台。它幫助人工智慧團隊定義、衡量和驗證人工智慧的進展，透過簡化從開發、CI/CD 到生產的整個測試流程，確保發布高品質、可靠的應用程式。

EvalsOne 是一個專為生成式AI應用設計的一站式評估平台。它使團隊能夠透過一個強大直觀的介面，輕鬆地評估、迭代和優化LLM提示語、RAG流程和AI智能體，確保AI產品既健壯又具競爭力。

一款專為開發者設計的VSCode擴充功能，旨在簡化提示詞工程。它支援在程式碼庫中直接並排比較超過40種LLM（如OpenAI、Anthropic、Mistral）的回應，幫助您高效地為任何任務找到最佳模型。

Velvet是一個開發者閘道，現已併入Arize AI，專為分析、評估和監控AI功能而設計。它為AI可觀測性、LLM追蹤和模型效能管理提供了一套全面的解決方案，幫助開發者從開發到生產的全過程建構和完善AI應用。

Ragas 是一個用於評估和測試檢索增強生成（RAG）流程的開源 Python 框架。它提供了一套度量標準來衡量 LLM 應用的性能，從上下文檢索到答案生成。Ragas 受到 LangChain 和 LlamaIndex 等行業領導者的信賴，透過識別和減輕幻覺、不相關響應等問題，幫助開發者建構更穩健、可靠和準確的 AI 系統。

Keywords AI 是一個專為AI新創公司和開發者設計的全面LLM可觀測性與監控平台。它提供統一的API來部署、測試、監控和優化LLM工作流程，支援超過200種模型，透過簡單的兩行程式碼整合，幫助團隊更快地建構和發布可靠的AI功能。

一個面向開發者的平台，用於為AI應用創建可調、快速且經濟高效的評分和評估系統。它將定性標準轉化為精確的量化指標，用於模型監控、排名和RAG優化。

Basalt 是一個為開發者和產品團隊設計的端到端平台，用於建構、評估和監控可靠的 AI 代理。它提供了一套全面的工具，包括自動化評估、A/B 測試、帶 AI 助理的提示工程以及對開發者友善的 SDK，確保您的 AI 功能值得信賴並可隨時投入生產。

Evidently AI 是一個面向AI產品的綜合性測試與評估平台，專注於LLM和ML模型的監控。它透過自動化評估、合成數據生成、持續測試和對抗性攻擊，幫助團隊確保AI的安全性、可靠性和性能。該平台基於一個強大的開源庫建構，專為數據科學家和MLOps工程師設計，用於在問題影響用戶前檢測幻覺、數據漂移和PII洩漏等問題。

Adaline 是一個為產品和工程團隊設計的一站式端到端平台，用於迭代、評估、部署和監控大型語言模型（LLM）。它簡化了整個人工智慧應用的生命週期，實現了更快的開發、增強的協作以及可靠的AI功能部署。

Confident AI 是一個面向工程團隊的 LLM 評估與可觀測性平台。由開源庫 DeepEval 的創建者打造，它透過全面的指標、回歸測試和詳細的追蹤來幫助基準測試、保障和改進 LLM 應用，確保 AI 效能的穩定性。

RagaAI 是一個全面的人工智慧測試與可觀測性平台，旨在協助開發者和企業建構可靠的 AI 應用。它提供了一整套工具，用於觀察、評估和偵錯 AI 代理、大型語言模型（LLM）和 RAG 系統。核心功能包括代理測試、即時護欄、合成資料生成和微調能力。RagaAI 支援多模態資料（LLM、電腦視覺、表格資料），致力於自動化整個 AI 品質保證生命週期，從問題偵測到解決，確保 AI 部署的穩健性和可信度。

AfterQuery是一家AI研究實驗室，致力於透過創建高品質、人工生成的訓練資料集和無污染的基準測試來推動基礎模型的發展。它專注於透過卓越的訓練數據和嚴格的評估來提升模型性能。

promptfoo 是一個全面性的大型語言模型（LLM）測試與評估框架。它協助開發者和企業透過系統性測試、基準評估和AI驅動的紅隊演練，來比較提示詞品質、評估模型效能並增強AI安全性。它支援超過50家LLM供應商，包括本地模型，並提供對開發者友善的CLI，可無縫整合至開發工作流程中。

專為AI工程師打造的強大開源框架，用於評估和測試大型語言模型（LLM）應用。BenchLLM提供靈活的API和強大的CLI，可建構測試套件、產生品質報告，並將模型評估整合至CI/CD流程中，確保可預測的高品質結果。

getmaxim 是一個全面的生成式AI評估與可觀測性平台，專為AI開發團隊設計。它讓使用者能夠透過對LLM和RAG管道進行廣泛評估、自動化測試以及提供即時生產監控來測試、監控和改進AI應用，從而確保高品質、可靠和負責任的AI。

Giskard 是一個 AI 測試平台，旨在保護和驗證基於 LLM 的應用程式。它幫助企業團隊在部署前檢測並緩解幻覺、安全漏洞、偏見和性能問題等風險。透過自動化測試生成和持續的紅隊演練，Giskard 確保 AI 代理可靠、安全且合規。