EvalsOne

Basalt 是一個為開發者和產品團隊設計的端到端平台，用於建構、評估和監控可靠的 AI 代理。它提供了一套全面的工具，包括自動化評估、A/B 測試、帶 AI 助理的提示工程以及對開發者友善的 SDK，確保您的 AI 功能值得信賴並可隨時投入生產。

ParsePrompt 是一個專為開發者和 AI 團隊設計的進階提示工程平台。它能幫助您解析、分析、管理和優化 LLM 提示。將非結構化的文字提示轉化為結構化、可複用的範本，追蹤版本並進行有效協作，從而建構更可靠、更具成本效益的 AI 應用。

Confident AI 是一個面向工程團隊的 LLM 評估與可觀測性平台。由開源庫 DeepEval 的創建者打造，它透過全面的指標、回歸測試和詳細的追蹤來幫助基準測試、保障和改進 LLM 應用，確保 AI 效能的穩定性。

一個為開發者設計的平台，使用基於Git的版本控制來管理大型語言模型（LLM）的提示詞。簡化您的提示詞工程工作流程，與團隊協作，並無縫部署變更，無需修改程式碼。

一款專為開發者設計的VSCode擴充功能，旨在簡化提示詞工程。它支援在程式碼庫中直接並排比較超過40種LLM（如OpenAI、Anthropic、Mistral）的回應，幫助您高效地為任何任務找到最佳模型。

getmaxim 是一個全面的生成式AI評估與可觀測性平台，專為AI開發團隊設計。它讓使用者能夠透過對LLM和RAG管道進行廣泛評估、自動化測試以及提供即時生產監控來測試、監控和改進AI應用，從而確保高品質、可靠和負責任的AI。

Deepchecks 是一個用於評估、驗證和監控基於 LLM 的應用程式的端到端平台。它幫助人工智慧團隊定義、衡量和驗證人工智慧的進展，透過簡化從開發、CI/CD 到生產的整個測試流程，確保發布高品質、可靠的應用程式。

Confident AI 是一個面向工程團隊的 LLM 評估與可觀測性平台。由開源庫 DeepEval 的創建者打造，它透過全面的指標、回歸測試和詳細的追蹤來幫助基準測試、保障和改進 LLM 應用，確保 AI 效能的穩定性。

promptfoo 是一個全面性的大型語言模型（LLM）測試與評估框架。它協助開發者和企業透過系統性測試、基準評估和AI驅動的紅隊演練，來比較提示詞品質、評估模型效能並增強AI安全性。它支援超過50家LLM供應商，包括本地模型，並提供對開發者友善的CLI，可無縫整合至開發工作流程中。

Orq.ai 是一個端對端的生成式 AI 協作平台，專為軟體團隊設計，旨在將 LLM 應用從原型擴展到生產環境。它提供實驗、部署和可觀測性工具，使團隊能夠自信、可控地建構、監控和優化代理式 AI 系統。

thisorthis.ai 是一個強大的生成式AI模型並排比較平台。只需提交一個提示（文字或圖片），即可同時接收並評估多達6個不同模型（如GPT-4o、Gemini 1.5和Llama 3）的輸出。它採用靈活的即用即付模式，無需多個訂閱。對於希望為任何任務找到最優質AI生成回覆的專業人士和研究人員來說，它是優化效率和產出品質的理想選擇。

Velvet是一個開發者閘道，現已併入Arize AI，專為分析、評估和監控AI功能而設計。它為AI可觀測性、LLM追蹤和模型效能管理提供了一套全面的解決方案，幫助開發者從開發到生產的全過程建構和完善AI應用。

Basalt 是一個為開發者和產品團隊設計的端到端平台，用於建構、評估和監控可靠的 AI 代理。它提供了一套全面的工具，包括自動化評估、A/B 測試、帶 AI 助理的提示工程以及對開發者友善的 SDK，確保您的 AI 功能值得信賴並可隨時投入生產。

一個為開發者設計的平台，使用基於Git的版本控制來管理大型語言模型（LLM）的提示詞。簡化您的提示詞工程工作流程，與團隊協作，並無縫部署變更，無需修改程式碼。

一款專為開發者設計的VSCode擴充功能，旨在簡化提示詞工程。它支援在程式碼庫中直接並排比較超過40種LLM（如OpenAI、Anthropic、Mistral）的回應，幫助您高效地為任何任務找到最佳模型。

nonfinito 是一個用於評估和比較多模態AI模型的綜合平台。它使開發人員、研究人員和企業能夠在自訂提示上並排測試各種LLM，透過「通過/失敗」評級評估其性能，並分析原始輸出。創建公共或私人基準測試，為任何任務找到最佳模型。

OctoAI 是一個高效能運算平台，旨在協助開發者高效率地運行、調整和擴展生成式AI模型。它為Llama、Mixtral和Stable Diffusion等熱門的開源模型提供優化的、生產就緒的API端點。透過專注於深度系統優化，OctoAI提供了更快的推理速度和更低的成本，使企業能夠輕鬆建構和部署可擴展的AI應用程式，而無需管理複雜的基礎設施。

Arize 是一個專為開發、可觀測性與評估而設計的人工智慧與代理工程平台。它為團隊提供統一的解決方案，以更快地建構、監控、除錯和改進 LLM 及機器學習模型。透過打通開發與生產之間的閉環，Arize 協助確保人工智慧系統在規模化應用中可靠、值得信賴且高效能。

Braintrust 是一個用於開發、評估和部署穩健的 LLM 應用程式的端對端平台。它為提示詞工程、模型評估、即時追蹤和生產監控提供了一套全面的工具。Braintrust 專為技術和非技術團隊成員設計，有助於簡化 AI 開發生命週期，確保 AI 產品可靠、有效並為生產做好準備。