Keywords AI

Valyr (前身为 Helicone) 是一个开源的 LLM 可观测性平台和 AI 网关。它帮助开发者监控、调试和分析他们的 AI 应用，通过单一集成即可访问超过100种模型，管理成本，并通过缓存和速率限制等功能提高可靠性。

Treblle 是一款一体化 API 智能与管理平台，旨在帮助开发者和企业在整个 API 生命周期中理解、监控和保护其 API。它提供实时可观测性、自动文档生成、高级安全分析和 AI 驱动的洞察，以简化 API 开发、提高性能并确保强大的治理。

getmaxim 是一个全面的生成式AI评估与可观测性平台，专为AI开发团队设计。它使用户能够通过对LLM和RAG管道进行广泛评估、自动化测试以及提供实时生产监控来测试、监控和改进AI应用，从而确保高质量、可靠和负责任的AI。

Confident AI 是一个面向工程团队的 LLM 评估和可观测性平台。由开源库 DeepEval 的创建者打造，它通过全面的指标、回归测试和详细的追踪来帮助基准测试、保障和改进 LLM 应用，确保 AI 性能的稳定性。

Velvet是一个开发者网关，现已并入Arize AI，专为分析、评估和监控AI功能而设计。它为AI可观测性、LLM追踪和模型性能管理提供了一套全面的解决方案，帮助开发者从开发到生产的全过程构建和完善AI应用。

Basalt 是一个为开发者和产品团队设计的端到端平台，用于构建、评估和监控可靠的 AI 代理。它提供了一套全面的工具，包括自动化评估、A/B 测试、带 AI 助手的提示工程以及对开发者友好的 SDK，确保您的 AI 功能值得信赖并可随时投入生产。

getmaxim 是一个全面的生成式AI评估与可观测性平台，专为AI开发团队设计。它使用户能够通过对LLM和RAG管道进行广泛评估、自动化测试以及提供实时生产监控来测试、监控和改进AI应用，从而确保高质量、可靠和负责任的AI。

Confident AI 是一个面向工程团队的 LLM 评估和可观测性平台。由开源库 DeepEval 的创建者打造，它通过全面的指标、回归测试和详细的追踪来帮助基准测试、保障和改进 LLM 应用，确保 AI 性能的稳定性。

Velvet是一个开发者网关，现已并入Arize AI，专为分析、评估和监控AI功能而设计。它为AI可观测性、LLM追踪和模型性能管理提供了一套全面的解决方案，帮助开发者从开发到生产的全过程构建和完善AI应用。

Braintrust 是一个用于开发、评估和部署稳健的 LLM 应用程序的端到端平台。它为提示词工程、模型评估、实时追踪和生产监控提供了一套全面的工具。Braintrust 专为技术和非技术团队成员设计，有助于简化 AI 开发生命周期，确保 AI 产品可靠、有效并为生产做好准备。

PromptLayer 是您用于 AI 工程的综合工作台，为提示词管理、评估和 LLM 可观测性提供统一平台。它使团队能够对每个提示词和代理进行版本控制、测试和监控，促进技术和非技术利益相关者之间的协作，从而高效地构建和扩展生产就绪的 AI 应用程序。

Athina 是一个协作式 AI 开发平台，旨在帮助团队以 10 倍的速度构建、测试和监控 LLM 应用程序。它为提示工程、评估、实验、标注和生产监控提供了一套全面的工具。Athina 支持技术和非技术用户，确保无缝协作和高质量、可靠的 AI 系统的部署。

Parea AI 是一个用于开发、测试和监控 LLM（大语言模型）应用的一站式平台。它提供实验跟踪、可观测性、评估和人工标注工具，帮助团队自信地将 AI 系统投入生产。

Valyr (前身为 Helicone) 是一个开源的 LLM 可观测性平台和 AI 网关。它帮助开发者监控、调试和分析他们的 AI 应用，通过单一集成即可访问超过100种模型，管理成本，并通过缓存和速率限制等功能提高可靠性。

APIPark 是一款开源 AI 网关和开发者门户，旨在帮助企业高效地管理、集成和部署 AI 服务。它能集中管理 LLM 调用、降低成本，并提供 API 共享、监控和安全工具。

LangWatch 是一个一体化的开源平台，用于监控、评估和优化 LLM 应用。它专注于通过模拟用户环境进行 AI 代理测试，帮助团队在生产前捕获回归和边缘案例。该平台结合了可观测性、评估、优化和护栏功能，以确保 AI 应用的可靠性、安全性和高性能。

Vaultic 是一个面向 AI 开发团队的集中式提示词管理平台。它使用户能够大规模地对 AI 提示词进行版本控制、测试、协作和部署，消除了硬编码提示词的弊端，并通过一个统一、有序的界面简化了整个 AI 逻辑工作流。

一个面向开发者的平台，用于为AI应用创建可调、快速且经济高效的评分和评估系统。它将定性标准转化为精确的量化指标，用于模型监控、排名和RAG优化。

Langfuse 是一个开源的 LLM 工程平台，为调试、评估和改进 LLM 应用提供全面的工具。它提供追踪、提示词管理、评估框架和指标等功能，为使用大语言模型进行构建的团队简化整个开发生命周期。