promptfoo

promptfoo 是一款专业级工具，旨在帮助开发者和企业构建安全、可靠且高性能的AI应用程序。它是一个用于评估、测试和提高提示词质量以及各种大型语言模型（LLM）性能的综合框架。promptfoo 受到27家财富500强公司和庞大的开源社区的信赖，提供了在部署前确保AI系统稳健和安全所需的工具。

promptfoo 的核心理念是实现系统性的比较和评估。用户可以同时针对多个LLM测试不同的提示词，并排分析输出结果，并做出数据驱动的决策。这对于优化性能、降低成本以及为特定用例选择最佳模型至关重要。此外，promptfoo 非常重视安全性，提供了AI驱动的红队演练等高级功能，以主动识别提示词注入、数据泄露和生成有毒内容等漏洞。

如何使用 promptfoo

使用 promptfoo 非常简单，专为开发者设计。整个过程通常涉及命令行界面（CLI）和一个简单的YAML配置文件。

1. 安装与初始化： 通过运行像 npx promptfoo@latest init 这样的单个命令开始。该命令会以交互方式在您的项目中设置一个配置文件（promptfooconfig.yaml）。
2. 配置： 编辑 promptfooconfig.yaml 文件。在这里，您可以定义要测试的提示词（使用 {{variable_name}} 这样的变量进行动态输入），指定LLM提供商（例如OpenAI、Anthropic、Google或通过Ollama的本地模型），并创建您的测试用例。
3. 定义测试用例： 在YAML文件的“tests”部分，您可以列出将用于测试提示词的各种输入（测试用例）。您还可以添加“断言”（assertions），以自动检查模型的输出是否符合特定标准（例如，不包含某些短语、是有效的JSON格式，或通过基于LLM的评估标准）。
4. 运行评估： 在终端中执行命令 npx promptfoo@latest eval。promptfoo 将会使用每个测试用例，针对所有指定的提供商运行您的所有提示词。
5. 查看结果： 评估完成后，运行 npx promptfoo@latest view 打开一个基于Web的用户界面。该界面以清晰的并排比较方式展示所有输出，突出显示哪些通过或未通过您的断言，使分析结果和迭代变得容易。

promptfoo 的核心功能

• 系统性评估： 在结构化的并排视图中比较提示词、模型和模型参数，以找到最佳配置。
• AI驱动的红队演练： 自动生成并运行定制化攻击，以发现提示词注入、数据泄露、不安全的工具使用和有毒内容生成等漏洞。
• 模型质量基准测试： 评估和比较超过50家LLM提供商的性能、成本和速度，包括OpenAI、Google、Anthropic以及像Llama这样的本地模型。
• 自动断言和指标： 使用各种断言类型定义通过/失败标准，包括JavaScript表达式、Python代码，甚至基于LLM的检查（评估标准）来自动评分输出。
• 开发者友好的工作流： 一个强大的CLI，具有实时重新加载和缓存等功能，以加速开发周期。它以安全为先，核心工具无需SDK或云依赖。
• 灵活部署： 免费使用开源CLI，或选择托管云或本地企业解决方案以获得高级功能、协作和支持。

promptfoo 的使用案例

promptfoo 用途广泛，可应用于各种场景：

• 提示词工程： 迭代优化提示词，以从LLM获得更准确、一致和理想的响应。
• 模型选择： 在您的特定数据上对不同模型（例如GPT-4o vs. Claude 3 Sonnet vs. Llama 3）进行基准测试，以选择最具成本效益和性能的选项。
• 回归测试： 将 promptfoo 集成到您的CI/CD流水线中，以确保对提示词或底层模型的更新不会降低性能或引入新问题。
• AI安全审计： 在AI应用程序被生产环境利用之前，主动测试其安全漏洞。
• RAG系统质量保证： 通过测试生成答案的相关性和准确性，评估检索增强生成（RAG）系统的质量。
• 内容审核与安全： 确保您的AI应用程序遵守安全准则，不产生有害、有偏见或不当的内容。

promptfoo 的优势特点

promptfoo 的主要优势在于其专注于构建稳健和安全的AI。它超越了简单的提示词测试，形成了一个整体的质量和安全保证框架。它是开源的、高度灵活的，并在企业规模上经过了实战检验。通过在本地运行而无需云依赖，它确保了您数据的隐私和安全。该工具使团队能够快速而自信地行动，因为他们知道自己的AI应用程序既有效又安全。

定价和计划

promptfoo 采用 免费增值 模式。核心的命令行工具是开源的，完全免费使用。对于需要高级功能的团队和企业，promptfoo 提供付费解决方案：

• 开源版（免费）： 包括CLI、所有评估功能、提供商集成和社区支持。
• 企业版： 提供托管云或本地部署、高级红队演练功能、协作工具、专属支持等。企业版定价可通过预约演示获取。