promptfoo

O promptfoo é uma ferramenta de nível profissional projetada para ajudar desenvolvedores e empresas a construir aplicações de IA seguras, confiáveis e de alto desempenho. Ele serve como um framework abrangente para avaliar, testar e melhorar a qualidade dos prompts e o desempenho de vários Modelos de Linguagem Grandes (LLMs). Com a confiança de 27 empresas da Fortune 500 e uma grande comunidade de código aberto, o promptfoo fornece as ferramentas necessárias para garantir que os sistemas de IA sejam robustos e seguros antes da implantação.

A filosofia central do promptfoo é permitir a comparação e avaliação sistemáticas. Os usuários podem testar diferentes prompts em múltiplos LLMs simultaneamente, analisar os resultados lado a lado e tomar decisões baseadas em dados. Isso é crucial para otimizar o desempenho, reduzir custos e selecionar o melhor modelo para um caso de uso específico. Além disso, o promptfoo dá grande ênfase à segurança, oferecendo recursos avançados como red teaming alimentado por IA para identificar proativamente vulnerabilidades como injeções de prompt, vazamentos de dados e a geração de conteúdo tóxico.

Como usar o promptfoo

Usar o promptfoo é simples e projetado para desenvolvedores. O processo geralmente envolve a interface de linha de comando (CLI) e um arquivo de configuração YAML simples.

1. Instalação e Inicialização: Comece executando um único comando como npx promptfoo@latest init. Este comando configura interativamente um arquivo de configuração (promptfooconfig.yaml) em seu projeto.
2. Configuração: Edite o arquivo promptfooconfig.yaml. Aqui, você define os prompts que deseja testar (usando variáveis como {{variable_name}} para entradas dinâmicas), especifica os provedores de LLM (por exemplo, OpenAI, Anthropic, Google ou modelos locais via Ollama) e cria seus casos de teste.
3. Definir Casos de Teste: Na seção 'tests' do arquivo YAML, você lista várias entradas (casos de teste) contra as quais seus prompts serão testados. Você também pode adicionar 'asserções' para verificar automaticamente se a saída do modelo atende a critérios específicos (por exemplo, não contém certas frases, é um JSON válido ou passa em uma rubrica baseada em LLM).
4. Executar Avaliação: Execute o comando npx promptfoo@latest eval em seu terminal. O promptfoo executará todos os seus prompts em todos os provedores especificados usando cada caso de teste.
5. Visualizar Resultados: Após a avaliação, execute npx promptfoo@latest view para abrir uma interface de usuário baseada na web. Esta interface apresenta uma comparação clara, lado a lado, de todas as saídas, destacando quais passaram ou falharam em suas asserções, facilitando a análise dos resultados e a iteração.

Recursos principais do promptfoo

• Avaliação Sistemática: Compare prompts, modelos e parâmetros de modelo em uma visão estruturada lado a lado para encontrar a configuração ideal.
• Red Teaming Alimentado por IA: Gere e execute automaticamente ataques personalizados para descobrir vulnerabilidades como injeções de prompt, vazamentos de dados, uso inseguro de ferramentas e geração de conteúdo tóxico.
• Benchmarking de Qualidade de Modelo: Avalie e compare o desempenho, custo e velocidade de mais de 50 provedores de LLM, incluindo OpenAI, Google, Anthropic e modelos locais como o Llama.
• Asserções e Métricas Automatizadas: Defina critérios de aprovação/reprovação usando vários tipos de asserção, incluindo expressões JavaScript, código Python e até mesmo verificações baseadas em LLM (rubricas) para classificar as saídas automaticamente.
• Fluxo de Trabalho Amigável para Desenvolvedores: Uma CLI poderosa com recursos como recarregamento ao vivo e cache para acelerar o ciclo de desenvolvimento. É focado em segurança, sem SDKs ou dependências de nuvem necessários para a ferramenta principal.
• Implantação Flexível: Use a CLI de código aberto gratuitamente ou opte por soluções empresariais gerenciadas na nuvem ou on-premises para recursos avançados, colaboração e suporte.

Casos de uso para o promptfoo

O promptfoo é versátil e pode ser aplicado em vários cenários:

• Engenharia de Prompt: Refine iterativamente os prompts para obter respostas mais precisas, consistentes e desejadas dos LLMs.
• Seleção de Modelo: Faça o benchmark de diferentes modelos (por exemplo, GPT-4o vs. Claude 3 Sonnet vs. Llama 3) em seus dados específicos para escolher a opção mais econômica e performática.
• Teste de Regressão: Integre o promptfoo em seu pipeline de CI/CD para garantir que as atualizações em seus prompts ou modelos subjacentes não degradem o desempenho ou introduzam novos problemas.
• Auditorias de Segurança de IA: Teste proativamente sua aplicação de IA em busca de falhas de segurança antes que possam ser exploradas em produção.
• Garantia de Qualidade para RAG: Avalie a qualidade dos sistemas de Geração Aumentada por Recuperação (RAG) testando a relevância e a precisão das respostas geradas.
• Moderação de Conteúdo e Segurança: Garanta que sua aplicação de IA adira às diretrizes de segurança e não produza conteúdo prejudicial, tendencioso ou inadequado.

Vantagens do promptfoo

A principal vantagem do promptfoo é seu foco na construção de IA robusta e segura. Ele vai além do simples teste de prompt para um framework holístico de garantia de qualidade e segurança. É de código aberto, altamente flexível e testado em batalha em escala empresarial. Ao rodar localmente sem dependências de nuvem, garante a privacidade e a segurança de seus dados. A ferramenta capacita as equipes a se moverem rapidamente e com confiança, sabendo que suas aplicações de IA são eficazes e seguras.

Preços e planos

O promptfoo opera em um modelo freemium. A ferramenta de linha de comando principal é de código aberto e totalmente gratuita. Para equipes e empresas que necessitam de capacidades avançadas, o promptfoo oferece soluções pagas:

• Código Aberto (Grátis): Inclui a CLI, todos os recursos de avaliação, integrações de provedores e suporte da comunidade.
• Empresarial: Oferece implantação gerenciada na nuvem ou on-premises, recursos avançados de red teaming, ferramentas de colaboração, suporte dedicado e muito mais. O preço do plano empresarial está disponível mediante solicitação, agendando uma demonstração.