promptfoo

promptfoo es una herramienta de nivel profesional diseñada para ayudar a desarrolladores y empresas a construir aplicaciones de IA seguras, fiables y de alto rendimiento. Sirve como un marco integral para evaluar, probar y mejorar la calidad de los prompts y el rendimiento de varios Modelos de Lenguaje Grandes (LLM). Con la confianza de 27 empresas de Fortune 500 y una gran comunidad de código abierto, promptfoo proporciona las herramientas necesarias para garantizar que los sistemas de IA sean robustos y seguros antes de su despliegue.

La filosofía central de promptfoo es permitir la comparación y evaluación sistemáticas. Los usuarios pueden probar diferentes prompts contra múltiples LLMs simultáneamente, analizar los resultados lado a lado y tomar decisiones basadas en datos. Esto es crucial para optimizar el rendimiento, reducir costos y seleccionar el mejor modelo para un caso de uso específico. Además, promptfoo pone un fuerte énfasis en la seguridad, ofreciendo características avanzadas como el red teaming impulsado por IA para identificar proactivamente vulnerabilidades como inyecciones de prompt, fugas de datos y la generación de contenido tóxico.

Cómo usar promptfoo

Usar promptfoo es sencillo y está diseñado para desarrolladores. El proceso generalmente implica la interfaz de línea de comandos (CLI) y un simple archivo de configuración YAML.

1. Instalación e Inicialización: Comience ejecutando un solo comando como npx promptfoo@latest init. Este comando configura interactivamente un archivo de configuración (promptfooconfig.yaml) en su proyecto.
2. Configuración: Edite el archivo promptfooconfig.yaml. Aquí, define los prompts que desea probar (usando variables como {{variable_name}} para entradas dinámicas), especifica los proveedores de LLM (por ejemplo, OpenAI, Anthropic, Google o modelos locales a través de Ollama) y crea sus casos de prueba.
3. Definir Casos de Prueba: En la sección 'tests' del archivo YAML, enumera varias entradas (casos de prueba) con las que se probarán sus prompts. También puede agregar 'aserciones' para verificar automáticamente si la salida del modelo cumple con criterios específicos (por ejemplo, no contiene ciertas frases, es un JSON válido o pasa una rúbrica basada en LLM).
4. Ejecutar Evaluación: Ejecute el comando npx promptfoo@latest eval en su terminal. promptfoo ejecutará todos sus prompts contra todos los proveedores especificados utilizando cada caso de prueba.
5. Ver Resultados: Después de la evaluación, ejecute npx promptfoo@latest view para abrir una interfaz de usuario basada en web. Esta interfaz presenta una comparación clara, lado a lado, de todas las salidas, destacando cuáles pasaron o fallaron sus aserciones, lo que facilita el análisis de los resultados y la iteración.

Características principales de promptfoo

• Evaluación Sistemática: Compare prompts, modelos y parámetros de modelos en una vista estructurada lado a lado para encontrar la configuración óptima.
• Red Teaming Impulsado por IA: Genere y ejecute automáticamente ataques personalizados para descubrir vulnerabilidades como inyecciones de prompt, fugas de datos, uso inseguro de herramientas y generación de contenido tóxico.
• Benchmarking de Calidad de Modelos: Evalúe y compare el rendimiento, costo y velocidad de más de 50 proveedores de LLM, incluidos OpenAI, Google, Anthropic y modelos locales como Llama.
• Aserciones y Métricas Automatizadas: Defina criterios de pasa/falla utilizando varios tipos de aserción, incluidas expresiones de JavaScript, código de Python e incluso verificaciones basadas en LLM (rúbricas) para calificar las salidas automáticamente.
• Flujo de Trabajo Amigable para Desarrolladores: Una potente CLI con características como recargas en vivo y almacenamiento en caché para acelerar el ciclo de desarrollo. Es de seguridad primero, sin necesidad de SDKs o dependencias en la nube para la herramienta principal.
• Despliegue Flexible: Use la CLI de código abierto de forma gratuita, u opte por soluciones empresariales gestionadas en la nube o en las instalaciones para características avanzadas, colaboración y soporte.

Casos de uso para promptfoo

promptfoo es versátil y se puede aplicar en varios escenarios:

• Ingeniería de Prompts: Refine iterativamente los prompts para lograr respuestas más precisas, consistentes y deseadas de los LLMs.
• Selección de Modelos: Realice benchmarks de diferentes modelos (por ejemplo, GPT-4o vs. Claude 3 Sonnet vs. Llama 3) con sus datos específicos para elegir la opción más rentable y de mayor rendimiento.
• Pruebas de Regresión: Integre promptfoo en su pipeline de CI/CD para garantizar que las actualizaciones de sus prompts o modelos subyacentes no degraden el rendimiento ni introduzcan nuevos problemas.
• Auditorías de Seguridad de IA: Pruebe proactivamente su aplicación de IA en busca de fallos de seguridad antes de que puedan ser explotados en producción.
• Aseguramiento de Calidad para RAG: Evalúe la calidad de los sistemas de Generación Aumentada por Recuperación (RAG) probando la relevancia y precisión de las respuestas generadas.
• Moderación de Contenido y Seguridad: Asegúrese de que su aplicación de IA se adhiera a las directrices de seguridad y no produzca contenido dañino, sesgado o inapropiado.

Ventajas de promptfoo

La principal ventaja de promptfoo es su enfoque en la construcción de IA robusta y segura. Va más allá de las simples pruebas de prompts para convertirse en un marco holístico de garantía de calidad y seguridad. Es de código abierto, altamente flexible y probado en batalla a escala empresarial. Al ejecutarse localmente sin dependencias de la nube, garantiza la privacidad y seguridad de sus datos. La herramienta capacita a los equipos para moverse rápidamente y con confianza, sabiendo que sus aplicaciones de IA son efectivas y seguras.

Precios y planes

promptfoo opera en un modelo freemium. La herramienta de línea de comandos principal es de código abierto y completamente gratuita. Para equipos y empresas que requieren capacidades avanzadas, promptfoo ofrece soluciones de pago:

• Código Abierto (Gratis): Incluye la CLI, todas las funciones de evaluación, integraciones de proveedores y soporte de la comunidad.
• Empresarial: Ofrece despliegue gestionado en la nube o en las instalaciones, características avanzadas de red teaming, herramientas de colaboración, soporte dedicado y más. El precio del plan empresarial está disponible bajo petición reservando una demostración.