promptfoo

promptfoo ist ein professionelles Werkzeug, das Entwicklern und Unternehmen hilft, sichere, zuverlässige und leistungsstarke KI-Anwendungen zu erstellen. Es dient als umfassendes Framework zur Bewertung, zum Testen und zur Verbesserung der Qualität von Prompts und der Leistung verschiedener großer Sprachmodelle (LLMs). promptfoo wird von 27 Fortune-500-Unternehmen und einer großen Open-Source-Community geschätzt und bietet die notwendigen Werkzeuge, um sicherzustellen, dass KI-Systeme vor der Bereitstellung robust und sicher sind.

Die Kernphilosophie von promptfoo besteht darin, systematische Vergleiche und Bewertungen zu ermöglichen. Benutzer können verschiedene Prompts gleichzeitig mit mehreren LLMs testen, die Ausgaben nebeneinander analysieren und datengestützte Entscheidungen treffen. Dies ist entscheidend für die Optimierung der Leistung, die Kostensenkung und die Auswahl des besten Modells für einen bestimmten Anwendungsfall. Darüber hinaus legt promptfoo großen Wert auf Sicherheit und bietet erweiterte Funktionen wie KI-gestütztes Red Teaming, um Schwachstellen wie Prompt-Injections, Datenlecks und die Erzeugung toxischer Inhalte proaktiv zu identifizieren.

Wie man promptfoo verwendet

Die Verwendung von promptfoo ist unkompliziert und für Entwickler konzipiert. Der Prozess umfasst in der Regel die Kommandozeilenschnittstelle (CLI) und eine einfache YAML-Konfigurationsdatei.

1. Installation & Initialisierung: Beginnen Sie mit der Ausführung eines einzigen Befehls wie npx promptfoo@latest init. Dieser Befehl richtet interaktiv eine Konfigurationsdatei (promptfooconfig.yaml) in Ihrem Projekt ein.
2. Konfiguration: Bearbeiten Sie die Datei promptfooconfig.yaml. Hier definieren Sie die zu testenden Prompts (unter Verwendung von Variablen wie {{variable_name}} für dynamische Eingaben), geben die LLM-Anbieter an (z. B. OpenAI, Anthropic, Google oder lokale Modelle über Ollama) und erstellen Ihre Testfälle.
3. Testfälle definieren: Im Abschnitt 'tests' der YAML-Datei listen Sie verschiedene Eingaben (Testfälle) auf, gegen die Ihre Prompts getestet werden. Sie können auch 'Assertions' hinzufügen, um automatisch zu überprüfen, ob die Ausgabe des Modells bestimmte Kriterien erfüllt (z. B. keine bestimmten Phrasen enthält, gültiges JSON ist oder eine LLM-basierte Rubrik besteht).
4. Bewertung durchführen: Führen Sie den Befehl npx promptfoo@latest eval in Ihrem Terminal aus. promptfoo führt dann alle Ihre Prompts mit jedem Testfall bei allen angegebenen Anbietern aus.
5. Ergebnisse anzeigen: Führen Sie nach der Bewertung npx promptfoo@latest view aus, um eine webbasierte Benutzeroberfläche zu öffnen. Diese Oberfläche zeigt einen klaren, nebeneinander angeordneten Vergleich aller Ausgaben und hebt hervor, welche Ihre Assertions bestanden oder nicht bestanden haben, was die Analyse der Ergebnisse und die Iteration erleichtert.

Kernfunktionen von promptfoo

• Systematische Bewertung: Vergleichen Sie Prompts, Modelle und Modellparameter in einer strukturierten Nebeneinander-Ansicht, um die optimale Konfiguration zu finden.
• KI-gestütztes Red Teaming: Generieren und führen Sie automatisch angepasste Angriffe durch, um Schwachstellen wie Prompt-Injections, Datenlecks, unsichere Tool-Nutzung und die Erzeugung toxischer Inhalte aufzudecken.
• Modellqualitäts-Benchmarking: Bewerten und vergleichen Sie die Leistung, Kosten und Geschwindigkeit von über 50 LLM-Anbietern, einschließlich OpenAI, Google, Anthropic und lokalen Modellen wie Llama.
• Automatisierte Assertions und Metriken: Definieren Sie bestanden/nicht bestanden-Kriterien mit verschiedenen Assertion-Typen, einschließlich JavaScript-Ausdrücken, Python-Code und sogar LLM-basierten Überprüfungen (Rubriken), um Ausgaben automatisch zu bewerten.
• Entwicklerfreundlicher Workflow: Eine leistungsstarke CLI mit Funktionen wie Live-Reloads und Caching, um den Entwicklungszyklus zu beschleunigen. Es ist sicherheitsorientiert, ohne erforderliche SDKs oder Cloud-Abhängigkeiten für das Kernwerkzeug.
• Flexible Bereitstellung: Nutzen Sie die Open-Source-CLI kostenlos oder entscheiden Sie sich für verwaltete Cloud- oder On-Premises-Unternehmenslösungen für erweiterte Funktionen, Zusammenarbeit und Support.

Anwendungsfälle für promptfoo

promptfoo ist vielseitig und kann in verschiedenen Szenarien angewendet werden:

• Prompt Engineering: Iteratives Verfeinern von Prompts, um genauere, konsistentere und gewünschte Antworten von LLMs zu erhalten.
• Modellauswahl: Benchmarking verschiedener Modelle (z. B. GPT-4o vs. Claude 3 Sonnet vs. Llama 3) mit Ihren spezifischen Daten, um die kostengünstigste und leistungsstärkste Option zu wählen.
• Regressionstests: Integrieren Sie promptfoo in Ihre CI/CD-Pipeline, um sicherzustellen, dass Aktualisierungen Ihrer Prompts oder zugrunde liegenden Modelle die Leistung nicht beeinträchtigen oder neue Probleme verursachen.
• KI-Sicherheitsaudits: Testen Sie Ihre KI-Anwendung proaktiv auf Sicherheitslücken, bevor sie in der Produktion ausgenutzt werden können.
• Qualitätssicherung für RAG: Bewerten Sie die Qualität von Retrieval-Augmented Generation (RAG)-Systemen, indem Sie die Relevanz und Genauigkeit der generierten Antworten testen.
• Inhaltsmoderation und Sicherheit: Stellen Sie sicher, dass Ihre KI-Anwendung die Sicherheitsrichtlinien einhält und keine schädlichen, voreingenommenen oder unangemessenen Inhalte produziert.

Vorteile von promptfoo

Der Hauptvorteil von promptfoo liegt in seinem Fokus auf der Entwicklung robuster und sicherer KI. Es geht über einfaches Prompt-Testen hinaus zu einem ganzheitlichen Qualitäts- und Sicherheits-Framework. Es ist Open-Source, hochflexibel und im Unternehmensmaßstab praxiserprobt. Durch den lokalen Betrieb ohne Cloud-Abhängigkeiten gewährleistet es den Datenschutz und die Sicherheit Ihrer Daten. Das Tool befähigt Teams, schnell und zuversichtlich zu agieren, da sie wissen, dass ihre KI-Anwendungen sowohl effektiv als auch sicher sind.

Preise und Pläne

promptfoo arbeitet nach einem Freemium-Modell. Das Kern-Kommandozeilenwerkzeug ist Open-Source und völlig kostenlos. Für Teams und Unternehmen, die erweiterte Funktionen benötigen, bietet promptfoo kostenpflichtige Lösungen an:

• Open-Source (Kostenlos): Umfasst die CLI, alle Bewertungsfunktionen, Anbieterintegrationen und Community-Support.
• Enterprise: Bietet verwaltete Cloud- oder On-Premises-Bereitstellung, erweiterte Red-Teaming-Funktionen, Kollaborationstools, dedizierten Support und mehr. Die Preise für den Enterprise-Plan sind auf Anfrage nach Buchung einer Demo erhältlich.