Giskard

Evidently AI ist eine umfassende Test- und Evaluierungsplattform für KI-Produkte, spezialisiert auf das Monitoring von LLM- und ML-Modellen. Sie hilft Teams, die Sicherheit, Zuverlässigkeit und Leistung von KI durch automatisierte Evaluierung, Generierung synthetischer Daten, kontinuierliche Tests und adversarische Angriffe zu gewährleisten. Basierend auf einer leistungsstarken Open-Source-Bibliothek ist sie für Datenwissenschaftler und MLOps-Ingenieure konzipiert, um Probleme wie Halluzinationen, Daten-Drift und PII-Lecks zu erkennen, bevor sie Benutzer beeinträchtigen.

RagaAI ist eine umfassende KI-Test- und Beobachtbarkeitsplattform, die Entwicklern und Unternehmen hilft, zuverlässige KI-Anwendungen zu erstellen. Sie bietet eine Reihe von Werkzeugen zur Beobachtung, Bewertung und Fehlerbehebung von KI-Agenten, LLMs und RAG-Systemen. Zu den Hauptfunktionen gehören agentenbasiertes Testen, Echtzeit-Leitplanken (Guardrails), die Generierung synthetischer Daten und Feinabstimmungsfunktionen. RagaAI unterstützt multimodale Daten (LLMs, Computer Vision, tabellarische Daten) und zielt darauf ab, den gesamten Lebenszyklus der KI-Qualitätssicherung zu automatisieren, von der Problemerkennung bis zur Lösung, um robuste und vertrauenswürdige KI-Implementierungen zu gewährleisten.

Maihem ist eine fortschrittliche Plattform für KI-Sicherheit und Robotik, die sich auf automatisiertes Red Teaming und Schwachstellentests für Anwendungen mit großen Sprachmodellen (LLM) spezialisiert hat. Sie testet systematisch auf die OWASP Top 10 LLM-Schwachstellen, wie Prompt Injection und Datenvergiftung, um eine sichere, zuverlässige und konforme Bereitstellung von KI-Systemen zu gewährleisten.

Qase ist eine KI-gestützte Testmanagement-Plattform, die für QA-Teams entwickelt wurde, um die Geschwindigkeit und Qualität der Softwarebereitstellung zu verbessern. Sie vereint manuelle und automatisierte Tests in einem einzigen, intuitiven Arbeitsbereich, nutzt KI zur Generierung, Konvertierung und Analyse von Tests und lässt sich nahtlos in über 35 Entwickler-Tools integrieren.

Katalon ist eine umfassende, KI-gestützte Testautomatisierungsplattform für Web-, API-, Mobil- und Desktop-Anwendungen. Sie befähigt Teams jeder Größe mit Low-Code-, Full-Code- und No-Code-Lösungen und optimiert den gesamten Qualitätslebenszyklus von der Testerstellung und -ausführung bis zur Analyse und Verwaltung.

Evidently AI ist eine umfassende Test- und Evaluierungsplattform für KI-Produkte, spezialisiert auf das Monitoring von LLM- und ML-Modellen. Sie hilft Teams, die Sicherheit, Zuverlässigkeit und Leistung von KI durch automatisierte Evaluierung, Generierung synthetischer Daten, kontinuierliche Tests und adversarische Angriffe zu gewährleisten. Basierend auf einer leistungsstarken Open-Source-Bibliothek ist sie für Datenwissenschaftler und MLOps-Ingenieure konzipiert, um Probleme wie Halluzinationen, Daten-Drift und PII-Lecks zu erkennen, bevor sie Benutzer beeinträchtigen.

Deepchecks ist eine End-to-End-Plattform zur Evaluierung, Validierung und Überwachung von LLM-basierten Anwendungen. Sie hilft KI-Teams, den Fortschritt der KI zu definieren, zu messen und zu validieren und gewährleistet die Veröffentlichung hochwertiger, zuverlässiger Anwendungen durch die Optimierung von Tests von der Entwicklung über CI/CD bis zur Produktion.

RagaAI ist eine umfassende KI-Test- und Beobachtbarkeitsplattform, die Entwicklern und Unternehmen hilft, zuverlässige KI-Anwendungen zu erstellen. Sie bietet eine Reihe von Werkzeugen zur Beobachtung, Bewertung und Fehlerbehebung von KI-Agenten, LLMs und RAG-Systemen. Zu den Hauptfunktionen gehören agentenbasiertes Testen, Echtzeit-Leitplanken (Guardrails), die Generierung synthetischer Daten und Feinabstimmungsfunktionen. RagaAI unterstützt multimodale Daten (LLMs, Computer Vision, tabellarische Daten) und zielt darauf ab, den gesamten Lebenszyklus der KI-Qualitätssicherung zu automatisieren, von der Problemerkennung bis zur Lösung, um robuste und vertrauenswürdige KI-Implementierungen zu gewährleisten.

Maihem ist eine fortschrittliche Plattform für KI-Sicherheit und Robotik, die sich auf automatisiertes Red Teaming und Schwachstellentests für Anwendungen mit großen Sprachmodellen (LLM) spezialisiert hat. Sie testet systematisch auf die OWASP Top 10 LLM-Schwachstellen, wie Prompt Injection und Datenvergiftung, um eine sichere, zuverlässige und konforme Bereitstellung von KI-Systemen zu gewährleisten.

promptfoo ist ein umfassendes Test- und Evaluierungs-Framework für große Sprachmodelle (LLMs). Es hilft Entwicklern und Unternehmen, die Qualität von Prompts zu vergleichen, die Modellleistung zu bewerten und die KI-Sicherheit durch systematisches Testen, Benchmarking und KI-gestütztes Red Teaming zu verbessern. Es unterstützt über 50 LLM-Anbieter, einschließlich lokaler Modelle, und bietet eine entwicklerfreundliche CLI für eine nahtlose Integration in Entwicklungsworkflows.

Autoblocks ist eine umfassende Plattform für KI-Entwicklungsteams zum Testen, Bewerten und Bereitstellen sicherer, zuverlässiger KI-Anwendungen. Sie wurde für Branchen mit hohen Anforderungen wie das Gesundheitswesen und den Finanzsektor entwickelt und optimiert die Zusammenarbeit zwischen Entwicklern und Fachexperten (SMEs), um die Einführung vertrauenswürdiger KI-Chatbots und -Agenten zu beschleunigen.

Robust Intelligence, jetzt ein Cisco-Unternehmen, ist eine End-to-End-KI-Risikomanagementplattform. Sie sichert KI-Modelle während ihres gesamten Lebenszyklus mit einer Echtzeit-KI-Firewall und automatisierten Tests und hilft Unternehmen, Sicherheits-, Ethik- und Betriebsrisiken zu mindern, um KI sicher und verantwortungsvoll einzusetzen.

EvalsOne ist eine All-in-One-Evaluierungsplattform für generative KI-Anwendungen. Sie ermöglicht es Teams, LLM-Prompts, RAG-Pipelines und KI-Agenten mühelos über eine leistungsstarke, intuitive Benutzeroberfläche zu bewerten, zu iterieren und zu optimieren, um robuste und wettbewerbsfähige KI-Produkte zu gewährleisten.

Qase ist eine KI-gestützte Testmanagement-Plattform, die für QA-Teams entwickelt wurde, um die Geschwindigkeit und Qualität der Softwarebereitstellung zu verbessern. Sie vereint manuelle und automatisierte Tests in einem einzigen, intuitiven Arbeitsbereich, nutzt KI zur Generierung, Konvertierung und Analyse von Tests und lässt sich nahtlos in über 35 Entwickler-Tools integrieren.

Katalon ist eine umfassende, KI-gestützte Testautomatisierungsplattform für Web-, API-, Mobil- und Desktop-Anwendungen. Sie befähigt Teams jeder Größe mit Low-Code-, Full-Code- und No-Code-Lösungen und optimiert den gesamten Qualitätslebenszyklus von der Testerstellung und -ausführung bis zur Analyse und Verwaltung.

Testsigma ist eine einheitliche, KI-gestützte Testautomatisierungsplattform, die es Teams ermöglicht, Tests für Web-, Mobil-, API- und ERP-Anwendungen ohne Code zu erstellen, auszuführen und zu warten. Es verwendet KI-Agenten, um die Testerstellung zu beschleunigen, den Wartungsaufwand um 90 % zu reduzieren und End-to-End-Tests in großem Maßstab zu realisieren.

getmaxim ist eine umfassende GenAI-Evaluierungs- und Beobachtbarkeitsplattform für KI-Entwicklungsteams. Sie ermöglicht es Benutzern, KI-Anwendungen zu testen, zu überwachen und zu verbessern, indem sie umfangreiche Evaluierungen von LLMs und RAG-Pipelines durchführt, Tests automatisiert und Echtzeit-Produktionsüberwachung bereitstellt, um hochwertige, zuverlässige und verantwortungsvolle KI zu gewährleisten.

Confident AI ist eine LLM-Evaluierungs- und Beobachtbarkeitsplattform für Ingenieurteams. Entwickelt von den Schöpfern der Open-Source-Bibliothek DeepEval, hilft es beim Benchmarking, Absichern und Verbessern von LLM-Anwendungen durch umfassende Metriken, Regressionstests und detailliertes Tracing, um eine konsistente KI-Leistung zu gewährleisten.

Virtuoso ist eine KI-gestützte, codefreie Testautomatisierungsplattform für Webanwendungen. Sie ermöglicht es QA-Teams und Entwicklern, End-to-End-Tests in natürlicher Sprache zu erstellen, auszuführen und zu warten. Ihre intelligenten Bots navigieren wie ein Mensch durch Anwendungen, während ihre selbstheilenden Fähigkeiten sich automatisch an UI-Änderungen anpassen, was den Testwartungsaufwand erheblich reduziert und die Softwareauslieferungszyklen beschleunigt.