promptfoo

O Bolt Foundry fornece ferramentas de código aberto para desenvolvedores realizarem testes unitários em Modelos de Linguagem Grandes (LLMs). Ele transforma a engenharia de prompts em um processo científico e orientado por dados, usando prompts estruturados e testáveis chamados 'graders'. Isso garante saídas de IA confiáveis, consistentes e mensuráveis, tornando-o ideal para construir aplicações de nível de produção.

Prompto é uma interface gratuita, de código aberto e baseada em navegador para interagir com uma vasta gama de Modelos de Linguagem Grandes (LLMs). Ele utiliza o LangChain.js para se conectar diretamente a provedores como OpenAI, Anthropic e modelos locais via Ollama, oferecendo recursos avançados como uma Arena de comparação de modelos, modelos de prompt e discussões multi-IA, tudo isso priorizando a privacidade do usuário ao armazenar os dados localmente.

Lakera é uma plataforma de segurança nativa de IA projetada para proteger aplicações de IA Generativa contra ameaças como injeção de prompt, vazamento de dados e violações de conformidade. Oferece proteção em tempo de execução, inteligência de ameaças contínua alimentada pela maior equipe de red teaming de IA do mundo e fácil integração com uma única linha de código. Com a confiança de empresas como o Dropbox, a Lakera protege agentes e aplicações de IA em todos os principais modelos e idiomas com latência ultrabaixa.

ArtisMind é uma plataforma de engenharia de prompts de IA de nível empresarial, projetada para construir, pontuar e aperfeiçoar prompts de IA usando inteligência multi-modelo orientada por dados. Oferece um fluxo de trabalho científico de 5 etapas para criar prompts prontos para produção, seguros e otimizados para vários modelos de IA, abordando desafios como injeção de prompts, alucinações e qualidade inconsistente.

promptstart é uma plataforma avançada de engenharia de prompts de IA projetada para ajudar os usuários a criar, gerenciar e otimizar prompts para vários modelos de IA. Possui uma vasta biblioteca de prompts pré-construídos, um construtor de prompts inteligente e um otimizador alimentado por IA para melhorar a qualidade e a eficiência do conteúdo e código gerados por IA.

Prompto é uma interface gratuita, de código aberto e baseada em navegador para interagir com uma vasta gama de Modelos de Linguagem Grandes (LLMs). Ele utiliza o LangChain.js para se conectar diretamente a provedores como OpenAI, Anthropic e modelos locais via Ollama, oferecendo recursos avançados como uma Arena de comparação de modelos, modelos de prompt e discussões multi-IA, tudo isso priorizando a privacidade do usuário ao armazenar os dados localmente.

ModelFusion é um kit de ferramentas LLM completo para desenvolvedores e pesquisadores. Oferece um conjunto de ferramentas gratuitas, incluindo uma calculadora de custos, biblioteca de prompts e comparador de modelos para mais de 30 modelos de IA como GPT-4, Claude e Gemini. Também fornece uma API unificada e guias para executar modelos localmente para otimizar o desenvolvimento de IA e os custos.

O Prompt Mixer é uma poderosa ferramenta de código aberto para engenharia de prompts, fornecendo um espaço de trabalho colaborativo para equipes. Ele permite que os usuários criem, testem, avaliem e implantem soluções baseadas em IA, gerenciando cadeias de prompts, comparando diferentes LLMs e utilizando métricas de avaliação avançadas.

EvalsOne é uma plataforma de avaliação tudo-em-um projetada para aplicações de IA generativa. Ela capacita as equipes a avaliar, iterar e otimizar prompts de LLM, pipelines RAG e agentes de IA sem esforço através de uma interface poderosa e intuitiva, garantindo produtos de IA robustos e competitivos.

Um playground intuitivo baseado na web para experimentar e comparar vários modelos de linguagem grandes. Ajuste parâmetros, teste prompts e analise os resultados de modelos como GPT, Claude e Gemini em uma interface amigável. Ideal para engenheiros de prompt, desenvolvedores e criadores de conteúdo.

AirPrompt é uma poderosa plataforma de engenharia e teste de prompts. Permite que os usuários testem, comparem e otimizem simultaneamente prompts de IA em múltiplos modelos como GPT-4, Claude e alternativas de código aberto. Com variáveis dinâmicas, upload de dados em massa e comparação de resultados lado a lado, simplifica o fluxo de trabalho para desenvolvedores e criadores de conteúdo para construir aplicações de IA de alta qualidade e econômicas.

O Bolt Foundry fornece ferramentas de código aberto para desenvolvedores realizarem testes unitários em Modelos de Linguagem Grandes (LLMs). Ele transforma a engenharia de prompts em um processo científico e orientado por dados, usando prompts estruturados e testáveis chamados 'graders'. Isso garante saídas de IA confiáveis, consistentes e mensuráveis, tornando-o ideal para construir aplicações de nível de produção.

Lakera é uma plataforma de segurança nativa de IA projetada para proteger aplicações de IA Generativa contra ameaças como injeção de prompt, vazamento de dados e violações de conformidade. Oferece proteção em tempo de execução, inteligência de ameaças contínua alimentada pela maior equipe de red teaming de IA do mundo e fácil integração com uma única linha de código. Com a confiança de empresas como o Dropbox, a Lakera protege agentes e aplicações de IA em todos os principais modelos e idiomas com latência ultrabaixa.

ArtisMind é uma plataforma de engenharia de prompts de IA de nível empresarial, projetada para construir, pontuar e aperfeiçoar prompts de IA usando inteligência multi-modelo orientada por dados. Oferece um fluxo de trabalho científico de 5 etapas para criar prompts prontos para produção, seguros e otimizados para vários modelos de IA, abordando desafios como injeção de prompts, alucinações e qualidade inconsistente.

Codegate é um gateway de segurança de código aberto e framework de multiplexação para sistemas de agentes de IA. Desenvolvido pela Stacklok, ele fornece workspaces seguros e controle de acesso baseado em políticas, permitindo que desenvolvedores construam e gerenciem aplicações complexas de múltiplos agentes de forma segura e eficiente.

Learn Prompting é uma plataforma educacional líder que oferece cursos abrangentes e baseados em pesquisa sobre engenharia de prompt e comunicação com IA. Com a confiança de mais de 3 milhões de usuários e grandes corporações, fornece treinamento gratuito e pago para todos os níveis de habilidade, de iniciantes a especialistas avançados, incluindo tópicos especializados como segurança de IA e red-teaming.

Ragas é um framework Python de código aberto para avaliar e testar pipelines de Geração Aumentada por Recuperação (RAG). Ele fornece um conjunto de métricas para medir o desempenho de suas aplicações LLM, desde a recuperação de contexto até a geração de respostas. Com a confiança de líderes da indústria como LangChain e LlamaIndex, o Ragas ajuda os desenvolvedores a construir sistemas de IA mais robustos, confiáveis e precisos, identificando e mitigando problemas como alucinações e respostas irrelevantes.

getmaxim é uma plataforma abrangente de avaliação e observabilidade de GenAI projetada para equipes de desenvolvimento de IA. Ela permite que os usuários testem, monitorem e melhorem aplicações de IA executando avaliações extensivas em LLMs e pipelines RAG, automatizando testes e fornecendo monitoramento de produção em tempo real para garantir uma IA de alta qualidade, confiável e responsável.

Charm é um ecossistema de ferramentas e bibliotecas de código aberto projetado para tornar a interface de linha de comando (CLI) glamorosa e poderosa. Ele fornece aos desenvolvedores aplicativos para codificação com IA (Crush, Mods), belas UIs de terminal (Bubble Tea), renderização de markdown (Glow) e servidores Git auto-hospedados (Soft Serve). O Charm capacita os desenvolvedores a construir, estilizar e aprimorar seus fluxos de trabalho no terminal com ferramentas modernas, elegantes e altamente funcionais.