promptfoo

Bolt Foundryは、開発者が大規模言語モデル（LLM）のユニットテストを実施するためのオープンソースツールを提供します。「グレーダー」と呼ばれる構造化され、テスト可能なプロンプトを使用することで、プロンプトエンジニアリングを科学的でデータ駆動型の手法に変革します。これにより、信頼性が高く、一貫性があり、測定可能なAI出力を保証し、本番環境レベルのアプリケーション構築に最適です。

Promptoは、さまざまな大規模言語モデル（LLM）と対話するための、無料のオープンソース・ブラウザベースのインターフェースです。LangChain.jsを活用してOpenAIやAnthropicなどのプロバイダー、Ollama経由のローカルモデルに直接接続し、モデル比較アリーナ、プロンプトテンプレート、マルチAIディスカッションなどの高度な機能を提供しつつ、データをローカルに保存することでユーザーのプライバシーを最優先します。

Lakeraは、プロンプトインジェクション、データ漏洩、コンプライアンス違反などの脅威から生成AIアプリケーションを保護するために設計されたAIネイティブのセキュリティプラットフォームです。世界最大のAIレッドチームによる継続的な脅威インテリジェンスとリアルタイムのランタイム保護を提供し、1行のコードで簡単に統合できます。Dropboxなどの企業から信頼されており、超低遅延ですべての主要なモデルと言語にわたるAIエージェントとアプリケーションを保護します。

ArtisMindは、データ駆動型マルチモデルインテリジェンスを活用してAIプロンプトを構築、評価、完成させるエンタープライズグレードのAIプロンプトエンジニアリングプラットフォームです。プロンプトインジェクション、幻覚、一貫性のない品質といった課題に対処するため、さまざまなAIモデル向けに本番環境対応で安全かつ最適化されたプロンプトを作成するための科学的な5段階ワークフローを提供します。

promptstartは、ユーザーが様々なAIモデル向けのプロンプトを作成、管理、最適化するのを支援するために設計された高度なAIプロンプトエンジニアリングプラットフォームです。豊富な構築済みプロンプトライブラリ、インテリジェントなプロンプトビルダー、AI搭載のオプティマイザーを備え、AIが生成するコンテンツとコードの品質と効率を向上させます。

Promptoは、さまざまな大規模言語モデル（LLM）と対話するための、無料のオープンソース・ブラウザベースのインターフェースです。LangChain.jsを活用してOpenAIやAnthropicなどのプロバイダー、Ollama経由のローカルモデルに直接接続し、モデル比較アリーナ、プロンプトテンプレート、マルチAIディスカッションなどの高度な機能を提供しつつ、データをローカルに保存することでユーザーのプライバシーを最優先します。

ModelFusionは、開発者や研究者のためのオールインワンLLMツールキットです。GPT-4、Claude、Geminiなど30以上のAIモデルに対応したコスト計算機、プロンプトライブラリ、モデル比較ツールなどの無料ツール群を提供します。また、統一APIやローカルモデル実行ガイドにより、AI開発の効率化とコスト最適化を実現します。

Prompt Mixerは、チーム向けの共同作業ワークスペースを提供する、強力なオープンソースのプロンプトエンジニアリングツールです。ユーザーはプロンプトチェーンを管理し、異なるLLMを比較し、高度な評価指標を活用して、AI搭載ソリューションの作成、テスト、評価、展開ができます。

EvalsOneは、生成AIアプリケーション向けに設計されたオールインワン評価プラットフォームです。強力で直感的なインターフェースを通じて、チームがLLMプロンプト、RAGパイプライン、AIエージェントを容易に評価、反復、最適化し、堅牢で競争力のあるAI製品を確保できるよう支援します。

様々な大規模言語モデルを実験・比較するための直感的なウェブベースのプレイグラウンド。ユーザーフレンドリーなインターフェースで、GPT、Claude、Geminiなどのモデルのパラメータを微調整し、プロンプトをテストし、出力を分析します。プロンプトエンジニア、開発者、コンテンツ制作者に最適です。

AirPromptは、強力なプロンプトエンジニアリングおよびテストプラットフォームです。GPT-4やClaude、オープンソースモデルなど、複数のAIモデルでAIプロンプトを同時にテスト、比較、最適化できます。動的変数、一括データアップロード、並列結果比較などの機能を備え、開発者やコンテンツ制作者のワークフローを効率化し、高品質でコスト効率の高いAIアプリケーションの構築を支援します。

Bolt Foundryは、開発者が大規模言語モデル（LLM）のユニットテストを実施するためのオープンソースツールを提供します。「グレーダー」と呼ばれる構造化され、テスト可能なプロンプトを使用することで、プロンプトエンジニアリングを科学的でデータ駆動型の手法に変革します。これにより、信頼性が高く、一貫性があり、測定可能なAI出力を保証し、本番環境レベルのアプリケーション構築に最適です。

Lakeraは、プロンプトインジェクション、データ漏洩、コンプライアンス違反などの脅威から生成AIアプリケーションを保護するために設計されたAIネイティブのセキュリティプラットフォームです。世界最大のAIレッドチームによる継続的な脅威インテリジェンスとリアルタイムのランタイム保護を提供し、1行のコードで簡単に統合できます。Dropboxなどの企業から信頼されており、超低遅延ですべての主要なモデルと言語にわたるAIエージェントとアプリケーションを保護します。

ArtisMindは、データ駆動型マルチモデルインテリジェンスを活用してAIプロンプトを構築、評価、完成させるエンタープライズグレードのAIプロンプトエンジニアリングプラットフォームです。プロンプトインジェクション、幻覚、一貫性のない品質といった課題に対処するため、さまざまなAIモデル向けに本番環境対応で安全かつ最適化されたプロンプトを作成するための科学的な5段階ワークフローを提供します。

Codegateは、AIエージェントシステム向けのオープンソースのセキュリティゲートウェイおよびマルチプレキシングフレームワークです。Stacklokによって開発され、安全なワークスペースとポリシーベースのアクセス制御を提供し、開発者が複雑なマルチエージェントアプリケーションを安全かつ効率的に構築・管理できるようにします。

Learn Promptingは、プロンプトエンジニアリングとAIコミュニケーションに関する包括的で研究に基づいたコースを提供する、業界をリードする教育プラットフォームです。300万人以上のユーザーと主要企業から信頼されており、初心者から上級者まで、あらゆるスキルレベル向けの無料および有料トレーニングを提供し、AIセキュリティやレッドチーミングなどの専門的なトピックもカバーしています。

Ragasは、検索拡張生成（RAG）パイプラインを評価・テストするためのオープンソースPythonフレームワークです。コンテキスト検索から回答生成まで、LLMアプリケーションのパフォーマンスを測定するための一連のメトリクスを提供します。LangChainやLlamaIndexなどの業界リーダーから信頼されており、幻覚や無関係な応答といった問題を特定・軽減することで、開発者がより堅牢で信頼性の高い、正確なAIシステムを構築するのを支援します。

getmaximは、AI開発チーム向けに設計された包括的なGenAI評価およびオブザーバビリティプラットフォームです。ユーザーはLLMやRAGパイプラインの広範な評価、テストの自動化、リアルタイムのプロダクション監視を通じてAIアプリケーションをテスト、監視、改善し、高品質で信頼性が高く、責任あるAIを実現できます。

Charmは、コマンドラインインターフェース（CLI）を華やかで強力なものにするために設計された、オープンソースのツールとライブラリのエコシステムです。AIによるコーディング（Crush、Mods）、美しいターミナルUI（Bubble Tea）、Markdownレンダリング（Glow）、セルフホスト型Gitサーバー（Soft Serve）などのアプリケーションを開発者に提供します。Charmは、開発者がモダンでエレガント、かつ高機能なツールでターミナルワークフローを構築、スタイル付け、強化することを可能にします。