APIPark

Valyr (前身為 Helicone) 是一個開源的 LLM 可觀測性平台和 AI 閘道。它幫助開發者監控、偵錯和分析他們的 AI 應用，透過單一整合即可存取超過100種模型，管理成本，並透過快取和速率限制等功能提高可靠性。

Backmesh 是一款專為 AI 應用程式設計的開源後端即服務（BaaS）。它充當安全的 LLM API 閘道，允許開發者直接從網頁或行動應用程式中呼叫 OpenAI、Gemini 等 LLM API，而無需暴露私鑰。它提供 JWT 身分驗證、使用者級速率限制和內建分析等功能，以有效管理和監控 API 使用情況。

Helicone 是一個為開發者提供的開源平台，整合了 AI 閘道和 LLM 可觀測性功能。它透過提供路由、監控、偵錯和分析 LLM 使用情況的工具，幫助建構可靠的 AI 應用程式。主要功能包括支援100多種模型的統一 API、智慧快取、速率限制、提示詞管理和詳細的效能分析。

Higress.AI 是一款先進的開源 AI 閘道，專為開發者和企業設計。它透過為100多種模型提供統一的API代理，簡化了大型語言模型（LLM）和AI Agent的整合與管理。核心功能包括REST到MCP的轉換、語義快取、基於令牌的速率限制以及強大的外掛程式系統，旨在建構安全、可擴展且可觀測的AI應用基礎設施。

Latitude 是一個開源開發平台，專為建構、評估和部署由大型語言模型（LLM）驅動的應用程式而設計，尤其側重於創建自主 AI 代理。它為開發者提供了一套全面的工具，用於實驗、優化和擴展他們的 AI 解決方案。

Forefront 是一個為開發者打造的開源 AI 建構平台。它簡化了在您的私有資料上運行、微調和部署大型語言模型（LLM）的流程，為閉源平台提供了一個可擴展、安全且具成本效益的替代方案。讓您真正擁有自己的資料、模型和 AI。

boundaryml (BAML) 是一個專為開發人員設計的程式語言和工具包，用於從大型語言模型 (LLM) 中可靠地提取結構化資料。它將複雜的提示工程轉變為簡化的、類似程式碼的流程，確保在各種 LLM 和程式語言（如 Python 和 TypeScript）中獲得型別安全、錯誤修正的輸出。它旨在提高可靠性、降低成本並加速 AI 應用的開發週期。

Sylph AI 是一個旨在最大化LLM應用潛力的開發平台。它提供領先的開源庫AdalFlow，用於建構和自動優化LLM任務流程，以及一個AI隊友，在從構思到生產的整個開發工作流程中提供專家指導。

OpenLIT 是一個專為生成式 AI 和 LLM 應用程式設計的開源、OpenTelemetry 原生可觀測性平台。它透過請求追蹤、成本追蹤、異常監控和效能分析等工具簡化了開發流程。OpenLIT 擁有集中的提示詞儲存庫、用於儲存密鑰的安全保管庫以及用於比較 LLM 的實驗場，為高效監控和擴展 AI 應用程式提供了全面的解決方案。

ModelFusion 是一款面向開發者和研究人員的一體化 LLM 工具包。它提供一套免費工具，包括成本計算器、提示詞庫和模型比較器，支援 GPT-4、Claude 和 Gemini 等 30 多種 AI 模型。它還提供統一的 API 和本地模型運行指南，以簡化 AI 開發並優化成本。

Prompt Mixer 是一款強大的開源提示工程工具，為團隊提供了一個協作工作區。它支援使用者透過管理提示鏈、比較不同的大型語言模型（LLM）和利用進階評估指標，來創建、測試、評估和部署由 AI 驅動的解決方案。

6b 是 EleutherAI 提供的一個免費網頁介面，用於測試 GPT-J-6B 大型語言模型。使用者可以輸入提示詞，調整溫度和 top-p 等參數，並即時生成文本。它是一個便利的工具，供開發者、研究人員和寫作者在無需任何設定的情況下，體驗強大的60億參數開源AI，探索其在創意寫作、編碼和內容創作方面的能力。

Portkey AI 是一款專為開發者設計的進階 AI 閘道和 LLM Ops 平台。它透過為各種大型語言模型（LLM）提供統一的 API、即時可觀測性、語義快取和智慧負載平衡，簡化了可靠、可擴展且具成本效益的 AI 應用的開發。

Prompto 是一款免費、開源、基於瀏覽器的介面，用於與各種大型語言模型（LLM）進行互動。它利用 LangChain.js 直接連接到 OpenAI、Anthropic 等供應商以及透過 Ollama 連接的本地模型，提供模型比較競技場、提示詞範本和多 AI 對話等進階功能，同時透過本機儲存資料來優先保護使用者隱私。