Truefoundry

Truefoundry 是一个全面的企业级平台，旨在治理、部署、扩展和追踪代理式 AI (Agentic AI) 应用程序。它为从实验到生产的整个 AI/ML 生命周期提供了一个统一的控制平面。该平台可在任何环境中运行，包括本地、VPC、物理隔离或多云设置，确保完全的数据主权。它通过为 MLOps、LLMops 和基础设施管理提供强大的工具，使组织能够安全高效地加速 AI 的采用。

如何使用 Truefoundry

1. 在 Truefoundry 网站上注册一个账户。您将为您的组织获得一个唯一的 URL（例如，your-company.truefoundry.cloud）。
2. 通过确认邮件激活您的账户以登录。
3. 利用 AI 网关通过单一、统一的 API 端点连接和管理各种 LLM。
4. 使用高性能后端部署任何 AI 模型，包括 LLM、嵌入模型或自定义模型。
5. 使用该平台在您自己的数据上微调模型，并将其直接部署到生产环境。
6. 配置和执行治理策略，例如基于角色的访问控制 (RBAC)、速率限制和成本预算。
7. 使用集成的可观测性仪表板监控您的 AI 堆栈的各个方面，从提示执行和令牌使用到 GPU 性能。

Truefoundry 的核心功能

• AI 网关： 一个集中的网关，用于管理、路由和保护所有 LLM 请求，具有负载均衡、回退、语义缓存和速率限制等功能。
• 代理式 AI 编排： 为复杂的 AI 代理和工作流实现智能的多步推理、工具使用和记忆功能。
• 模型部署与服务： 使用 vLLM 和 TGI 等优化后端托管任何开源或自定义 AI 模型。支持 Langgraph、CrewAI 和 AutoGen 等框架。
• LLM 微调： 一个简化的工作流程，用于启动微调作业、跟踪实验和部署更新后的模型。
• 企业治理与安全： 具有精细的 RBAC、单点登录 (SSO)、不可变审计日志和实时策略执行功能。符合 SOC 2、HIPAA 和 GDPR 标准。
• 全面的可观测性： 提供从提示执行到 GPU 性能的全栈追踪，并与 Grafana、Datadog 和 Prometheus 集成。
• 自动化基础设施优化： 自动管理 GPU 编排、自动扩展和分数 GPU 支持，以最大化利用率并降低云成本。

Truefoundry 的使用案例

对于 MLOps 和 DevOps 团队： 简化 ML 模型的部署、扩展和监控，减轻 DevOps 负担和基础设施开销。
对于企业 AI 平台： 构建一个集中的、安全的、受治理的 AI 基础设施，以在整个组织内实现安全的 AI 实验和生产化。
对于数据科学团队： 加速从模型实验到生产就绪服务的过渡，提供用于微调和部署的集成工具。
对于 AI 应用程序开发人员： 使用托管的、生产就绪的堆栈更快地构建和部署复杂的 RAG 和代理式应用程序。

Truefoundry 的优势特点

加速价值实现： 将模型部署时间缩短 60% 以上，模型上市时间缩短高达 80%。
显著降低成本： 通过自动化基础设施规模调整，将云支出降低 40-50%，并将 GPU 集群利用率提高多达 80%。
统一控制与治理： 提供单一平台来管理所有 AI 模型和云的安全、可观测性和策略。
部署灵活性： 支持本地、VPC、物理隔离和多云部署，提供完全的数据主权。
高性能： AI 网关专为低延迟（仅增加约 3 毫秒）和高吞吐量（在 1 个 vCPU 上超过 350 RPS）而设计，确保响应迅速的用户体验。

定价和计划

Truefoundry 提供灵活的计划，旨在满足不同团队规模和需求：
- 开发者计划： 0美元/月。包括每月 5 万次请求和最多 3 个用户。非常适合个人和早期实验。
- 专业版计划： 499美元/月。包括每月 100 万次请求和最多 10 个用户。解锁语义缓存、高级路由和更高限制等高级功能。
- 企业版计划： 定制价格。专为大型组织设计，满足自定义请求量、高级安全（SSO、GDPR、HIPAA）、本地/VPC 部署和企业级 SLA 的需求。