我可以在 Baseten 上部署哪些类型的模型？

您可以在 Baseten 上部署开源模型和自定义模型。该平台通过其用于打包和服务模型的开源标准 Truss，支持任何框架中构建的任何模型。您也可以从 Baseten 模型库中选择现成的模型开始。

Baseten 上有哪些可用的 GPU？

您可以完全控制模型使用的 GPU。Baseten 在其实例类型参考中提供了当前可用 GPU 的完整列表。如果您需要列表中没有的特定 GPU 类型，可以联系他们的团队提出请求。

我需要为 Baseten 的闲置时间付费吗？

不，您无需为闲置时间付费。您只需为模型在 Baseten 上主动使用计算资源的时间付费，这包括部署、扩缩容或进行预测的时间。您可以完全控制模型的扩缩容行为。

是的，Baseten 已通过 SOC 2 Type II 认证并符合 HIPAA 标准，确保其满足适用于企业和医疗保健应用的高标准安全和数据保护要求。

我可以在自己的基础设施上部署 Baseten 吗？

是的，通过企业版计划，您可以在自己的 VPC 中自托管 Baseten。这使您能够完全控制安全性、数据驻留，并使用您现有的云服务承诺。

你们提供什么级别的客户支持？

客户支持级别因计划而异。基础版计划包括电子邮件和应用内聊天支持。专业版和企业版计划提供在 Slack 和 Zoom 上的专属支持，以及获得前沿部署工程师的实践帮助。

新用户有免费额度吗？

是的，新的 Baseten 账户会获得免费额度，让您可以探索用户界面并试验模型部署，无需初始成本。

Baseten | 生产级 AI 模型部署与推理平台

Baseten 概览

Baseten 是一个综合性平台，专为在生产环境中部署、服务和扩展 AI 模型而设计。它提供必要的基础设施、工具和专业知识，帮助您快速高效地将 AI 产品推向市场。Baseten 由其核心的推理栈（Inference Stack）驱动，为关键任务推理工作负载提供高性能的模型运行时、跨云高可用性和以开发者为中心的体验。

如何使用 Baseten

1. 选择部署方式：利用模型 API 即时访问预优化模型进行快速原型设计，或为自定义、微调或开源模型创建专用部署。
2. 使用 Truss 打包模型：Truss 是 Baseten 的开源标准，支持任何机器学习框架。
3. 部署到您偏好的环境：Baseten 的全托管云、您自己的 VPC（用于自托管）或结合两者的混合设置。
4. 根据流量自动扩展应用：受益于快速冷启动和 99.99% 的正常运行时间等特性。
5. （可选）利用 Baseten 经过推理优化的基础设施来训练模型，以获得最佳的生产性能。

Baseten 的核心功能

Baseten 推理栈：一个高性能引擎，具有自定义内核、高级缓存和最新的解码技术，可实现更低的延迟和更高的吞吐量。
灵活的部署选项：可在 Baseten 云（全托管）、自托管（在您的 VPC 中）和混合部署之间选择，以满足安全和性能需求。
广泛的模型支持：部署任何自定义、专有或开源模型，包括 LLM、图像生成模型（如 ComfyUI 工作流）、转录和文本转语音。
生产级模型 API：即时访问和评估一系列流行的模型库，如 DeepSeek、Kimi 和 Qwen，并具有生产级的性能。
云原生基础设施：具备自动扩展、跨任何云提供商的全球区域支持、极快的冷启动和 99.99% 的正常运行时间保证。
复合 AI 链：为复杂的多模型 AI 工作流实现精细的硬件控制和自动扩展，从而提高 GPU 利用率并减少延迟。
专家工程支持：可获得前沿部署工程师的帮助，提供从原型到生产的实践支持。

Baseten 的使用案例

Baseten 非常适合构建要求苛刻的实时 AI 应用。使用案例包括为低延迟 AI 电话代理提供支持、开发用于图像和文本创建的生成式 AI 产品、为搜索和检索提供高吞吐量的嵌入模型，以及为金融和医疗等专业行业部署定制的 LLM。

Baseten 的优势特点

Baseten 的主要优势在于其卓越的性能、成本效益和可扩展性。通过优化整个推理栈，它显著降低了延迟并提高了吞吐量，例如帮助 Bland AI 等客户实现了低于 400 毫秒的响应时间。其“按使用付费”模式避免了闲置时间的成本，而基于流量的自动扩展确保了在快速增长期间的可靠性。该平台还通过了 SOC 2 Type II 认证并符合 HIPAA 标准，确保了企业级的安全性。

定价和计划

Baseten 提供专为增长而设计的分层定价结构：
- Basic：按需付费计划，每月 0 美元起。包括访问专用部署、模型 API、快速冷启动，并符合 SOC 2 Type II 和 HIPAA 标准。
- Pro：自定义报价计划，增加了对高需求 GPU 的优先访问权、专用计算资源、更高的速率限制，以及通过 Slack 和 Zoom 提供的实践支持。
- Enterprise：为完全控制而设的自定义报价计划，提供在您的 VPC 中自托管、自定义 SLA、高级安全以及使用现有云承诺的能力。

使用费用基于两种模式计费：
- 模型 API：按每百万输入和输出 token 定价。例如，Kimi K2 的价格为每百万输入 token 0.60 美元，每百万输出 token 2.50 美元。
- 专用部署：按计算时间的分钟数计费。例如，一个 A10G GPU 实例的价格为每分钟 0.02012 美元，一个 H100 GPU 为每分钟 0.10833 美元。

Baseten 常见问题

Baseten 评论 (0)

登录后发表评论。

登录

暂无评论。

流量分析

地理位置

Top 5 国家/地区

🇺🇸美国
71.0%
🇨🇦加拿大
8.1%
🇻🇳越南
7.9%
🇮🇳印度
7.0%
🇩🇪德国
6.0%

流量来源

来源类型	百分比
直接访问	85.6%
外链引荐	10.8%
邮件	3.6%

合计

100%

直接访问85.6%

外链引荐10.8%

邮件3.6%

关键词	每次点击费用
baseten	$4.41
baseten careers	$0.29
fireworks ai	$0.00
kimi ai	$0.38
together ai	$3.77

Baseten 的相关 YouTube 视频