FriendliAI

FriendliAI 是一家全面的生成式 AI 基础设施公司，致力于让 AI 模型的部署和扩展变得轻松、快速且经济高效。该平台提供一套旨在加速生成式 AI 推理的工具，使企业能够从开发无缝过渡到生产。通过利用突破性的优化技术，FriendliAI 在提升性能的同时，显著降低了运营成本和硬件需求。它支持超过 40 万个模型的庞大生态系统，包括 Llama、Mixtral 和 Qwen 等流行的开源大语言模型，以及自定义和多模态模型。

FriendliAI 产品的核心是 Friendli Suite，它包含三个主要产品，以满足不同的部署需求：用于保证性能的 Friendli Dedicated Endpoints、用于按需付费灵活性的 Friendli Serverless Endpoints，以及用于在公司自有基础设施内实现最高安全性的 Friendli Container。该平台建立在迭代批处理（连续批处理）、优化的 GPU 内核和原生量化等专有技术之上，这些技术共同提供了行业领先的吞吐量和低延迟。

如何使用 FriendliAI

开始使用 FriendliAI 的过程非常直接，专为开发人员和 MLOps 团队设计。以下是典型的工作流程：

1. 注册并选择产品： 在 Friendli Suite 上创建一个账户。根据您的需求，您可以从免费试用或积分开始。在专用端点、无服务器端点或容器解决方案之间进行选择。
2. 创建新端点： 在仪表板中，创建一个新项目，然后创建一个新端点。为其指定一个唯一的名称。
3. 选择模型： 您可以直接从 Hugging Face 或 Weights & Biases (W&B) 等流行模型库中部署模型。只需提供模型 ID。或者，您也可以上传自己定制训练的模型。
4. 配置实例： 根据您的模型大小和性能要求，选择合适的 GPU 实例类型（例如 A100、H100）。平台会提供建议以防止显存不足的问题。
5. 设置自动扩展： 配置自动扩展参数以有效管理成本和性能。您可以设置最小和最大副本数，并能够缩减至零以消除空闲期间的成本。
6. 部署和测试： 点击“创建”以部署端点。初始化后，您可以使用内置的“Playground”发送测试提示并验证输出。
7. 与您的应用程序集成： 使用提供的 API 密钥和代码片段（cURL、Python）将推理端点集成到您的应用程序、产品或服务中。
8. 监控和优化： 利用集成仪表板监控端点性能、查看日志并分析指标，以进一步优化您的部署。

FriendliAI 的核心功能

• Friendli Suite： 一个一体化平台，提供三种部署选项：专用端点（保证资源）、无服务器端点（按使用付费）和容器（本地/VPC）。
• 突破性性能： 利用迭代批处理（连续批处理）等专有技术，实现比替代方案高出 10.7 倍的吞吐量和低 6.2 倍的延迟。
• 成本效益： 通过将相同工作负载所需的 GPU 数量减少多达 6 倍，实现 50-90% 的成本节省。
• 广泛的模型支持： 从 Hugging Face、W&B 无缝部署超过 40 万个模型，或上传自定义模型，包括多模态模型。
• 先进的量化技术： 支持 FP8、INT8 和 AWQ 等原生量化技术，以在不牺牲准确性的情况下高效地服务模型。
• 智能自动扩展： 根据实时需求自动调整资源，包括扩展至零以最小化成本。
• AI 代理构建工具： 提供模型无关的函数调用、结构化输出，并与网络搜索和计算器等工具集成，以构建可靠和复杂的 AI 代理。
• 生产就绪： 提供有保证的服务等级协议（SLA）、为云或本地部署提供强大的安全性，以及先进的监控和调试工具。

FriendliAI 的使用案例

FriendliAI 深受领先企业的信赖，用于要求苛刻的生产级 AI 应用。

• 大规模 AI 服务： 像 SKT 这样的电信运营商使用 FriendliAI 为数百万用户提供 AI 服务，实现了 5 倍的吞吐量提升和 3 倍的成本节省。
• 高流量聊天机器人： 像 NextDay AI 这样的公司运行个性化角色聊天机器人，每月处理超过 3 万亿个 token，通过 Friendli Container 节省了超过 50% 的 GPU 使用量。
• 企业 AI 应用： 使用 Friendli Container 部署为特定业务功能（如内部知识库搜索、代码生成或客户支持自动化）定制调整的模型，并保证完全的数据隐私。
• 模型评估和选择： 使用无服务器端点中的并排比较功能，为特定用例评估和选择性能最佳的模型。
• 构建复杂的 AI 代理： 通过外部工具和可靠的函数调用为 AI 代理赋能，以执行数据分析、预订系统或自动化工作流等复杂任务。

FriendliAI 的优势特点

FriendliAI 通过专注于性能、成本和灵活性，提供了独特的竞争优势。其核心优势在于其专有的推理引擎，其性能显著优于其他解决方案。这直接带来了好处，例如显著降低云计算费用，以及用更少的硬件服务更多的用户。该平台的灵活性允许企业为其安全和扩展需求选择完美的部署模型，无论是完全托管的无服务器 API 还是在私有云中运行的容器。其易用性，包括从 Hugging Face 一键部署和全面的监控工具，减轻了工程团队的运营负担，使他们能够专注于构建创新的 AI 产品。

定价和计划

FriendliAI 提供灵活的、基于使用量的定价模型，并提供免费增值入门选项。

• 基础计划： 以 5 美元的免费积分开始。该计划是按需付费的，并提供对可配置自动扩展和部署自定义模型等核心功能的访问。
• 企业计划： 专为大规模部署设计，该计划包含基础计划的所有内容，外加优先访问高需求 GPU、高级监控（指标和日志）、专属支持和自定义报价。

Friendli Dedicated Endpoints 的定价按 GPU 小时计费，费率因 GPU 类型而异：

• A100 80GB： 2.9 美元/小时
• H100 80GB： 4.9 美元/小时
• H200 141GB： 5.9 美元/小时

Friendli Container 和 Friendli Serverless Endpoints 的定价也已提供，并根据其特定的使用模式量身定制。企业客户可以联系销售获取定制的折扣定价计划。