FriendliAI

FriendliAI 是一家全面的生成式 AI 基礎設施公司，致力於讓 AI 模型的部署和擴展變得輕鬆、快速且經濟高效。該平台提供一套旨在加速生成式 AI 推理的工具，使企業能夠從開發無縫過渡到生產。透過利用突破性的優化技術，FriendliAI 在提升性能的同時，顯著降低了營運成本和硬體需求。它支援超過 40 萬個模型的龐大生態系統，包括 Llama、Mixtral 和 Qwen 等流行的開源大型語言模型，以及自訂和多模態模型。

FriendliAI 產品的核心是 Friendli Suite，它包含三個主要產品，以滿足不同的部署需求：用於保證性能的 Friendli Dedicated Endpoints、用於按需付費靈活性的 Friendli Serverless Endpoints，以及用於在公司自有基礎設施內實現最高安全性的 Friendli Container。該平台建立在迭代批次處理（連續批次處理）、優化的 GPU 核心和原生量化等專有技術之上，這些技術共同提供了業界領先的吞吐量和低延遲。

如何使用 FriendliAI

開始使用 FriendliAI 的過程非常直接，專為開發人員和 MLOps 團隊設計。以下是典型的工作流程：

1. 註冊並選擇產品： 在 Friendli Suite 上建立一個帳戶。根據您的需求，您可以從免費試用或積分開始。在專用端點、無伺服器端點或容器解決方案之間進行選擇。
2. 建立新端點： 在儀表板中，建立一個新專案，然後建立一個新端點。為其指定一個唯一的名稱。
3. 選擇模型： 您可以直接從 Hugging Face 或 Weights & Biases (W&B) 等流行模型庫中部署模型。只需提供模型 ID。或者，您也可以上傳自己客製化訓練的模型。
4. 配置實例： 根據您的模型大小和性能要求，選擇合適的 GPU 實例類型（例如 A100、H100）。平台會提供建議以防止顯示記憶體不足的問題。
5. 設定自動擴展： 配置自動擴展參數以有效管理成本和性能。您可以設定最小和最大副本數，並能夠縮減至零以消除閒置期間的成本。
6. 部署和測試： 點擊「建立」以部署端點。初始化後，您可以使用內建的「Playground」發送測試提示並驗證輸出。
7. 與您的應用程式整合： 使用提供的 API 金鑰和程式碼片段（cURL、Python）將推理端點整合到您的應用程式、產品或服務中。
8. 監控和優化： 利用整合儀表板監控端點性能、查看日誌並分析指標，以進一步優化您的部署。

FriendliAI 的核心功能

• Friendli Suite： 一個一體化平台，提供三種部署選項：專用端點（保證資源）、無伺服器端點（按使用付費）和容器（本地/VPC）。
• 突破性性能： 利用迭代批次處理（連續批次處理）等專有技術，實現比替代方案高出 10.7 倍的吞吐量和低 6.2 倍的延遲。
• 成本效益： 透過將相同工作負載所需的 GPU 數量減少多達 6 倍，實現 50-90% 的成本節省。
• 廣泛的模型支援： 從 Hugging Face、W&B 無縫部署超過 40 萬個模型，或上傳自訂模型，包括多模態模型。
• 先進的量化技術： 支援 FP8、INT8 和 AWQ 等原生量化技術，以在不犧牲準確性的情況下高效地服務模型。
• 智能自動擴展： 根據即時需求自動調整資源，包括擴展至零以最小化成本。
• AI 代理建構工具： 提供模型無關的函數調用、結構化輸出，並與網路搜尋和計算器等工具整合，以建構可靠和複雜的 AI 代理。
• 生產就緒： 提供有保證的服務等級協議（SLA）、為雲端或本地部署提供強大的安全性，以及先進的監控和偵錯工具。

FriendliAI 的使用案例

FriendliAI 深受領先企業的信賴，用於要求嚴苛的生產級 AI 應用。

• 大規模 AI 服務： 像 SKT 這樣的電信營運商使用 FriendliAI 為數百萬用戶提供 AI 服務，實現了 5 倍的吞吐量提升和 3 倍的成本節省。
• 高流量聊天機器人： 像 NextDay AI 這樣的公司運行個人化角色聊天機器人，每月處理超過 3 萬億個 token，透過 Friendli Container 節省了超過 50% 的 GPU 使用量。
• 企業 AI 應用： 使用 Friendli Container 部署為特定業務功能（如內部知識庫搜尋、程式碼生成或客戶支援自動化）客製化調整的模型，並保證完全的資料隱私。
• 模型評估和選擇： 使用無伺服器端點中的並排比較功能，為特定用例評估和選擇性能最佳的模型。
• 建構複雜的 AI 代理： 透過外部工具和可靠的函數調用為 AI 代理賦能，以執行資料分析、預訂系統或自動化工作流程等複雜任務。

FriendliAI 的優勢特點

FriendliAI 透過專注於性能、成本和靈活性，提供了獨特的競爭優勢。其核心優勢在於其專有的推理引擎，其性能顯著優於其他解決方案。這直接帶來了益處，例如顯著降低雲端運算費用，以及用更少的硬體服務更多的使用者。該平台的靈活性允許企業為其安全和擴展需求選擇完美的部署模型，無論是完全託管的無伺服器 API 還是在私有雲中運行的容器。其易用性，包括從 Hugging Face 一鍵部署和全面的監控工具，減輕了工程團隊的營運負擔，使他們能夠專注於建構創新的 AI 產品。

定價和計劃

FriendliAI 提供靈活的、基於使用量的定價模型，並提供免費增值入門選項。

• 基礎計劃： 以 5 美元的免費積分開始。該計劃是按需付費的，並提供對可配置自動擴展和部署自訂模型等核心功能的存取。
• 企業計劃： 專為大規模部署設計，該計劃包含基礎計劃的所有內容，外加優先存取高需求 GPU、進階監控（指標和日誌）、專屬支援和自訂報價。

Friendli Dedicated Endpoints 的定價按 GPU 小時收費，費率因 GPU 類型而異：

• A100 80GB： 2.9 美元/小時
• H100 80GB： 4.9 美元/小時
• H200 141GB： 5.9 美元/小時

Friendli Container 和 Friendli Serverless Endpoints 的定價也已提供，並根據其特定的使用模式量身訂製。企業客戶可以聯繫銷售獲取客製化的折扣定價計劃。