TwelveLabs

TwelveLabs 是一個專注於影片理解的開創性人工智慧平台。它為開發者和企業提供強大的多模態人工智慧模型，能夠以類似人類的水平觀看、聆聽和理解影片內容。透過同時處理視覺數據、音軌和口語，TwelveLabs 將龐大的影片庫從無法搜尋的檔案轉變為結構化、可查詢的資產。該平台建立在最先進的基礎模型之上，包括用於搜尋和檢索的 Marengo 模型以及用於影片到文本生成的 Pegasus 模型，從而催生了新一代的智慧影片應用。

如何使用 TwelveLabs

TwelveLabs 是一個 API 優先的平台，旨在輕鬆整合到新的或現有的應用程式中。典型的工作流程如下：

1. 註冊並取得 API 金鑰： 在 TwelveLabs 網站上註冊，取得免費的 API 金鑰。
2. 使用 Playground： 為了進行快速的無程式碼測試，您可以將自己的影片直接上傳到 TwelveLabs Playground，親眼見證 AI 的強大功能。
3. 透過 SDK 整合： 在開發過程中，使用官方 SDK（支援 Python、Node.js 等）。您首先需要建立一個「索引」，這是您影片資料的專用空間。
4. 為您的影片建立索引： 將您的影片上傳到建立的索引中。平台將對其進行處理和索引，建立能夠捕捉內容精髓的多模態嵌入。
5. 透過 API 查詢： 索引完成後，您可以使用 API 執行操作：
   • 搜尋： 使用自然語言尋找特定時刻（例如，「一個人正在爬梯子」）。
   • 分析： 產生摘要、章節、亮點，或詢問有關影片內容的具體問題。
   • 嵌入： 檢索影片的向量嵌入，以建構自訂解決方案，如推薦引擎或內容分類器。

TwelveLabs 的核心功能

• 多模態影片搜尋： 超越關鍵字標籤。使用自然語言查詢搜尋動作、物體、聲音和口語短語。AI 能夠理解影片中的上下文和時間關係。
• 影片分析與生成： 從影片中自動產生豐富的文本。這包括簡潔的摘要、詳細的章節劃分、精彩集錦、問答和社群媒體貼文建議。
• 影片嵌入： 將影片、音訊、圖像和文本轉換為強大的向量嵌入。這些嵌入支援進階用例，如語義相似性搜尋、內容推薦和自訂分類，而無需進行大量的模型訓練。
• 最先進的基礎模型： 該平台由專有模型驅動：Marengo，擅長任何到任何的檢索任務（文本到影片、影片到影片等）；以及 Pegasus，一個影片優先的語言模型，用於高品質的文本生成。
• 靈活的部署與客製化： 可部署在雲端、私有雲或本地。模型可以使用您自己的數據進行微調，成為您特定領域的專家，確保更高的準確性和相關性。

TwelveLabs 的使用案例

TwelveLabs 功能多樣，服務於各個行業：

• 媒體與娛樂： 自動化製作宣傳片，快速定位特定場景進行編輯，為檔案產生內容摘要，並為觀眾打造內容發現平台。
• 廣告： 透過分析影片內容以匹配相關廣告，實現上下文廣告投放，並透過快速找到合適的素材來加速創意工作流程。
• 政府與安全： 在海量監控錄影中快速識別關鍵事件和相關人員，增強安全性與應變時間。
• 開發者應用： 建構創新應用，如面試表現分析器、自動 YouTube 章節產生器、影片評論中的產品色號尋找器或體育集錦產生器。

TwelveLabs 的優勢特點

與傳統的影片處理和其他 AI 模型相比，TwelveLabs 具有顯著優勢：

• 世界一流的準確性： 其影片原生模型在性能上持續超越主要雲端服務供應商和開源替代方案設定的基準。
• 大規模可擴展性： 該基礎架構旨在處理海量影片庫，資料量可達 PB 等級，而不會影響性能。
• 真正的多模態理解： 透過融合視覺、聽覺和文本資訊，AI 獲得了簡單單模態系統所缺乏的深度、上下文理解能力。
• 開發者優先： 提供全面的文件、SDK、用於實驗的免費方案，以及隨您需求擴展的按需付費模式。

定價和計劃

TwelveLabs 提供靈活的分層定價結構：

• 免費計劃： 非常適合測試和建構原型。包括長達 10 小時（600 分鐘）的免費影片索引，並設有每日 API 呼叫限制。
• 開發者計劃： 一種按需付費的計劃，用於啟動和發展應用程式。定價基於使用量，按分鐘收取影片索引費用，按每 1000 次查詢收取搜尋費用，按每 1k token 收取文本生成費用。此計劃提供無限索引和更高的 API 限制。
• 企業計劃： 針對大規模部署和特定服務需求的客製化計劃。它包括專用基礎設施、無限使用量、微調功能、單點登入（SSO）和進階支援。請聯繫銷售獲取客製化報價。