TwelveLabs

TwelveLabs 是一个专注于视频理解的开创性人工智能平台。它为开发者和企业提供强大的多模态人工智能模型，能够以类似人类的水平观看、聆听和理解视频内容。通过同时处理视觉数据、音轨和口语，TwelveLabs 将庞大的视频库从无法搜索的档案转变为结构化、可查询的资产。该平台建立在最先进的基础模型之上，包括用于搜索和检索的 Marengo 模型以及用于视频到文本生成的 Pegasus 模型，从而催生了新一代的智能视频应用。

如何使用 TwelveLabs

TwelveLabs 是一个 API 优先的平台，旨在轻松集成到新的或现有的应用程序中。典型的工作流程如下：

1. 注册并获取 API 密钥： 在 TwelveLabs 网站上注册，获取免费的 API 密钥。
2. 使用 Playground： 为了进行快速的无代码测试，您可以将自己的视频直接上传到 TwelveLabs Playground，亲眼见证 AI 的强大功能。
3. 通过 SDK 集成： 在开发过程中，使用官方 SDK（支持 Python、Node.js 等）。您首先需要创建一个“索引”，这是您视频数据的专用空间。
4. 为您的视频建立索引： 将您的视频上传到创建的索引中。平台将对其进行处理和索引，创建能够捕捉内容精髓的多模态嵌入。
5. 通过 API 查询： 索引完成后，您可以使用 API 执行操作：
   • 搜索： 使用自然语言查找特定时刻（例如，“一个人正在爬梯子”）。
   • 分析： 生成摘要、章节、亮点，或询问有关视频内容的具体问题。
   • 嵌入： 检索视频的向量嵌入，以构建自定义解决方案，如推荐引擎或内容分类器。

TwelveLabs 的核心功能

• 多模态视频搜索： 超越关键词标签。使用自然语言查询搜索动作、物体、声音和口语短语。AI 能够理解视频中的上下文和时间关系。
• 视频分析与生成： 从视频中自动生成丰富的文本。这包括简洁的摘要、详细的章节划分、精彩集锦、问答和社交媒体帖子建议。
• 视频嵌入： 将视频、音频、图像和文本转换为强大的向量嵌入。这些嵌入支持高级用例，如语义相似性搜索、内容推荐和自定义分类，而无需进行大量的模型训练。
• 最先进的基础模型： 该平台由专有模型驱动：Marengo，擅长任何到任何的检索任务（文本到视频、视频到视频等）；以及 Pegasus，一个视频优先的语言模型，用于高质量的文本生成。
• 灵活的部署与定制： 可部署在云、私有云或本地。模型可以使用您自己的数据进行微调，成为您特定领域的专家，确保更高的准确性和相关性。

TwelveLabs 的使用案例

TwelveLabs 功能多样，服务于各个行业：

• 媒体与娱乐： 自动化制作宣传片，快速定位特定场景进行编辑，为档案生成内容摘要，并为观众打造内容发现平台。
• 广告： 通过分析视频内容以匹配相关广告，实现上下文广告投放，并通过快速找到合适的素材来加速创意工作流程。
• 政府与安全： 在海量监控录像中快速识别关键事件和相关人员，增强安全性和响应时间。
• 开发者应用： 构建创新应用，如面试表现分析器、自动 YouTube 章节生成器、视频评论中的产品色号查找器或体育集锦生成器。

TwelveLabs 的优势特点

与传统的视频处理和其他 AI 模型相比，TwelveLabs 具有显著优势：

• 世界一流的准确性： 其视频原生模型在性能上持续超越主要云服务提供商和开源替代方案设定的基准。
• 大规模可扩展性： 该基础架构旨在处理海量视频库，数据量可达 PB 级别，而不会影响性能。
• 真正的多模态理解： 通过融合视觉、听觉和文本信息，AI 获得了简单单模态系统所缺乏的深度、上下文理解能力。
• 开发者优先： 提供全面的文档、SDK、用于实验的免费套餐，以及随您需求扩展的按需付费模式。

定价和计划

TwelveLabs 提供灵活的分层定价结构：

• 免费计划： 非常适合测试和构建原型。包括长达 10 小时（600 分钟）的免费视频索引，并设有每日 API 调用限制。
• 开发者计划： 一种按需付费的计划，用于启动和发展应用程序。定价基于使用量，按分钟收取视频索引费用，按每 1000 次查询收取搜索费用，按每 1k token 收取文本生成费用。此计划提供无限索引和更高的 API 限制。
• 企业计划： 针对大规模部署和特定服务需求的定制计划。它包括专用基础设施、无限使用量、微调功能、单点登录（SSO）和高级支持。请联系销售获取定制报价。