TwelveLabs

TwelveLabsは、ビデオ理解に特化した先駆的なAIプラットフォームです。開発者や企業に、人間のようなレベルでビデオコンテンツを視聴し、聞き、理解できる強力なマルチモーダルAIモデルを提供します。視覚データ、オーディオトラック、話し言葉を同時に処理することで、TwelveLabsは膨大なビデオライブラリを検索不可能なアーカイブから、構造化されクエリ可能な資産へと変革します。このプラットフォームは、検索と検索のためのMarengo、ビデオからテキストを生成するためのPegasusという最先端の基盤モデル上に構築されており、新世代のインテリジェントなビデオアプリケーションを可能にします。

TwelveLabsの使い方

TwelveLabsは、新規または既存のアプリケーションに簡単に統合できるように設計されたAPIファーストのプラットフォームです。一般的なワークフローは以下の通りです。

1. サインアップしてAPIキーを取得：TwelveLabsのウェブサイトで登録し、無料のAPIキーを取得します。
2. プレイグラウンドを使用する：コード不要の迅速なテストのために、自分のビデオをTwelveLabsプレイグラウンドに直接アップロードして、AIの能力を実際に確認できます。
3. SDKで統合する：開発には、公式SDK（Python、Node.jsなどで利用可能）を使用します。まず、ビデオデータ専用のスペースである「インデックス」を作成します。
4. ビデオをインデックス化する：作成したインデックスにビデオをアップロードします。プラットフォームがそれを処理・インデックス化し、コンテンツの本質を捉えたマルチモーダル埋め込みを生成します。
5. API経由でクエリする：インデックス化が完了したら、APIを使用してアクションを実行できます：
   • 検索：自然言語を使用して特定の瞬間を見つけます（例：「はしごを登っている人」）。
   • 分析：要約、チャプター、ハイライトを生成したり、ビデオコンテンツに関する特定の質問をしたりします。
   • 埋め込み：ビデオのベクトル埋め込みを取得して、推薦エンジンやコンテンツ分類器などのカスタムソリューションを構築します。

TwelveLabsの主な機能

• マルチモーダルビデオ検索：キーワードタギングを超えます。自然言語クエリを使用して、アクション、オブジェクト、サウンド、話し言葉のフレーズを検索します。AIはビデオ内のコンテキストと時間的関係を理解します。
• ビデオ分析と生成：ビデオからリッチなテキストを自動生成します。これには、簡潔な要約、詳細なチャプター分割、ハイライトリール、Q&A、ソーシャルメディア投稿の提案が含まれます。
• ビデオ埋め込み：ビデオ、オーディオ、画像、テキストを強力なベクトル埋め込みに変換します。これらの埋め込みにより、大規模なモデルトレーニングなしで、意味的類似性検索、コンテンツ推薦、カスタム分類などの高度なユースケースが可能になります。
• 最先端の基盤モデル：プラットフォームは独自のモデルによって駆動されています：Marengoは、any-to-any検索タスク（テキストからビデオ、ビデオからビデオなど）に優れており、Pegasusは、高品質なテキスト生成のためのビデオファーストの言語モデルです。
• 柔軟な展開とカスタマイズ：クラウド、プライベートクラウド、またはオンプレミスで展開できます。モデルは独自のデータでファインチューニングして、特定のドメインの専門家となり、より高い精度と関連性を確保できます。

TwelveLabsの使用例

TwelveLabsは多用途で、さまざまな業界にサービスを提供しています。

• メディア＆エンターテイメント：プロモーションクリップの作成を自動化し、編集のために特定のシーンを迅速に見つけ、アーカイブ用のコンテンツ要約を生成し、視聴者向けのコンテンツ発見プラットフォームを強化します。
• 広告：ビデオコンテンツを分析して関連広告と一致させることで文脈広告の配置を可能にし、適切な映像を迅速に見つけることでクリエイティブワークフローを高速化します。
• 政府＆セキュリティ：膨大な監視映像から重要なイベントや関係者を迅速に特定し、セキュリティと対応時間を向上させます。
• 開発者アプリケーション：面接パフォーマンス分析ツール、自動YouTubeチャプター生成ツール、ビデオレビュー内の製品シェード検索ツール、スポーツハイライト生成ツールなどの革新的なアプリを構築します。

TwelveLabsの利点

TwelveLabsは、従来のビデオ処理や他のAIモデルに比べて大きな利点を提供します。

• 世界クラスの精度：そのビデオネイティブモデルは、主要なクラウドプロバイダーやオープンソースの代替品が設定したベンチマークを一貫して上回っています。
• 大規模なスケーラビリティ：インフラは、パフォーマンスを損なうことなく、ペタバイト単位の巨大なビデオライブラリを処理するように設計されています。
• 真のマルチモーダル理解：視覚、聴覚、テキスト情報を融合することで、AIは単純なシングルモーダルシステムにはない、深く文脈的な理解を得ることができます。
• 開発者ファースト：包括的なドキュメント、SDK、実験用の無料ティア、ニーズに応じてスケールする従量課金モデルを提供します。

料金プラン

TwelveLabsは、柔軟な階層型料金体系を提供しています。

• 無料プラン：テストやプロトタイプの構築に最適です。最大10時間（600分）の無料ビデオインデックス作成が含まれ、API呼び出しには1日あたりの制限があります。
• 開発者プラン：アプリケーションの立ち上げと成長のための従量課金プランです。料金は使用量に基づいており、ビデオインデックス作成は分単位、検索は1000クエリごと、テキスト生成は1kトークンごとに課金されます。このプランは無制限のインデックス作成とより高いAPI制限を提供します。
• エンタープライズプラン：大規模な展開と特定のサービスニーズに対応するカスタムプランです。専用インフラ、無制限の使用、ファインチューニング機能、SSO、プレミアムサポートが含まれます。カスタム見積もりについては営業にお問い合わせください。