TwelveLabs

TwelveLabs est une plateforme d'IA pionnière dédiée à la compréhension de la vidéo. Elle fournit aux développeurs et aux entreprises de puissants modèles d'IA multimodaux capables de voir, d'entendre et de comprendre le contenu vidéo à un niveau quasi humain. En traitant simultanément les données visuelles, les pistes audio et les mots parlés, TwelveLabs transforme de vastes bibliothèques vidéo, d'archives non consultables en actifs structurés et interrogeables. La plateforme est construite sur des modèles de fondation de pointe, Marengo pour la recherche et la récupération, et Pegasus pour la génération de texte à partir de la vidéo, permettant ainsi une nouvelle génération d'applications vidéo intelligentes.

Comment utiliser TwelveLabs

TwelveLabs est une plateforme API-first conçue pour une intégration facile dans des applications nouvelles ou existantes. Le flux de travail typique est le suivant :

1. Inscrivez-vous et obtenez une clé API : Inscrivez-vous sur le site web de TwelveLabs pour obtenir une clé API gratuite.
2. Utilisez le Playground : Pour des tests rapides et sans code, vous pouvez télécharger vos propres vidéos directement sur le Playground de TwelveLabs pour voir les capacités de l'IA en action.
3. Intégrez avec les SDK : Pour le développement, utilisez les SDK officiels (disponibles pour Python, Node.js, etc.). Vous créerez d'abord un 'index', qui est un espace dédié à vos données vidéo.
4. Indexez vos vidéos : Téléchargez vos vidéos dans l'index créé. La plateforme les traitera et les indexera, créant des embeddings multimodaux qui capturent l'essence du contenu.
5. Interrogez via l'API : Une fois l'indexation terminée, vous pouvez utiliser l'API pour effectuer des actions :
   • Rechercher : Utilisez le langage naturel pour trouver des moments spécifiques (par exemple, "une personne qui monte à une échelle").
   • Analyser : Générez des résumés, des chapitres, des moments forts ou posez des questions spécifiques sur le contenu de la vidéo.
   • Intégrer (Embed) : Récupérez des embeddings vectoriels pour vos vidéos afin de construire des solutions personnalisées comme des moteurs de recommandation ou des classificateurs de contenu.

Fonctionnalités principales de TwelveLabs

• Recherche vidéo multimodale : Allez au-delà du balisage par mots-clés. Recherchez des actions, des objets, des sons et des phrases parlées à l'aide de requêtes en langage naturel. L'IA comprend le contexte et les relations temporelles au sein de la vidéo.
• Analyse et génération vidéo : Générez automatiquement du texte riche à partir de la vidéo. Cela inclut des résumés concis, des découpages détaillés en chapitres, des extraits des meilleurs moments, des questions-réponses et des suggestions de publications pour les réseaux sociaux.
• Embedding vidéo : Convertissez la vidéo, l'audio, l'image et le texte en puissants embeddings vectoriels. Ces embeddings permettent des cas d'utilisation avancés comme la recherche par similarité sémantique, la recommandation de contenu et la classification personnalisée sans formation de modèle approfondie.
• Modèles de fondation de pointe : La plateforme est alimentée par des modèles propriétaires : Marengo, qui excelle dans les tâches de récupération de tout à tout (texte-vidéo, vidéo-vidéo, etc.), et Pegasus, un modèle de langage axé sur la vidéo pour une génération de texte de haute qualité.
• Déploiement et personnalisation flexibles : Déployez sur le cloud, le cloud privé ou sur site (on-premise). Les modèles peuvent être affinés avec vos propres données pour devenir des experts dans votre domaine spécifique, garantissant une précision et une pertinence accrues.

Cas d'utilisation pour TwelveLabs

TwelveLabs est polyvalent et sert diverses industries :

• Médias et divertissement : Automatisez la création de clips promotionnels, localisez rapidement des scènes spécifiques pour le montage, générez des résumés de contenu pour les archives et alimentez les plateformes de découverte de contenu pour les spectateurs.
• Publicité : Permettez le placement d'annonces contextuelles en analysant le contenu vidéo pour le faire correspondre à des publicités pertinentes, et accélérez le flux de travail créatif en trouvant rapidement des séquences appropriées.
• Gouvernement et sécurité : Identifiez rapidement les événements critiques et les personnes d'intérêt dans de vastes quantités de séquences de surveillance, améliorant ainsi la sécurité et les temps de réponse.
• Applications pour développeurs : Créez des applications innovantes comme un analyseur de performance d'entretien, un générateur automatique de chapitres YouTube, un chercheur de teintes de produits dans les critiques vidéo ou un générateur de moments forts sportifs.

Avantages de TwelveLabs

TwelveLabs offre des avantages significatifs par rapport au traitement vidéo traditionnel et aux autres modèles d'IA :

• Précision de classe mondiale : Ses modèles natifs de la vidéo surpassent constamment les benchmarks établis par les principaux fournisseurs de cloud et les alternatives open-source.
• Évolutivité massive : L'infrastructure est conçue pour gérer d'énormes bibliothèques vidéo, jusqu'à des pétaoctets de données, sans compromettre les performances.
• Véritable compréhension multimodale : En fusionnant les informations visuelles, auditives et textuelles, l'IA acquiert une compréhension contextuelle profonde qui manque aux systèmes simples à modalité unique.
• Axé sur le développeur : Fournit une documentation complète, des SDK, un niveau gratuit pour l'expérimentation et un modèle de paiement à l'utilisation qui évolue avec vos besoins.

Tarification et plans

TwelveLabs propose une structure de tarification flexible et à plusieurs niveaux :

• Plan gratuit : Idéal pour tester et construire des prototypes. Comprend jusqu'à 10 heures (600 minutes) d'indexation vidéo gratuite, avec des limites quotidiennes sur les appels API.
• Plan développeur : Un plan de paiement à l'utilisation pour lancer et développer des applications. La tarification est basée sur l'utilisation, avec des frais à la minute pour l'indexation vidéo, pour 1000 requêtes de recherche et pour 1k jetons pour la génération de texte. Ce plan offre une indexation illimitée et des limites d'API plus élevées.
• Plan entreprise : Un plan personnalisé pour le déploiement à grande échelle et les besoins de service spécifiques. Il comprend une infrastructure dédiée, une utilisation illimitée, des capacités d'affinage, le SSO et un support premium. Contactez le service commercial pour un devis personnalisé.