Eventual

Eventual révolutionne la manière dont les développeurs et les data scientists travaillent avec des données complexes et à grande échelle. Au cœur de cette révolution se trouve Daft, un moteur de requête distribué open-source novateur, spécialement conçu pour l'ère de l'IA multimodale. Soutenu par un financement de série A de 30 millions de dollars, Eventual vise à fournir la technologie fondamentale qui rend le traitement de données multimodales simple et fiable une réalité, tout comme SQL l'a fait pour les données tabulaires il y a des décennies.

La plateforme s'attaque à un goulot d'étranglement critique dans le développement de l'IA : les ingénieurs passent souvent jusqu'à 70 % de leur temps à se battre avec l'infrastructure plutôt qu'à construire des modèles. Eventual, avec son moteur Daft, les libère de cette lutte. Il permet de traiter des pétaoctets de types de données variés — y compris des images, des vidéos, de l'audio, du texte et des tableaux structurés — à l'aide de requêtes déclaratives simples qui s'adaptent de manière transparente d'un ordinateur portable à un cluster massif.

Comment utiliser Eventual

La technologie de base d'Eventual, Daft, est conçue pour être accessible aux développeurs. Voici comment commencer :

1. Installation : En tant que bibliothèque native Python, Daft peut être facilement installé via pip : pip install daft.
2. Connexion aux données : Connectez-vous à vos données où qu'elles se trouvent, que ce soit dans le stockage cloud (AWS S3, GCS, Azure Blob Storage), les formats modernes de data lakehouse (Delta Lake, Apache Iceberg, Hudi) ou les catalogues d'entreprise (AWS Glue, Unity Catalog).
3. Interrogation des données : Utilisez l'API intuitive de Daft, similaire à Pandas, pour écrire des requêtes. L'API est déclarative, ce qui signifie que vous définissez ce que vous voulez faire, et le puissant moteur de Daft, basé sur Rust, optimise l'exécution. Il prend en charge des opérations familières pour filtrer, joindre et transformer des données à travers différentes modalités.
4. Application de modèles d'IA : Intégrez vos fonctions et modèles Python provenant de frameworks comme PyTorch, NumPy et HuggingFace directement dans vos pipelines de données à l'aide de fonctions définies par l'utilisateur (UDF). Le mécanisme sans copie de Daft garantit que votre code s'exécute efficacement à côté de vos données, minimisant la surcharge.
5. Mise à l'échelle : Développez votre code localement sur votre ordinateur portable. Lorsque vous devez traiter des ensembles de données plus importants, le même code peut être exécuté sur un cluster distribué à l'aide d'un exécuteur comme Ray, sans aucune modification.
6. Service géré : Pour les entreprises à la recherche d'une expérience entièrement gérée et sans serveur, Eventual propose une version commerciale. Les utilisateurs peuvent s'inscrire pour un accès anticipé via le site officiel afin de déléguer complètement la gestion de l'infrastructure.

Fonctionnalités principales de Eventual

• Traitement unifié des données multimodales : Un cadre unique et cohérent pour gérer les tableaux structurés, le texte non structuré, les images, les vidéos, l'audio et les tenseurs.
• Performance optimisée par Rust : Construit sur Rust pour une vitesse exceptionnelle, une exécution vectorisée et une gestion efficace de la mémoire. Il surpasse constamment les systèmes traditionnels, en utilisant jusqu'à 5 fois moins de mémoire.
• Natif Python, sans JVM : Évite la complexité, les temps de démarrage lents (20 fois plus rapides) et les maux de tête liés au réglage de la mémoire associés aux systèmes basés sur Java comme Spark.
• Mise à l'échelle transparente : Écrivez le code une seule fois et exécutez-le n'importe où — d'une seule machine à un grand cluster distribué — sans modification.
• Connectivité universelle des données : Se connecte nativement à un large éventail de sources et de formats de données, y compris les principaux fournisseurs de cloud et les technologies de data lakehouse.
• Intégration sans friction avec l'écosystème ML : Fonctionne directement avec les bibliothèques ML populaires comme PyTorch, Pandas, NumPy et HuggingFace.
• Intelligent et fiable : Dispose d'une gestion intelligente de la mémoire pour éviter les erreurs de mémoire insuffisante et de paramètres par défaut judicieux pour éliminer les tracas de configuration, garantissant des déploiements fiables.

Cas d'utilisation pour Eventual

Eventual et son moteur Daft sont approuvés par des entreprises de premier plan comme Amazon, Anthropic et CloudKitchens pour des charges de travail de données critiques.

• Traitement de documents à grande échelle : Créez des embeddings de texte à partir de collections massives de documents pour des applications comme la recherche sémantique, le RAG (Génération Augmentée par Récupération) et la classification de texte.
• ETL d'IA multimodale : Construisez des pipelines ETL (Extraire, Transformer, Charger) robustes qui traitent et enrichissent des types de données mixtes, comme l'annotation d'images avec du texte généré par un modèle de vision.
• Dédoublonnage de contenu : Effectuez un dédoublonnage flou à grande échelle sur des téraoctets de données textuelles ou d'images, comme l'a démontré Together AI, qui a obtenu une accélération de 10x.
• Gestion de catalogue de données : Gérez et traitez efficacement des catalogues de données à l'échelle de l'exaoctet, comme l'a prouvé Amazon, qui a économisé plus de 40 000 ans de temps de calcul vCPU par an sur une tâche critique.
• Alternative à Spark pour les plateformes ML : Servez d'alternative plus performante et plus conviviale pour les développeurs à Apache Spark, en unifiant l'infrastructure et en améliorant à la fois les performances des requêtes et la productivité.

Avantages de Eventual

Le principal avantage d'Eventual est sa capacité à augmenter considérablement la productivité des développeurs et à débloquer de nouvelles capacités d'IA. En faisant abstraction de l'ingénierie complexe des systèmes distribués, il permet aux équipes de se concentrer sur l'innovation. L'architecture basée sur Rust offre des performances et une efficacité inégalées, entraînant des économies de coûts significatives sur l'infrastructure cloud. Son approche unifiée des données multimodales brise les silos de données, permettant la création de systèmes d'IA plus sophistiqués et puissants qui étaient auparavant impossibles à construire.

Tarification et plans

Eventual fonctionne sur un modèle freemium. Son moteur principal, Daft, est entièrement open-source et disponible gratuitement. Les développeurs peuvent l'installer et l'utiliser sans aucun coût. Pour les organisations à la recherche d'une solution gérée, sans serveur et de qualité entreprise, Eventual propose un produit commercial. Cette version gérée est actuellement disponible via un programme d'accès anticipé, et les parties intéressées peuvent s'inscrire sur le site web d'Eventual. Les détails spécifiques de la tarification pour le service géré n'ont pas encore été rendus publics.