Eventual

Eventual está revolucionando la forma en que los desarrolladores y científicos de datos trabajan con datos complejos y a gran escala. En su núcleo se encuentra Daft, un innovador motor de consulta distribuido de código abierto, diseñado específicamente para la era de la IA multimodal. Respaldado por una ronda de financiación de Serie A de 30 millones de dólares, Eventual tiene como objetivo proporcionar la tecnología fundamental que hace que el procesamiento de datos multimodales simple y fiable sea una realidad, al igual que SQL lo hizo para los datos tabulares hace décadas.

La plataforma aborda un cuello de botella crítico en el desarrollo de la IA: los ingenieros a menudo dedican hasta el 70% de su tiempo a lidiar con la infraestructura en lugar de construir modelos. Eventual, con su motor Daft, los libera de esta lucha. Permite procesar petabytes de diversos tipos de datos —incluyendo imágenes, vídeos, audio, texto y tablas estructuradas— utilizando consultas declarativas simples que escalan sin problemas desde un portátil a un clúster masivo.

Cómo usar Eventual

La tecnología central de Eventual, Daft, está diseñada para la accesibilidad del desarrollador. A continuación, se explica cómo empezar:

1. Instalación: Como biblioteca nativa de Python, Daft se puede instalar fácilmente a través de pip: pip install daft.
2. Conexión de Datos: Conéctese a sus datos dondequiera que residan, ya sea en almacenamiento en la nube (AWS S3, GCS, Azure Blob Storage), formatos modernos de data lakehouse (Delta Lake, Apache Iceberg, Hudi) o catálogos empresariales (AWS Glue, Unity Catalog).
3. Consulta de Datos: Utilice la API intuitiva y similar a Pandas de Daft para escribir consultas. La API es declarativa, lo que significa que usted define lo que quiere hacer, y el potente motor de Daft, basado en Rust, optimiza la ejecución. Soporta operaciones familiares para filtrar, unir y transformar datos en diferentes modalidades.
4. Aplicación de Modelos de IA: Integre sus funciones y modelos de Python de frameworks como PyTorch, NumPy y HuggingFace directamente en sus pipelines de datos utilizando Funciones Definidas por el Usuario (UDFs). El mecanismo de copia cero de Daft asegura que su código se ejecute eficientemente junto a sus datos, minimizando la sobrecarga.
5. Escalado: Desarrolle su código localmente en su portátil. Cuando necesite procesar conjuntos de datos más grandes, el mismo código se puede ejecutar en un clúster distribuido utilizando un ejecutor como Ray, sin ninguna modificación.
6. Servicio Gestionado: Para las empresas que buscan una experiencia totalmente gestionada y sin servidor, Eventual ofrece una versión comercial. Los usuarios pueden registrarse para el acceso anticipado a través del sitio web oficial para delegar por completo la gestión de la infraestructura.

Características principales de Eventual

• Procesamiento Unificado de Datos Multimodales: Un único marco cohesivo para manejar tablas estructuradas, texto no estructurado, imágenes, vídeos, audio y tensores.
• Rendimiento Impulsado por Rust: Construido sobre Rust para una velocidad excepcional, ejecución vectorizada y gestión eficiente de la memoria. Supera consistentemente a los sistemas tradicionales, utilizando hasta 5 veces menos memoria.
• Nativo de Python, Sin JVM: Evita la complejidad, los lentos tiempos de arranque (20 veces más rápido) y los quebraderos de cabeza de ajuste de memoria asociados con sistemas basados en Java como Spark.
• Escalado sin Fisuras: Escriba el código una vez y ejecútelo en cualquier lugar, desde una sola máquina hasta un gran clúster distribuido, sin cambios.
• Conectividad Universal de Datos: Se conecta de forma nativa a una amplia gama de fuentes y formatos de datos, incluidos los principales proveedores de la nube y tecnologías de data lakehouse.
• Integración sin Fricciones con el Ecosistema de ML: Funciona directamente con bibliotecas populares de ML como PyTorch, Pandas, NumPy y HuggingFace.
• Inteligente y Fiable: Cuenta con una gestión de memoria inteligente para prevenir errores de falta de memoria y valores predeterminados sensatos para eliminar los problemas de configuración, garantizando implementaciones fiables.

Casos de uso para Eventual

Eventual y su motor Daft cuentan con la confianza de empresas líderes como Amazon, Anthropic y CloudKitchens para cargas de trabajo de datos críticas.

• Procesamiento de Documentos a Gran Escala: Cree embeddings de texto a partir de colecciones masivas de documentos para aplicaciones como la búsqueda semántica, RAG (Generación Aumentada por Recuperación) y la clasificación de textos.
• ETL de IA Multimodal: Construya robustos pipelines de ETL (Extracción, Transformación, Carga) que procesan y enriquecen tipos de datos mixtos, como anotar imágenes con texto generado por un modelo de visión.
• Deduplicación de Contenido: Realice deduplicación difusa a escala en terabytes de datos de texto o imágenes, como lo demostró Together AI, que logró una aceleración de 10x.
• Gestión de Catálogos de Datos: Gestione y procese eficientemente catálogos de datos a escala de exabytes, como lo demostró Amazon, que ahorró más de 40,000 años de tiempo de computación de vCPU anualmente en un trabajo crítico.
• Alternativa a Spark para Plataformas de ML: Sirva como una alternativa más performante y amigable para el desarrollador a Apache Spark, unificando la infraestructura y mejorando tanto el rendimiento de las consultas como la productividad.

Ventajas de Eventual

La principal ventaja de Eventual es su capacidad para aumentar drásticamente la productividad de los desarrolladores y desbloquear nuevas capacidades de IA. Al abstraer la compleja ingeniería de sistemas distribuidos, permite a los equipos centrarse en la innovación. La arquitectura basada en Rust ofrece un rendimiento y una eficiencia inigualables, lo que conduce a un ahorro de costes significativo en la infraestructura de la nube. Su enfoque unificado de los datos multimodales rompe los silos de datos, permitiendo la creación de sistemas de IA más sofisticados y potentes que antes eran impracticables de construir.

Precios y planes

Eventual opera con un modelo freemium. Su motor principal, Daft, es completamente de código abierto y está disponible de forma gratuita. Los desarrolladores pueden instalarlo y usarlo sin ningún coste. Para las organizaciones que buscan una solución gestionada, sin servidor y de nivel empresarial, Eventual ofrece un producto comercial. Esta versión gestionada está actualmente disponible a través de un programa de acceso anticipado, y las partes interesadas pueden registrarse en el sitio web de Eventual. Los detalles específicos de precios para el servicio gestionado aún no se han publicado.