Eventual

Eventual revolutioniert die Art und Weise, wie Entwickler und Datenwissenschaftler mit komplexen, großen Datenmengen arbeiten. Im Kern steht Daft, eine bahnbrechende, quelloffene, verteilte Abfrage-Engine, die speziell für die Ära der multimodalen KI entwickelt wurde. Unterstützt durch eine Serie-A-Finanzierungsrunde in Höhe von 30 Millionen US-Dollar, zielt Eventual darauf ab, die grundlegende Technologie bereitzustellen, die eine einfache und zuverlässige Verarbeitung multimodaler Daten zur Realität macht, ähnlich wie es SQL vor Jahrzehnten für tabellarische Daten tat.

Die Plattform adressiert einen kritischen Engpass in der KI-Entwicklung: Ingenieure verbringen oft bis zu 70 % ihrer Zeit damit, mit der Infrastruktur zu kämpfen, anstatt Modelle zu entwickeln. Eventual, mit seiner Engine Daft, befreit sie von diesem Kampf. Es ermöglicht die Verarbeitung von Petabytes an diversen Datentypen – einschließlich Bildern, Videos, Audio, Text und strukturierten Tabellen – mit einfachen, deklarativen Abfragen, die nahtlos von einem Laptop auf einen massiven Cluster skalieren.

Wie man Eventual verwendet

Eventuals Kerntechnologie, Daft, ist auf Entwicklerfreundlichkeit ausgelegt. So fangen Sie an:

1. Installation: Als native Python-Bibliothek kann Daft einfach über pip installiert werden: pip install daft.
2. Datenverbindung: Verbinden Sie sich mit Ihren Daten, wo immer sie sich befinden, sei es im Cloud-Speicher (AWS S3, GCS, Azure Blob Storage), modernen Data-Lakehouse-Formaten (Delta Lake, Apache Iceberg, Hudi) oder Unternehmenskatalogen (AWS Glue, Unity Catalog).
3. Datenabfrage: Verwenden Sie die intuitive, Pandas-ähnliche API von Daft, um Abfragen zu schreiben. Die API ist deklarativ, was bedeutet, dass Sie definieren, was Sie tun möchten, und die leistungsstarke, auf Rust basierende Engine von Daft optimiert die Ausführung. Sie unterstützt vertraute Operationen zum Filtern, Verbinden und Transformieren von Daten über verschiedene Modalitäten hinweg.
4. Anwendung von KI-Modellen: Integrieren Sie Ihre Python-Funktionen und Modelle aus Frameworks wie PyTorch, NumPy und HuggingFace direkt in Ihre Datenpipelines mithilfe von benutzerdefinierten Funktionen (UDFs). Der Zero-Copy-Mechanismus von Daft stellt sicher, dass Ihr Code effizient neben Ihren Daten ausgeführt wird und den Overhead minimiert.
5. Skalierung: Entwickeln Sie Ihren Code lokal auf Ihrem Laptop. Wenn Sie größere Datensätze verarbeiten müssen, kann derselbe Code ohne Änderungen auf einem verteilten Cluster mit einem Runner wie Ray ausgeführt werden.
6. Verwalteter Dienst: Für Unternehmen, die eine vollständig verwaltete, serverlose Erfahrung suchen, bietet Eventual eine kommerzielle Version an. Benutzer können sich über die offizielle Website für den frühen Zugriff anmelden, um das Infrastrukturmanagement vollständig auszulagern.

Kernfunktionen von Eventual

• Einheitliche multimodale Datenverarbeitung: Ein einziges, zusammenhängendes Framework zur Verarbeitung von strukturierten Tabellen, unstrukturiertem Text, Bildern, Videos, Audio und Tensoren.
• Leistung durch Rust: Auf Rust aufgebaut für außergewöhnliche Geschwindigkeit, vektorisierte Ausführung und effizientes Speichermanagement. Es übertrifft durchweg traditionelle Systeme und verbraucht bis zu 5x weniger Speicher.
• Nativ in Python, keine JVM: Vermeidet die Komplexität, die langsamen Startzeiten (20x schneller) und die Kopfschmerzen bei der Speicherabstimmung, die mit Java-basierten Systemen wie Spark verbunden sind.
• Nahtlose Skalierung: Schreiben Sie Code einmal und führen Sie ihn überall aus – von einer einzelnen Maschine bis zu einem großen verteilten Cluster – ohne Änderungen.
• Universelle Datenkonnektivität: Verbindet sich nativ mit einer Vielzahl von Datenquellen und -formaten, einschließlich großer Cloud-Anbieter und Data-Lakehouse-Technologien.
• Reibungslose Integration in das ML-Ökosystem: Funktioniert direkt mit beliebten ML-Bibliotheken wie PyTorch, Pandas, NumPy und HuggingFace.
• Intelligent und zuverlässig: Verfügt über intelligentes Speichermanagement zur Vermeidung von Out-of-Memory-Fehlern und vernünftige Standardeinstellungen zur Beseitigung von Konfigurationsproblemen, was zuverlässige Bereitstellungen gewährleistet.

Anwendungsfälle für Eventual

Eventual und seine Daft-Engine werden von führenden Unternehmen wie Amazon, Anthropic und CloudKitchens für kritische Daten-Workloads vertraut.

• Groß angelegte Dokumentenverarbeitung: Erstellen Sie Text-Embeddings aus riesigen Dokumentensammlungen für Anwendungen wie semantische Suche, RAG (Retrieval-Augmented Generation) und Textklassifizierung.
• Multimodales KI-ETL: Erstellen Sie robuste ETL-Pipelines (Extrahieren, Transformieren, Laden), die gemischte Datentypen verarbeiten und anreichern, z. B. das Kommentieren von Bildern mit Text, der von einem Vision-Modell generiert wurde.
• Inhaltsdeduplizierung: Führen Sie eine Fuzzy-Deduplizierung im großen Maßstab auf Terabytes von Text- oder Bilddaten durch, wie von Together AI demonstriert, die eine 10-fache Beschleunigung erzielten.
• Datenkatalogverwaltung: Verwalten und verarbeiten Sie effizient Datenkataloge im Exabyte-Maßstab, wie von Amazon bewiesen, das bei einem kritischen Job jährlich über 40.000 Jahre vCPU-Rechenzeit einsparte.
• Spark-Alternative für ML-Plattformen: Dient als leistungsfähigere und entwicklerfreundlichere Alternative zu Apache Spark, die die Infrastruktur vereinheitlicht und sowohl die Abfrageleistung als auch die Produktivität verbessert.

Vorteile von Eventual

Der Hauptvorteil von Eventual ist seine Fähigkeit, die Entwicklerproduktivität drastisch zu steigern und neue KI-Fähigkeiten zu erschließen. Durch die Abstraktion komplexer verteilter Systemtechnik können sich Teams auf Innovationen konzentrieren. Die auf Rust basierende Architektur liefert unübertroffene Leistung und Effizienz, was zu erheblichen Kosteneinsparungen bei der Cloud-Infrastruktur führt. Sein einheitlicher Ansatz für multimodale Daten bricht Datensilos auf und ermöglicht die Schaffung anspruchsvollerer und leistungsfähigerer KI-Systeme, die zuvor unpraktisch zu bauen waren.

Preise und Pläne

Eventual arbeitet nach einem Freemium-Modell. Seine Kern-Engine, Daft, ist vollständig quelloffen und kostenlos verfügbar. Entwickler können sie ohne Kosten installieren und verwenden. Für Organisationen, die eine verwaltete, serverlose und unternehmenstaugliche Lösung suchen, bietet Eventual ein kommerzielles Produkt an. Diese verwaltete Version ist derzeit über ein Early-Access-Programm verfügbar, und interessierte Parteien können sich auf der Eventual-Website anmelden. Spezifische Preisdetails für den verwalteten Dienst wurden noch nicht veröffentlicht.