Eventual

Eventual 正在徹底改變開發者和資料科學家處理複雜、大規模資料的方式。其核心是 Daft，一個專為多模態 AI 時代設計的、突破性的開源分散式查詢引擎。在 3000 萬美元 A 輪融資的支持下，Eventual 旨在提供基礎技術，使簡單可靠的多模態資料處理成為現實，就像幾十年前 SQL 為表格式資料所做的那樣。

該平台解決了一個 AI 開發中的關鍵瓶頸：工程師通常將高達 70% 的時間用於應對基礎設施，而不是建構模型。Eventual 及其引擎 Daft 將他們從這種困境中解放出來。它允許使用簡單的宣告式查詢來處理 PB 級的各種資料類型——包括圖像、影片、音訊、文字和結構化表格——並能從筆記型電腦無縫擴展到大規模叢集。

如何使用 Eventual

Eventual 的核心技術 Daft 專為開發者設計，易於上手。以下是入門步驟：

1. 安裝： 作為一個 Python 原生函式庫，Daft 可以透過 pip 輕鬆安裝：pip install daft。
2. 資料連接： 連接您儲存在任何地方的資料，無論是在雲端儲存（AWS S3、GCS、Azure Blob Storage）、現代資料湖倉格式（Delta Lake、Apache Iceberg、Hudi），還是企業資料目錄（AWS Glue、Unity Catalog）。
3. 查詢資料： 使用 Daft 直觀的、類似 Pandas 的 API 編寫查詢。該 API 是宣告式的，意味著您只需定義想做什麼，Daft 強大的基於 Rust 的引擎就會優化執行過程。它支援跨不同模態的過濾、連接和轉換資料的熟悉操作。
4. 應用 AI 模型： 使用使用者定義函數（UDFs），將您在 PyTorch、NumPy 和 HuggingFace 等框架中的 Python 函數和模型直接整合到資料管道中。Daft 的零拷貝機制確保您的程式碼在資料旁邊高效運行，最大限度地減少開銷。
5. 擴展： 在您的筆記型電腦上本地開發程式碼。當需要處理更龐大的資料集時，同樣的程式碼無需任何修改，即可使用像 Ray 這樣的執行器在分散式叢集上運行。
6. 託管服務： 對於尋求完全託管、無伺服器體驗的企業，Eventual 提供商業版本。使用者可以透過官網註冊早期存取，從而完全擺脫基礎設施管理的負擔。

Eventual 的核心功能

• 統一多模態資料處理： 一個單一、內聚的框架，用於處理結構化表格、非結構化文字、圖像、影片、音訊和張量。
• Rust 驅動的效能： 基於 Rust 建構，具有卓越的速度、向量化執行和高效的記憶體管理。其效能始終優於傳統系統，記憶體使用量最多可減少 5 倍。
• Python 原生，無 JVM： 避免了與基於 Java 的系統（如 Spark）相關的複雜性、啟動時間慢（快 20 倍）和記憶體調校的麻煩。
• 無縫擴展： 一次編寫程式碼，隨處運行——從單機到大型分散式叢集——無需任何更改。
• 通用資料連接性： 原生連接到廣泛的資料來源和格式，包括主流雲端供應商和資料湖倉技術。
• 無縫整合 ML 生態系統： 直接與 PyTorch、Pandas、NumPy 和 HuggingFace 等流行的 ML 函式庫協同工作。
• 智慧可靠： 具備智慧記憶體管理功能，可防止記憶體不足錯誤，並提供合理的預設設定，消除配置麻煩，確保部署的可靠性。

Eventual 的使用案例

Eventual 及其 Daft 引擎受到亞馬遜、Anthropic 和 CloudKitchens 等領先公司的信賴，用於處理關鍵資料工作負載。

• 大規模文件處理： 從海量文件集中創建文字嵌入，用於語意搜尋、RAG（檢索增強生成）和文字分類等應用。
• 多模態 AI ETL： 建構強大的 ETL（提取、轉換、載入）管道，處理和豐富混合資料類型，例如用視覺模型生成的文字來標註圖像。
• 內容去重： 在 TB 級的文字或圖像資料上進行大規模模糊去重，正如 Together AI 所展示的，他們實現了 10 倍的速度提升。
• 資料目錄管理： 高效管理和處理 EB 級的資料目錄，亞馬遜的實踐證明了這一點，他們在關鍵作業上每年節省了超過 40,000 年的 vCPU 計算時間。
• 替代 Spark 的 ML 平台： 作為 Apache Spark 的效能更高、對開發者更友好的替代方案，統一基礎設施，同時提高查詢效能和生產力。

Eventual 的優勢特點

Eventual 的主要優勢在於其能夠顯著提升開發者生產力並解鎖新的 AI 功能。透過抽象複雜的分散式系統工程，它使團隊能夠專注於創新。基於 Rust 的架構提供了無與倫比的效能和效率，從而在雲端基礎設施上節省大量成本。其統一的多模態資料處理方法打破了資料孤島，使得創建以前不切實際的、更複雜、更強大的 AI 系統成為可能。

定價和計劃

Eventual 採用免費增值模式。其核心引擎 Daft 是完全開源的，可免費使用。開發者可以免費安裝和使用。對於尋求託管、無伺服器和企業級解決方案的組織，Eventual 提供商業產品。該託管版本目前透過早期存取計畫提供，感興趣的各方可以在 Eventual 網站上註冊。託管服務的具體定價細節尚未公布。