Eventual

Eventual 正在彻底改变开发者和数据科学家处理复杂、大规模数据的方式。其核心是 Daft，一个专为多模态 AI 时代设计的、突破性的开源分布式查询引擎。在 3000 万美元 A 轮融资的支持下，Eventual 旨在提供基础技术，使简单可靠的多模态数据处理成为现实，就像几十年前 SQL 为表格数据所做的那样。

该平台解决了一个 AI 开发中的关键瓶颈：工程师通常将高达 70% 的时间用于应对基础设施，而不是构建模型。Eventual 及其引擎 Daft 将他们从这种困境中解放出来。它允许使用简单的声明式查询来处理 PB 级的各种数据类型——包括图像、视频、音频、文本和结构化表格——并能从笔记本电脑无缝扩展到大规模集群。

如何使用 Eventual

Eventual 的核心技术 Daft 专为开发者设计，易于上手。以下是入门步骤：

1. 安装： 作为一个 Python 原生库，Daft 可以通过 pip 轻松安装：pip install daft。
2. 数据连接： 连接您存储在任何地方的数据，无论是在云存储（AWS S3、GCS、Azure Blob Storage）、现代数据湖仓格式（Delta Lake、Apache Iceberg、Hudi），还是企业数据目录（AWS Glue、Unity Catalog）。
3. 查询数据： 使用 Daft 直观的、类似 Pandas 的 API 编写查询。该 API 是声明式的，意味着您只需定义想做什么，Daft 强大的基于 Rust 的引擎就会优化执行过程。它支持跨不同模态的过滤、连接和转换数据的熟悉操作。
4. 应用 AI 模型： 使用用户定义函数（UDFs），将您在 PyTorch、NumPy 和 HuggingFace 等框架中的 Python 函数和模型直接集成到数据管道中。Daft 的零拷贝机制确保您的代码在数据旁边高效运行，最大限度地减少开销。
5. 扩展： 在您的笔记本电脑上本地开发代码。当需要处理更大数据集时，同样的代码无需任何修改，即可使用像 Ray 这样的运行器在分布式集群上运行。
6. 托管服务： 对于寻求完全托管、无服务器体验的企业，Eventual 提供商业版本。用户可以通过官网注册早期访问，从而完全摆脱基础设施管理的负担。

Eventual 的核心功能

• 统一多模态数据处理： 一个单一、内聚的框架，用于处理结构化表格、非结构化文本、图像、视频、音频和张量。
• Rust 驱动的性能： 基于 Rust 构建，具有卓越的速度、向量化执行和高效的内存管理。其性能始终优于传统系统，内存使用量最多可减少 5 倍。
• Python 原生，无 JVM： 避免了与基于 Java 的系统（如 Spark）相关的复杂性、启动时间慢（快 20 倍）和内存调优的麻烦。
• 无缝扩展： 一次编写代码，随处运行——从单机到大型分布式集群——无需任何更改。
• 通用数据连接性： 原生连接到广泛的数据源和格式，包括主流云提供商和数据湖仓技术。
• 无缝集成 ML 生态系统： 直接与 PyTorch、Pandas、NumPy 和 HuggingFace 等流行的 ML 库协同工作。
• 智能可靠： 具备智能内存管理功能，可防止内存溢出错误，并提供合理的默认设置，消除配置麻烦，确保部署的可靠性。

Eventual 的使用案例

Eventual 及其 Daft 引擎受到亚马逊、Anthropic 和 CloudKitchens 等领先公司的信赖，用于处理关键数据工作负载。

• 大规模文档处理： 从海量文档集中创建文本嵌入，用于语义搜索、RAG（检索增强生成）和文本分类等应用。
• 多模态 AI ETL： 构建强大的 ETL（提取、转换、加载）管道，处理和丰富混合数据类型，例如用视觉模型生成的文本来标注图像。
• 内容去重： 在 TB 级的文本或图像数据上进行大规模模糊去重，正如 Together AI 所展示的，他们实现了 10 倍的速度提升。
• 数据目录管理： 高效管理和处理 EB 级的数据目录，亚马逊的实践证明了这一点，他们在关键作业上每年节省了超过 40,000 年的 vCPU 计算时间。
• 替代 Spark 的 ML 平台： 作为 Apache Spark 的性能更高、对开发者更友好的替代方案，统一基础设施，同时提高查询性能和生产力。

Eventual 的优势特点

Eventual 的主要优势在于其能够显著提升开发者生产力并解锁新的 AI 功能。通过抽象复杂的分布式系统工程，它使团队能够专注于创新。基于 Rust 的架构提供了无与伦比的性能和效率，从而在云基础设施上节省大量成本。其统一的多模态数据处理方法打破了数据孤岛，使得创建以前不切实际的、更复杂、更强大的 AI 系统成为可能。

定价和计划

Eventual 采用免费增值模式。其核心引擎 Daft 是完全开源的，可免费使用。开发者可以免费安装和使用。对于寻求托管、无服务器和企业级解决方案的组织，Eventual 提供商业产品。该托管版本目前通过早期访问计划提供，感兴趣的各方可以在 Eventual 网站上注册。托管服务的具体定价细节尚未公布。