Eventual

Eventual đang cách mạng hóa cách các nhà phát triển và nhà khoa học dữ liệu làm việc với dữ liệu phức tạp, quy mô lớn. Cốt lõi của nó là Daft, một công cụ truy vấn phân tán mã nguồn mở đột phá được thiết kế đặc biệt cho kỷ nguyên AI đa phương thức. Được hỗ trợ bởi vòng tài trợ Series A trị giá 30 triệu đô la, Eventual đặt mục tiêu cung cấp công nghệ nền tảng giúp việc xử lý dữ liệu đa phương thức đơn giản và đáng tin cậy trở thành hiện thực, giống như cách SQL đã làm cho dữ liệu dạng bảng nhiều thập kỷ trước.

Nền tảng này giải quyết một nút thắt quan trọng trong phát triển AI: các kỹ sư thường dành tới 70% thời gian của họ để vật lộn với cơ sở hạ tầng thay vì xây dựng mô hình. Eventual, với công cụ Daft của mình, đã giải phóng họ khỏi cuộc đấu tranh này. Nó cho phép xử lý hàng petabyte các loại dữ liệu đa dạng—bao gồm hình ảnh, video, âm thanh, văn bản và bảng cấu trúc—sử dụng các truy vấn khai báo đơn giản có thể mở rộng liền mạch từ máy tính xách tay đến một cụm máy chủ lớn.

Cách sử dụng Eventual

Công nghệ cốt lõi của Eventual, Daft, được thiết kế để nhà phát triển dễ dàng tiếp cận. Dưới đây là cách bắt đầu:

1. Cài đặt: Là một thư viện Python gốc, Daft có thể được cài đặt dễ dàng qua pip: pip install daft.
2. Kết nối dữ liệu: Kết nối với dữ liệu của bạn ở bất cứ đâu, dù là trong bộ nhớ đám mây (AWS S3, GCS, Azure Blob Storage), các định dạng data lakehouse hiện đại (Delta Lake, Apache Iceberg, Hudi), hay các danh mục doanh nghiệp (AWS Glue, Unity Catalog).
3. Truy vấn dữ liệu: Sử dụng API trực quan, giống Pandas của Daft để viết truy vấn. API này có tính khai báo, nghĩa là bạn xác định những gì bạn muốn làm, và công cụ mạnh mẽ dựa trên Rust của Daft sẽ tối ưu hóa việc thực thi. Nó hỗ trợ các hoạt động quen thuộc để lọc, kết hợp và chuyển đổi dữ liệu trên các phương thức khác nhau.
4. Áp dụng mô hình AI: Tích hợp các hàm và mô hình Python của bạn từ các framework như PyTorch, NumPy và HuggingFace trực tiếp vào các đường ống dữ liệu của bạn bằng cách sử dụng Hàm do người dùng định nghĩa (UDF). Cơ chế không sao chép của Daft đảm bảo mã của bạn chạy hiệu quả ngay bên cạnh dữ liệu, giảm thiểu chi phí.
5. Mở rộng quy mô: Phát triển mã của bạn cục bộ trên máy tính xách tay. Khi bạn cần xử lý các tập dữ liệu lớn hơn, cùng một mã đó có thể được chạy trên một cụm phân tán bằng cách sử dụng một trình chạy như Ray, mà không cần bất kỳ sửa đổi nào.
6. Dịch vụ được quản lý: Đối với các doanh nghiệp tìm kiếm một trải nghiệm được quản lý hoàn toàn, không cần máy chủ, Eventual cung cấp một phiên bản thương mại. Người dùng có thể đăng ký quyền truy cập sớm qua trang web chính thức để hoàn toàn không phải lo lắng về việc quản lý cơ sở hạ tầng.

Tính năng chính của Eventual

• Xử lý dữ liệu đa phương thức hợp nhất: Một khung làm việc duy nhất, gắn kết để xử lý các bảng cấu trúc, văn bản phi cấu trúc, hình ảnh, video, âm thanh và tensor.
• Hiệu suất được cung cấp bởi Rust: Được xây dựng trên Rust cho tốc độ vượt trội, thực thi vector hóa và quản lý bộ nhớ hiệu quả. Nó luôn vượt trội so với các hệ thống truyền thống, sử dụng ít hơn tới 5 lần bộ nhớ.
• Python gốc, không có JVM: Tránh sự phức tạp, thời gian khởi động chậm (nhanh hơn 20 lần) và những rắc rối về điều chỉnh bộ nhớ liên quan đến các hệ thống dựa trên Java như Spark.
• Mở rộng quy mô liền mạch: Viết mã một lần và chạy nó ở bất cứ đâu—từ một máy duy nhất đến một cụm phân tán lớn—mà không cần thay đổi.
• Kết nối dữ liệu phổ quát: Kết nối tự nhiên với một loạt các nguồn dữ liệu và định dạng, bao gồm các nhà cung cấp đám mây lớn và các công nghệ data lakehouse.
• Tích hợp hệ sinh thái ML không ma sát: Hoạt động trực tiếp với các thư viện ML phổ biến như PyTorch, Pandas, NumPy và HuggingFace.
• Thông minh và đáng tin cậy: Có tính năng quản lý bộ nhớ thông minh để ngăn ngừa lỗi hết bộ nhớ và các cài đặt mặc định hợp lý để loại bỏ các rắc rối cấu hình, đảm bảo triển khai đáng tin cậy.

Các trường hợp sử dụng Eventual

Eventual và công cụ Daft của nó được các công ty hàng đầu như Amazon, Anthropic và CloudKitchens tin tưởng cho các khối lượng công việc dữ liệu quan trọng.

• Xử lý tài liệu quy mô lớn: Tạo các nhúng văn bản từ các bộ sưu tập tài liệu khổng lồ cho các ứng dụng như tìm kiếm ngữ nghĩa, RAG (Retrieval-Augmented Generation) và phân loại văn bản.
• ETL AI đa phương thức: Xây dựng các đường ống ETL (Trích xuất, Chuyển đổi, Tải) mạnh mẽ để xử lý và làm phong phú các loại dữ liệu hỗn hợp, chẳng hạn như chú thích hình ảnh bằng văn bản được tạo ra bởi một mô hình thị giác.
• Loại bỏ trùng lặp nội dung: Thực hiện loại bỏ trùng lặp mờ ở quy mô lớn trên hàng terabyte dữ liệu văn bản hoặc hình ảnh, như đã được chứng minh bởi Together AI, nơi họ đã đạt được tốc độ tăng 10 lần.
• Quản lý danh mục dữ liệu: Quản lý và xử lý hiệu quả các danh mục dữ liệu quy mô exabyte, như đã được Amazon chứng minh, giúp tiết kiệm hơn 40.000 năm thời gian tính toán vCPU hàng năm cho một công việc quan trọng.
• Giải pháp thay thế Spark cho các nền tảng ML: Đóng vai trò là một giải pháp thay thế hiệu suất cao hơn và thân thiện với nhà phát triển hơn cho Apache Spark, thống nhất cơ sở hạ tầng và cải thiện cả hiệu suất truy vấn và năng suất.

Ưu điểm của Eventual

Ưu điểm chính của Eventual là khả năng tăng năng suất của nhà phát triển một cách đáng kể và mở khóa các khả năng AI mới. Bằng cách trừu tượng hóa kỹ thuật hệ thống phân tán phức tạp, nó cho phép các nhóm tập trung vào sự đổi mới. Kiến trúc dựa trên Rust mang lại hiệu suất và hiệu quả vô song, dẫn đến tiết kiệm chi phí đáng kể cho cơ sở hạ tầng đám mây. Cách tiếp cận hợp nhất của nó đối với dữ liệu đa phương thức phá vỡ các silo dữ liệu, cho phép tạo ra các hệ thống AI tinh vi và mạnh mẽ hơn mà trước đây không thực tế để xây dựng.

Giá cả và gói dịch vụ

Eventual hoạt động theo mô hình freemium. Công cụ cốt lõi của nó, Daft, hoàn toàn là mã nguồn mở và có sẵn miễn phí. Các nhà phát triển có thể cài đặt và sử dụng nó mà không mất bất kỳ chi phí nào. Đối với các tổ chức đang tìm kiếm một giải pháp được quản lý, không cần máy chủ và cấp doanh nghiệp, Eventual cung cấp một sản phẩm thương mại. Phiên bản được quản lý này hiện có sẵn thông qua chương trình truy cập sớm và các bên quan tâm có thể đăng ký trên trang web của Eventual. Chi tiết giá cả cụ thể cho dịch vụ được quản lý vẫn chưa được công bố.