Eventual

Eventualは、開発者やデータサイエンティストが複雑で大規模なデータを扱う方法を革命的に変えています。その中核にあるのは、マルチモーダルAI時代のために特別に設計された画期的なオープンソースの分散クエリエンジン、Daftです。3000万ドルのシリーズA資金調達に支えられ、Eventualは、数十年前のSQLが表形式データに対して行ったように、シンプルで信頼性の高いマルチモーダルデータ処理を現実のものにする基盤技術を提供することを目指しています。

このプラットフォームは、AI開発における重大なボトルネックに対処します。エンジニアはしばしば、モデルを構築するのではなく、インフラストラクチャとの格闘に最大70%の時間を費やしています。EventualとそのエンジンであるDaftは、彼らをこの苦闘から解放します。画像、動画、音声、テキスト、構造化テーブルなど、ペタバイト規模の多様なデータタイプを、ラップトップから大規模なクラスターまでシームレスにスケールするシンプルな宣言的クエリを使用して処理することができます。

Eventualの使い方

Eventualのコア技術であるDaftは、開発者のアクセシビリティを考慮して設計されています。以下に開始方法を示します。

1. インストール： Pythonネイティブのライブラリとして、Daftはpip経由で簡単にインストールできます：pip install daft。
2. データ接続： クラウドストレージ（AWS S3、GCS、Azure Blob Storage）、最新のデータレイクハウス形式（Delta Lake、Apache Iceberg、Hudi）、またはエンタープライズカタログ（AWS Glue、Unity Catalog）など、データがどこにあっても接続できます。
3. データクエリ： Daftの直感的でPandasに似たAPIを使用してクエリを作成します。APIは宣言的であり、何をしたいかを定義するだけで、Daftの強力なRustベースのエンジンが実行を最適化します。異なるモダリティにわたるデータのフィルタリング、結合、変換といった使い慣れた操作をサポートしています。
4. AIモデルの適用： ユーザー定義関数（UDF）を使用して、PyTorch、NumPy、HuggingFaceなどのフレームワークからのPython関数やモデルをデータパイプラインに直接統合します。Daftのゼロコピーメカニズムにより、コードがデータの隣で効率的に実行され、オーバーヘッドが最小限に抑えられます。
5. スケーリング： ラップトップでローカルにコードを開発します。より大きなデータセットを処理する必要がある場合、同じコードをRayのようなランナーを使用して分散クラスター上で変更なしに実行できます。
6. マネージドサービス： 完全に管理されたサーバーレス体験を求める企業向けに、Eventualは商用版を提供しています。ユーザーは公式サイトから早期アクセスにサインアップすることで、インフラ管理を完全に委任できます。

Eventualの主な機能

• 統合されたマルチモーダルデータ処理： 構造化テーブル、非構造化テキスト、画像、動画、音声、テンソルを処理するための単一で一貫したフレームワーク。
• Rustによるパフォーマンス： Rust上に構築され、卓越した速度、ベクトル化された実行、効率的なメモリ管理を実現します。従来のシステムを一貫して上回り、最大5倍少ないメモリを使用します。
• Pythonネイティブ、JVM不要： SparkのようなJavaベースのシステムに関連する複雑さ、遅い起動時間（20倍高速）、メモリチューニングの頭痛の種を回避します。
• シームレスなスケーリング： コードを一度書けば、単一のマシンから大規模な分散クラスターまで、どこでも変更なしに実行できます。
• ユニバーサルなデータ接続性： 主要なクラウドプロバイダーやデータレイクハウス技術を含む、幅広いデータソースやフォーマットにネイティブに接続します。
• 摩擦のないMLエコシステム統合： PyTorch、Pandas、NumPy、HuggingFaceなどの人気のあるMLライブラリと直接連携します。
• インテリジェントで信頼性が高い： メモリ不足エラーを防ぐスマートなメモリ管理と、設定の手間を省く賢明なデフォルト設定を特徴とし、信頼性の高いデプロイメントを保証します。

Eventualの使用例

EventualとそのDaftエンジンは、Amazon、Anthropic、CloudKitchensなどの主要企業から、重要なデータワークロードで信頼されています。

• 大規模な文書処理： セマンティック検索、RAG（検索拡張生成）、テキスト分類などのアプリケーションのために、膨大な文書コレクションからテキスト埋め込みを作成します。
• マルチモーダルAI ETL： ビジョンモデルによって生成されたテキストで画像に注釈を付けるなど、混合データタイプを処理および強化する堅牢なETL（抽出、変換、ロード）パイプラインを構築します。
• コンテンツの重複排除： Together AIが10倍の高速化を達成したように、テラバイト規模のテキストまたは画像データに対して大規模なファジー重複排除を実行します。
• データカタログ管理： Amazonが証明したように、エクサバイト規模のデータカタログを効率的に管理および処理し、重要なジョブで年間4万年以上のvCPU時間を節約しました。
• MLプラットフォーム向けのSpark代替： Apache Sparkのより高性能で開発者に優しい代替として機能し、インフラを統一し、クエリパフォーマンスと生産性の両方を向上させます。

Eventualの利点

Eventualの主な利点は、開発者の生産性を劇的に向上させ、新しいAIの可能性を解き放つ能力です。複雑な分散システムエンジニアリングを抽象化することで、チームはイノベーションに集中できます。Rustベースのアーキテクチャは比類のないパフォーマンスと効率を提供し、クラウドインフラストラクチャの大幅なコスト削減につながります。マルチモーダルデータへの統一されたアプローチは、データのサイロを打破し、以前は構築が非現実的だった、より洗練された強力なAIシステムの作成を可能にします。

料金プラン

Eventualはフリーミアムモデルで運営されています。そのコアエンジンであるDaftは完全にオープンソースであり、無料で利用できます。開発者はコストなしでインストールして使用できます。マネージド、サーバーレス、エンタープライズグレードのソリューションを求める組織向けに、Eventualは商用製品を提供しています。このマネージド版は現在、早期アクセスプログラムを通じて提供されており、関心のある方はEventualのウェブサイトでサインアップできます。マネージドサービスの具体的な価格詳細はまだ公開されていません。