Eventual

Eventual은 개발자와 데이터 과학자가 복잡하고 대규모 데이터를 다루는 방식을 혁신하고 있습니다. 그 핵심에는 멀티모달 AI 시대를 위해 특별히 설계된 획기적인 오픈소스 분산 쿼리 엔진인 Daft가 있습니다. 3천만 달러의 시리즈 A 투자를 유치한 Eventual은 수십 년 전 SQL이 테이블 형식 데이터에 기여했던 것처럼, 간단하고 신뢰할 수 있는 멀티모달 데이터 처리를 현실로 만드는 기반 기술을 제공하는 것을 목표로 합니다.

이 플랫폼은 AI 개발의 중요한 병목 현상을 해결합니다. 엔지니어들은 모델 구축보다 인프라 문제 해결에 최대 70%의 시간을 소비하는 경우가 많습니다. Eventual과 그 엔진인 Daft는 이러한 어려움에서 엔지니어를 해방시킵니다. 이미지, 비디오, 오디오, 텍스트, 구조화된 테이블 등 페타바이트 규모의 다양한 데이터 유형을 간단한 선언적 쿼리를 사용하여 처리할 수 있으며, 노트북에서 대규모 클러스터까지 원활하게 확장할 수 있습니다.

Eventual 사용 방법

Eventual의 핵심 기술인 Daft는 개발자 접근성을 고려하여 설계되었습니다. 시작하는 방법은 다음과 같습니다.

1. 설치: Python 네이티브 라이브러리인 Daft는 pip를 통해 쉽게 설치할 수 있습니다: pip install daft.
2. 데이터 연결: 클라우드 스토리지(AWS S3, GCS, Azure Blob Storage), 최신 데이터 레이크하우스 형식(Delta Lake, Apache Iceberg, Hudi) 또는 엔터프라이즈 카탈로그(AWS Glue, Unity Catalog) 등 데이터가 있는 곳 어디에서나 연결할 수 있습니다.
3. 데이터 쿼리: Daft의 직관적인 Pandas와 유사한 API를 사용하여 쿼리를 작성합니다. 이 API는 선언적이므로 원하는 작업을 정의하기만 하면 Daft의 강력한 Rust 기반 엔진이 실행을 최적화합니다. 다양한 모달리티에 걸쳐 데이터를 필터링, 조인, 변환하는 익숙한 작업을 지원합니다.
4. AI 모델 적용: 사용자 정의 함수(UDF)를 사용하여 PyTorch, NumPy, HuggingFace와 같은 프레임워크의 Python 함수와 모델을 데이터 파이프라인에 직접 통합합니다. Daft의 제로 카피 메커니즘은 코드가 데이터 옆에서 효율적으로 실행되도록 하여 오버헤드를 최소화합니다.
5. 확장: 노트북에서 로컬로 코드를 개발합니다. 더 큰 데이터셋을 처리해야 할 때, 동일한 코드를 Ray와 같은 러너를 사용하여 분산 클러스터에서 수정 없이 실행할 수 있습니다.
6. 관리형 서비스: 완전 관리형 서버리스 경험을 원하는 기업을 위해 Eventual은 상용 버전을 제공합니다. 사용자는 공식 웹사이트를 통해 조기 액세스에 등록하여 인프라 관리를 완전히 위임할 수 있습니다.

Eventual의 핵심 기능

• 통합 멀티모달 데이터 처리: 구조화된 테이블, 비정형 텍스트, 이미지, 비디오, 오디오 및 텐서를 처리하기 위한 단일의 통합된 프레임워크입니다.
• Rust 기반 성능: Rust를 기반으로 구축되어 탁월한 속도, 벡터화된 실행 및 효율적인 메모리 관리를 제공합니다. 기존 시스템보다 지속적으로 우수한 성능을 보이며 최대 5배 적은 메모리를 사용합니다.
• Python 네이티브, JVM 없음: Spark와 같은 Java 기반 시스템과 관련된 복잡성, 느린 시작 시간(20배 빠름), 메모리 튜닝의 번거로움을 피할 수 있습니다.
• 원활한 확장: 코드를 한 번 작성하면 단일 머신에서 대규모 분산 클러스터에 이르기까지 어디서든 변경 없이 실행할 수 있습니다.
• 범용 데이터 연결성: 주요 클라우드 제공업체 및 데이터 레이크하우스 기술을 포함한 광범위한 데이터 소스 및 형식에 기본적으로 연결됩니다.
• 원활한 ML 생태계 통합: PyTorch, Pandas, NumPy, HuggingFace와 같은 인기 있는 ML 라이브러리와 직접 작동합니다.
• 지능적이고 신뢰할 수 있음: 메모리 부족 오류를 방지하는 스마트 메모리 관리와 구성 번거로움을 없애는 합리적인 기본값을 특징으로 하여 안정적인 배포를 보장합니다.

Eventual의 사용 사례

Eventual과 그 Daft 엔진은 Amazon, Anthropic, CloudKitchens와 같은 선도 기업에서 중요한 데이터 워크로드에 사용되며 신뢰를 받고 있습니다.

• 대규모 문서 처리: 의미 검색, RAG(검색 증강 생성), 텍스트 분류와 같은 애플리케이션을 위해 방대한 문서 컬렉션에서 텍스트 임베딩을 생성합니다.
• 멀티모달 AI ETL: 비전 모델이 생성한 텍스트로 이미지에 주석을 다는 등 혼합 데이터 유형을 처리하고 보강하는 강력한 ETL(추출, 변환, 로드) 파이프라인을 구축합니다.
• 콘텐츠 중복 제거: Together AI가 10배의 속도 향상을 달성한 것처럼, 테라바이트 규모의 텍스트 또는 이미지 데이터에 대해 대규모 퍼지 중복 제거를 수행합니다.
• 데이터 카탈로그 관리: Amazon이 입증한 바와 같이 엑사바이트 규모의 데이터 카탈로그를 효율적으로 관리하고 처리하여 중요한 작업에서 연간 40,000년 이상의 vCPU 시간을 절약했습니다.
• ML 플랫폼을 위한 Spark 대안: Apache Spark보다 성능이 뛰어나고 개발자 친화적인 대안으로 사용되어 인프라를 통합하고 쿼리 성능과 생산성을 모두 향상시킵니다.

Eventual의 장점

Eventual의 주요 장점은 개발자 생산성을 극적으로 향상시키고 새로운 AI 기능을 잠금 해제하는 능력입니다. 복잡한 분산 시스템 엔지니어링을 추상화함으로써 팀이 혁신에 집중할 수 있도록 합니다. Rust 기반 아키텍처는 비교할 수 없는 성능과 효율성을 제공하여 클라우드 인프라 비용을 크게 절감합니다. 멀티모달 데이터에 대한 통합 접근 방식은 데이터 사일로를 허물어 이전에는 구축하기 비현실적이었던 더 정교하고 강력한 AI 시스템을 만들 수 있게 합니다.

가격 및 플랜

Eventual은 프리미엄(freemium) 모델로 운영됩니다. 핵심 엔진인 Daft는 완전한 오픈소스로 무료로 사용할 수 있습니다. 개발자는 비용 없이 설치하고 사용할 수 있습니다. 관리형, 서버리스 및 엔터프라이즈급 솔루션을 찾는 조직을 위해 Eventual은 상용 제품을 제공합니다. 이 관리형 버전은 현재 조기 액세스 프로그램을 통해 제공되며, 관심 있는 당사자는 Eventual 웹사이트에서 등록할 수 있습니다. 관리형 서비스의 구체적인 가격 정보는 아직 공개되지 않았습니다.