Flyte

Flyte는 복잡한 데이터, 머신 러닝 및 분석 파이프라인을 위해 특별히 설계된 프로덕션 등급의 오픈 소스 클라우드 네이티브 워크플로우 오케스트레이션 플랫폼입니다. CNCF(Cloud Native Computing Foundation)의 졸업 프로젝트인 Flyte는 MLOps를 위한 견고하고 신뢰할 수 있는 백본을 제공하여 로컬 개발과 대규모 프로덕션 환경 간의 격차를 해소합니다. 이를 통해 데이터 과학자와 ML 엔지니어는 로직에 집중할 수 있으며, 플랫폼은 확장성, 재현성, 내결함성 및 인프라 관리를 처리합니다.

Flyte 사용 방법

Flyte 사용은 워크플로우를 정의하고 관리하기 위한 구조화된 코드 우선 접근 방식을 포함합니다:

1. 작업(Task) 정의: 작업은 실행의 기본 단위입니다. Python SDK를 사용하여 `@task` 데코레이터로 작업을 정의합니다. 작업 내에서 입력, 출력, 리소스 요구 사항(예: CPU, 메모리, GPU) 및 컨테이너 이미지를 지정합니다.
2. 워크플로우(Workflow) 구축: `@workflow` 데코레이터로 정의된 워크플로우는 여러 작업을 함께 연결하여 방향성 비순환 그래프(DAG)를 형성합니다. 작업 간의 데이터 흐름을 정의하여 완전한 파이프라인을 만듭니다.
3. 로컬 반복: Flyte는 `pyflyte run`과 같은 도구를 제공하여 로컬 머신에서 워크플로우를 실행하고 디버깅할 수 있습니다. 이를 통해 배포 전에 빠른 반복과 긴밀한 피드백 루프가 가능합니다.
4. 프로덕션에 등록: 워크플로우가 준비되면 `pyflyte register`를 사용하여 Flyte 클러스터에 등록합니다. 이 작업은 코드와 종속성을 포함한 전체 워크플로우를 버전 관리하여 재현성을 보장합니다.
5. 실행 및 모니터링: Flyte UI, 예약된 cron 작업 또는 API를 통해 워크플로우 실행을 트리거할 수 있습니다. UI는 실행 모니터링, 로그 검사, FlyteDecks를 사용한 출력 시각화 및 데이터 계보 분석을 위한 포괄적인 뷰를 제공합니다.
6. 고급 기능으로 확장: 대규모 처리를 위해 `map_task`와 같은 기능을 활용하여 입력 목록에 대해 작업을 병렬로 실행하거나 동적 워크플로우를 사용하여 런타임에 파이프라인 구조를 조정할 수 있습니다.

Flyte의 핵심 기능

• 재현성 및 버전 관리: 모든 작업과 워크플로우는 버전이 관리되고 불변입니다. Flyte는 데이터 계보를 자동으로 추적하여 모든 출력을 생성한 정확한 코드와 데이터로 추적할 수 있습니다.
• 확장성 및 성능: Kubernetes를 기반으로 구축된 Flyte는 본질적으로 확장 가능합니다. 동적 리소스 할당, GPU 가속, 비용 절감을 위한 스팟/선점형 인스턴스 및 맵 태스크를 통한 대규모 병렬 처리를 지원합니다.
• 개발자 중심 경험: 데이터 과학자에게 직관적인 Python 우선 SDK를 제공합니다. Dockerfile 지식 없이 컨테이너 이미지를 빌드하는 `ImageSpec`과 같은 기능으로 인프라 복잡성을 추상화합니다.
• 언어 독립적: 기본 SDK는 Python이지만, Flyte는 자체 컨테이너에서 작업을 실행하여 모든 언어(Java, Scala, R 등)로 작업을 작성하는 것을 지원합니다.
• 견고한 데이터 처리: 컴파일 시 데이터 오류를 포착하기 위해 강력한 형식의 인터페이스를 제공합니다. `FlyteFile`, `FlyteDirectory` 및 `StructuredDataset` 유형은 작업과 클라우드 스토리지 간의 데이터 I/O를 단순화합니다.
• 고급 오케스트레이션 로직: 동적 워크플로우, 조건부 분기, 장기 실행 작업을 위한 작업 내 체크포인팅 및 비용이 많이 드는 단계의 재계산을 피하기 위한 캐싱을 지원합니다.
• 엔터프라이즈 준비: 팀 격리를 위한 멀티테넌시, 자격 증명에 대한 보안 액세스를 위한 시크릿 관리, Slack, PagerDuty 또는 이메일을 통한 알림을 제공합니다.

Flyte의 사용 사례

Flyte는 다목적이며 미션 크리티컬 파이프라인을 위해 다양한 산업에서 사용됩니다:

• 대규모 데이터 처리(ETL): 분석 및 데이터 웨어하우징을 위해 테라바이트의 데이터를 처리하는 견고한 ETL 파이프라인 구축 및 예약.
• 머신 러닝 모델 훈련: 데이터 전처리 및 피처 엔지니어링에서 분산 모델 훈련, 하이퍼파라미터 최적화 및 평가에 이르기까지 엔드투엔드 ML 파이프라인 오케스트레이션.
• LLM 및 생성 AI: 대규모 언어 모델(LLM) 미세 조정, 검색 증강 생성(RAG) 시스템 구축 및 복잡한 추론 그래프 관리.
• 생물정보학 및 유전체학: DNA 서열 정렬 및 분석과 같은 계산 집약적인 생물정보학 워크플로우를 대규모로 실행.
• 지리 공간 분석: Xarray 및 GDAL과의 사용에서 입증된 바와 같이, 대규모 위성 이미지 데이터셋을 처리하여 모자이크 및 디지털 고도 모델과 같은 데이터 제품 생성.

Flyte의 장점

Flyte는 다른 오케스트레이터에 비해 상당한 이점을 제공합니다:

• 첫날부터 프로덕션 등급: 타이핑, 버전 관리 및 불변성에 중점을 두어 워크플로우의 신뢰성과 재현성을 보장합니다.
• 데이터 및 ML 스택 통합: 데이터 엔지니어, ML 과학자 및 분석 전문가를 위한 단일 플랫폼을 제공하여 사일로를 허물고 협업을 촉진합니다.
• 인프라 오버헤드 감소: 컨테이너화, 리소스 관리 및 확장과 같은 MLOps의 어려운 측면을 자동화합니다.
• 비용 효율적: 오픈 소스 코어는 무료이며, 캐싱, 장애 복구 및 스팟 인스턴스 지원과 같은 기능은 계산 비용을 크게 절감합니다.
• 활기찬 생태계: CNCF 프로젝트로서 강력한 커뮤니티를 보유하고 있으며 Spark, Ray, Pandera, Great Expectations 등과 같은 광범위한 도구와 원활하게 통합됩니다.

가격 및 플랜

Flyte는 Apache 2.0 라이선스에 따라 제공되는 오픈 소스 프로젝트로, 자체 인프라에서 완전히 무료로 다운로드, 사용 및 자체 호스팅할 수 있습니다. 완전 관리형 엔터프라이즈급 솔루션을 선호하는 조직을 위해 Union.ai(원래 Flyte를 만든 회사)는 호스팅된 클라우드 플랫폼을 제공합니다. 이 상용 서비스는 모든 인프라 설정, 유지보수 및 확장을 처리하며 엔터프라이즈 지원 및 추가 기능을 포함합니다.