Flyte

Flyteは、複雑なデータ、機械学習、分析パイプラインのために特別に設計された、本番環境グレードのオープンソースでクラウドネイティブなワークフローオーケストレーションプラットフォームです。Cloud Native Computing Foundation（CNCF）の卒業プロジェクトとして、FlyteはMLOpsのための堅牢で信頼性の高いバックボーンを提供し、ローカル開発と大規模な本番環境との間のギャップを埋めます。これにより、データサイエンティストやMLエンジニアは自身のロジックに集中でき、プラットフォームがスケーラビリティ、再現性、フォールトトレランス、インフラ管理を処理します。

Flyteの使い方

Flyteの使用には、ワークフローを定義・管理するための構造化されたコードファーストのアプローチが含まれます：

1. タスクの定義： タスクは実行の基本単位です。Python SDKを使用し、`@task`デコレータでタスクを定義します。タスク内で、入力、出力、リソース要件（CPU、メモリ、GPUなど）、コンテナイメージを指定します。
2. ワークフローの構築： `@workflow`デコレータで定義されるワークフローは、複数のタスクを連結して有向非巡回グラフ（DAG）を形成します。タスク間のデータフローを定義し、完全なパイプラインを作成します。
3. ローカルでの反復： Flyteは`pyflyte run`のようなツールを提供し、ローカルマシンでワークフローを実行・デバッグできます。これにより、デプロイ前の迅速な反復とタイトなフィードバックループが可能になります。
4. 本番環境への登録： ワークフローの準備ができたら、`pyflyte register`を使用してFlyteクラスタに登録します。この操作により、コードと依存関係を含むワークフロー全体がバージョン管理され、再現性が確保されます。
5. 起動と監視： Flyte UI、スケジュールされたcronジョブ、またはAPIを介してワークフローの実行をトリガーできます。UIは、実行の監視、ログの検査、FlyteDecksによる出力の視覚化、データリネージの分析のための包括的なビューを提供します。
6. 高度な機能によるスケーリング： 大規模処理のために、`map_task`のような機能を利用して入力リストに対してタスクを並列実行したり、動的ワークフローを使用してランタイムにパイプラインの構造を調整したりできます。

Flyteの主な機能

• 再現性とバージョン管理： すべてのタスクとワークフローはバージョン管理され、不変です。Flyteはデータリネージを自動的に追跡し、任何の出力をそれを生成した正確なコードとデータまで遡ることができます。
• スケーラビリティとパフォーマンス： Kubernetes上に構築されたFlyteは、本質的にスケーラブルです。動的リソース割り当て、GPUアクセラレーション、コスト削減のためのスポット/プリエンプティブルインスタンス、およびマップタスクによる大規模な並列処理をサポートします。
• 開発者中心の体験： データサイエンティストにとって直感的なPythonファーストのSDKを備えています。Dockerfileの知識を必要とせずにコンテナイメージを構築する`ImageSpec`のような機能で、インフラの複雑さを抽象化します。
• 言語非依存： プライマリSDKはPythonですが、Flyteは独自のコンテナでタスクを実行することにより、任意の言語（Java、Scala、Rなど）でタスクを記述することをサポートします。
• 堅牢なデータ処理： コンパイル時にデータエラーをキャッチするための厳密に型付けされたインターフェースを提供します。`FlyteFile`、`FlyteDirectory`、`StructuredDataset`型は、タスクとクラウドストレージ間のデータI/Oを簡素化します。
• 高度なオーケストレーションロジック： 動的ワークフロー、条件分岐、長時間実行タスクのためのタスク内チェックポイント、高コストなステップの再計算を避けるためのキャッシングをサポートします。
• エンタープライズ対応： チーム分離のためのマルチテナンシー、認証情報への安全なアクセスのためのシークレット管理、およびSlack、PagerDuty、または電子メールを介した通知を提供します。

Flyteの使用例

Flyteは多用途であり、ミッションクリティカルなパイプラインのために様々な業界で使用されています：

• 大規模データ処理（ETL）： 分析やデータウェアハウジングのためにテラバイト単位のデータを処理する堅牢なETLパイプラインの構築とスケジューリング。
• 機械学習モデルのトレーニング： データの前処理や特徴量エンジニアリングから、分散モデルトレーニング、ハイパーパラメータ最適化、評価まで、エンドツーエンドのMLパイプラインをオーケストレーション。
• LLMと生成AI： 大規模言語モデル（LLM）のファインチューニング、検索拡張生成（RAG）システムの構築、複雑な推論グラフの管理。
• バイオインフォマティクスとゲノミクス： DNAシーケンスアラインメントや分析など、計算集約的なバイオインフォマティクスワークフローを大規模に実行。
• 地理空間分析： XarrayやGDALとの使用で示されているように、大規模な衛星画像データセットを処理して、モザイクやデジタル標高モデルなどのデータ製品を作成。

Flyteの利点

Flyteは他のオーケストレーターに比べて大きな利点を提供します：

• 初日から本番グレード： 型付け、バージョン管理、不変性に重点を置いているため、ワークフローの信頼性と再現性が保証されます。
• データとMLスタックの統一： データエンジニア、MLサイエンティスト、分析専門家向けの単一プラットフォームを提供し、サイロを打破し、コラボレーションを促進します。
• インフラのオーバーヘッド削減： コンテナ化、リソース管理、スケーリングなど、MLOpsの困難な側面の多くを自動化します。
• コスト効率： オープンソースのコアは無料で、キャッシング、障害回復、スポットインスタンスのサポートなどの機能により、計算コストを大幅に削減します。
• 活発なエコシステム： CNCFプロジェクトとして、強力なコミュニティを持ち、Spark、Ray、Pandera、Great Expectationsなどの幅広いツールとシームレスに統合します。

料金プラン

FlyteはApache 2.0ライセンスに基づくオープンソースプロジェクトであり、自身のインフラストラクチャで完全に無料でダウンロード、使用、セルフホストできます。完全に管理されたエンタープライズグレードのソリューションを希望する組織向けに、Union.ai（元々Flyteを作成した会社）はホストされたクラウドプラットフォームを提供しています。この商用サービスは、すべてのインフラ設定、メンテナンス、スケーリングを処理し、エンタープライズサポートと追加機能を含みます。