Flyte

Flyte 是一個生產級的、開源的、雲原生的工作流編排平台，專為複雜的資料、機器學習和分析管道而設計。作為雲原生運算基金會（CNCF）的畢業專案，Flyte 為 MLOps 提供了堅實可靠的支柱，彌合了本地開發和大規模生產環境之間的鴻溝。它使資料科學家和機器學習工程師能夠專注於他們的業務邏輯，而平台則負責處理可擴展性、可複現性、容錯和基礎設施管理。

如何使用 Flyte

使用 Flyte 涉及一種結構化的、程式碼優先的方法來定義和管理工作流：

1. 定義任務（Task）： 任務是執行的基本單元。使用 Python SDK，您可以透過 `@task` 裝飾器定義一個任務。在任務中，您可以指定其輸入、輸出、資源需求（如 CPU、記憶體、GPU）和容器映像。
2. 建構工作流（Workflow）： 工作流透過 `@workflow` 裝飾器定義，它將多個任務連結在一起，形成一個有向無環圖（DAG）。您定義任務之間的資料流，從而創建一個完整的管道。
3. 本地迭代： Flyte 提供了像 `pyflyte run` 這樣的工具，用於在本地機器上執行和偵錯您的工作流。這使得在部署前可以進行快速迭代和緊密的反饋循環。
4. 註冊到生產環境： 當您的工作流準備就緒後，使用 `pyflyte register` 將其註冊到 Flyte 叢集。此操作會對您的整個工作流（包括程式碼和依賴項）進行版本控制，確保可複現性。
5. 啟動和監控： 您可以透過 Flyte UI、定時 cron 作業或 API 觸發工作流執行。UI 提供了全面的視圖，用於監控執行、檢查日誌、使用 FlyteDecks 可視化輸出以及分析資料血緣。
6. 透過進階功能擴展： 對於大規模處理，您可以利用 `map_task` 等功能對輸入列表並行運行任務，或使用動態工作流在執行時調整管道結構。

Flyte 的核心功能

• 可複現性與版本控制： 每個任務和工作流都是版本化和不可變的。Flyte 自動追蹤資料血緣，讓您可以將任何輸出追溯到產生它的確切程式碼和資料。
• 可擴展性與效能： Flyte 建構於 Kubernetes 之上，具有與生俱來的可擴展性。它支援動態資源分配、GPU 加速、使用 Spot/搶佔式執行個體以節約成本，以及透過 map tasks 實現大規模並行處理。
• 以開發者為中心的體驗： 提供對資料科學家非常直觀的 Python 優先 SDK。它透過 `ImageSpec` 等功能抽象了基礎設施的複雜性，該功能無需 Dockerfile 知識即可建構容器映像。
• 語言無關性： 雖然主要的 SDK 是 Python，但 Flyte 支援透過在各自的容器中執行任務來使用任何語言（Java、Scala、R 等）編寫任務。
• 強大的資料處理： 提供強型別介面，在編譯時捕獲資料錯誤。`FlyteFile`、`FlyteDirectory` 和 `StructuredDataset` 型別簡化了任務與雲端儲存之間的資料 I/O。
• 進階編排邏輯： 支援動態工作流、條件分支、用於長時間執行任務的任務內檢查點，以及快取以避免重新計算昂貴的步驟。
• 企業級就緒： 提供用於團隊隔離的多租戶、用於安全存取憑證的密鑰管理，以及透過 Slack、PagerDuty 或電子郵件發送的通知。

Flyte 的使用案例

Flyte 功能多樣，被廣泛應用於各行各業的關鍵任務管道：

• 大規模資料處理（ETL）： 建構和調度健壯的 ETL 管道，處理 TB 級資料用於分析和資料倉儲。
• 機器學習模型訓練： 編排端到端的機器學習管道，從資料預處理和特徵工程到分散式模型訓練、超參數優化和評估。
• LLM 與生成式 AI： 微調大型語言模型（LLM），建構檢索增強生成（RAG）系統，以及管理複雜的推論圖。
• 生物資訊學與基因組學： 大規模執行計算密集型的生物資訊學工作流，如 DNA 序列比對和分析。
• 地理空間分析： 處理海量衛星影像資料集，以創建馬賽克和數位高程模型等資料產品，正如其與 Xarray 和 GDAL 的使用所展示的那樣。

Flyte 的優勢特點

與其他編排工具相比，Flyte 具有顯著優勢：

• 從第一天起就達到生產級： 其對型別、版本控制和不可變性的關注確保了工作流的可靠性和可複現性。
• 統一資料與機器學習技術棧： 為資料工程師、機器學習科學家和分析專業人員提供單一平台，打破孤島，促進協作。
• 減少基礎設施開銷： 自動化了 MLOps 中許多具有挑戰性的方面，如容器化、資源管理和擴展。
• 成本效益高： 開源核心是免費的，而快取、故障恢復和 Spot 執行個體支援等功能顯著降低了計算成本。
• 充滿活力的生態系統： 作為 CNCF 專案，它擁有強大的社群，並與 Spark、Ray、Pandera、Great Expectations 等眾多工具無縫整合。

定價和計劃

Flyte 是一個基於 Apache 2.0 授權的開源專案，完全可以免費下載、使用和在您自己的基礎設施上自託管。對於希望獲得完全託管的企業級解決方案的組織，Union.ai（最初創建 Flyte 的公司）提供了一個託管的雲端平台。這項商業服務處理所有基礎設施的設定、維護和擴展，並包括企業支援和附加功能。