Flyte

Flyte 是一个生产级的、开源的、云原生的工作流编排平台，专为复杂的数据、机器学习和分析管道而设计。作为云原生计算基金会（CNCF）的毕业项目，Flyte 为 MLOps 提供了坚实可靠的支柱，弥合了本地开发和大规模生产环境之间的鸿沟。它使数据科学家和机器学习工程师能够专注于他们的业务逻辑，而平台则负责处理可扩展性、可复现性、容错和基础设施管理。

如何使用 Flyte

使用 Flyte 涉及一种结构化的、代码优先的方法来定义和管理工作流：

1. 定义任务（Task）： 任务是执行的基本单元。使用 Python SDK，您可以通过 `@task` 装饰器定义一个任务。在任务中，您可以指定其输入、输出、资源需求（如 CPU、内存、GPU）和容器镜像。
2. 构建工作流（Workflow）： 工作流通过 `@workflow` 装饰器定义，它将多个任务链接在一起，形成一个有向无环图（DAG）。您定义任务之间的数据流，从而创建一个完整的管道。
3. 本地迭代： Flyte 提供了像 `pyflyte run` 这样的工具，用于在本地机器上执行和调试您的工作流。这使得在部署前可以进行快速迭代和紧密的反馈循环。
4. 注册到生产环境： 当您的工作流准备就绪后，使用 `pyflyte register` 将其注册到 Flyte 集群。此操作会对您的整个工作流（包括代码和依赖项）进行版本控制，确保可复现性。
5. 启动和监控： 您可以通过 Flyte UI、定时 cron 作业或 API 触发工作流执行。UI 提供了全面的视图，用于监控执行、检查日志、使用 FlyteDecks 可视化输出以及分析数据血缘。
6. 通过高级功能扩展： 对于大规模处理，您可以利用 `map_task` 等功能对输入列表并行运行任务，或使用动态工作流在运行时调整管道结构。

Flyte 的核心功能

• 可复现性与版本控制： 每个任务和工作流都是版本化和不可变的。Flyte 自动跟踪数据血缘，让您可以将任何输出追溯到产生它的确切代码和数据。
• 可扩展性与性能： Flyte 构建于 Kubernetes 之上，具有与生俱来的可扩展性。它支持动态资源分配、GPU 加速、使用 Spot/抢占式实例以节约成本，以及通过 map tasks 实现大规模并行处理。
• 以开发者为中心的体验： 提供对数据科学家非常直观的 Python 优先 SDK。它通过 `ImageSpec` 等功能抽象了基础设施的复杂性，该功能无需 Dockerfile 知识即可构建容器镜像。
• 语言无关性： 虽然主要的 SDK 是 Python，但 Flyte 支持通过在各自的容器中运行任务来使用任何语言（Java、Scala、R 等）编写任务。
• 强大的数据处理： 提供强类型接口，在编译时捕获数据错误。`FlyteFile`、`FlyteDirectory` 和 `StructuredDataset` 类型简化了任务与云存储之间的数据 I/O。
• 高级编排逻辑： 支持动态工作流、条件分支、用于长时间运行任务的任务内检查点，以及缓存以避免重新计算昂贵的步骤。
• 企业级就绪： 提供用于团队隔离的多租户、用于安全访问凭证的密钥管理，以及通过 Slack、PagerDuty 或电子邮件发送的通知。

Flyte 的使用案例

Flyte 功能多样，被广泛应用于各行各业的关键任务管道：

• 大规模数据处理（ETL）： 构建和调度健壮的 ETL 管道，处理 TB 级数据用于分析和数据仓库。
• 机器学习模型训练： 编排端到端的机器学习管道，从数据预处理和特征工程到分布式模型训练、超参数优化和评估。
• LLM 与生成式 AI： 微调大型语言模型（LLM），构建检索增强生成（RAG）系统，以及管理复杂的推理图。
• 生物信息学与基因组学： 大规模运行计算密集型的生物信息学工作流，如 DNA 序列比对和分析。
• 地理空间分析： 处理海量卫星图像数据集，以创建马赛克和数字高程模型等数据产品，正如其与 Xarray 和 GDAL 的使用所展示的那样。

Flyte 的优势特点

与其他编排工具相比，Flyte 具有显著优势：

• 从第一天起就达到生产级： 其对类型、版本控制和不可变性的关注确保了工作流的可靠性和可复现性。
• 统一数据与机器学习技术栈： 为数据工程师、机器学习科学家和分析专业人员提供单一平台，打破孤岛，促进协作。
• 减少基础设施开销： 自动化了 MLOps 中许多具有挑战性的方面，如容器化、资源管理和扩展。
• 成本效益高： 开源核心是免费的，而缓存、故障恢复和 Spot 实例支持等功能显著降低了计算成本。
• 充满活力的生态系统： 作为 CNCF 项目，它拥有强大的社区，并与 Spark、Ray、Pandera、Great Expectations 等众多工具无缝集成。

定价和计划

Flyte 是一个基于 Apache 2.0 许可的开源项目，完全可以免费下载、使用和在您自己的基础设施上自托管。对于希望获得完全托管的企业级解决方案的组织，Union.ai（最初创建 Flyte 的公司）提供了一个托管的云平台。这项商业服务处理所有基础设施的设置、维护和扩展，并包括企业支持和附加功能。