MLflow

MLflow 是一个全面的开源平台，旨在简化从实验到部署和管理的整个机器学习生命周期。MLflow 由 Apache Spark 的创建者开发，并受到数千家组织的信赖，它为充满信心地构建生产就绪的 AI 应用程序提供了一个强大的框架。它既能满足传统机器学习工作流的需求，也能适应生成式 AI (GenAI) 应用程序和代理的快速发展格局。

该平台建立在一个开放的接口之上，使其能够与任何机器学习库、算法、部署工具或语言协同工作。这种灵活性使其成为 MLOps 的中心枢纽，确保团队在受益于标准化的生命周期管理的同时，可以保留他们偏好的工具。MLflow 围绕四个主要组件构建：跟踪 (Tracking)、项目 (Projects)、模型 (Models) 和模型注册表 (Model Registry)，它们共同为管理 AI 开发中的复杂性提供了一个统一的解决方案。

如何使用 MLflow

开始使用 MLflow 非常简单，提供了本地自托管和托管云服务两种选择。

1. 安装： 首先使用 pip 安装 MLflow：pip install mlflow。

2. 集成： 将 MLflow 集成到您的训练代码中。您可以为 PyTorch、TensorFlow 和 scikit-learn 等流行框架使用强大的一行代码自动日志记录功能（例如 mlflow.pytorch.autolog()）。这将自动捕获指标、参数、模型和其他工件。如需更精细的控制，您可以使用手动日志记录 API，如 mlflow.log_param()、mlflow.log_metric() 和 mlflow.log_artifact()。

3. 运行实验： 执行您的训练脚本。MLflow 会自动将所有指定信息记录到本地目录 (mlruns) 或远程跟踪服务器。

4. 可视化结果： 在终端中运行 mlflow ui 启动 MLflow UI。这个基于 Web 的界面允许您比较不同运行的性能、可视化指标并检查工件。

5. 打包和注册模型： 确定最佳模型后，使用 MLflow 将其打包成标准格式。然后，您可以将其注册到 MLflow 模型注册表，以管理其版本、阶段（例如，预发布、生产）和注释。

6. 部署： 将注册表中的版本化模型部署到各种生产环境，包括云平台、Kubernetes 或本地 REST 服务器。

MLflow 的核心功能

• MLflow 跟踪 (Tracking)： 一个 API 和 UI，用于在运行机器学习代码时记录参数、代码版本、指标和工件。它支持对实验结果进行详细的比较和可视化。
• MLflow 项目 (Projects)： 一种用于打包可重用数据科学代码的标准格式。每个项目都是一个包含代码的目录或一个 Git 仓库，并使用一个描述符文件来指定其依赖项以及如何运行代码。
• MLflow 模型 (Models)： 一种用于打包机器学习模型的标准格式，这些模型可以在各种下游工具中使用——例如，通过 REST API 进行实时服务或在 Apache Spark 上进行批量推理。
• MLflow 模型注册表 (Model Registry)： 一个集中的模型存储库，用于协作管理 MLflow 模型的整个生命周期，包括模型版本控制、阶段转换（从预发布到生产）和注释。
• GenAI 和 LLM 工具： 针对 GenAI 的专门功能，包括对 LLM 链和代理的端到端跟踪、提示工程管理、可观察性和评估框架。
• 广泛的集成： 与超过 25 种流行的框架和工具无缝集成，包括 PyTorch、TensorFlow、Keras、scikit-learn、XGBoost、LangChain、LlamaIndex、OpenAI 和 Hugging Face。

MLflow 的使用案例

MLflow 的多功能性使其适用于广泛的 AI 应用：

• 计算机视觉： 跟踪 CNN 架构、数据增强流程以及用于图像分类和目标检测的迁移学习实验。
• 自然语言处理 (NLP)： 记录大型语言模型 (LLM)、聊天机器人和文本分析的转换器架构、分词策略和微调实验。
• 时间序列预测： 监控用于金融预测、需求预测和异常检测的 LSTM、GRU 和 Transformer 模型。
• 强化学习： 在游戏 AI 和机器人技术中跟踪代理性能、奖励函数和策略演变。
• GenAI 应用开发： 构建、调试和监控复杂的基于代理的系统和 RAG（检索增强生成）管道，并具有完全的可追溯性。
• 协作研究： 使团队能够共享详细的实验结果、模型工件和可复现的环境，以加速研发。

MLflow 的优势特点

MLflow 为构建 AI 系统的个人和团队提供了显著的优势：

• 开源和社区驱动： 作为一个隶属于 Linux 基金会的开源项目，它受益于一个充满活力的社区，确保了持续的改进和广泛的采用。
• 框架无关： 其开放式架构可防止供应商锁定，并允许与几乎任何机器学习工具或库集成。
• 端到端管理： 它是少数几个涵盖从初始实验到生产监控的整个机器学习生命周期的平台之一。
• 增强的可复现性： 通过捕获确切的代码、数据和环境，MLflow 确保实验是完全可复现的，这对于科学严谨性和法规遵从性至关重要。
• 可扩展性和灵活性： 它可以从笔记本电脑上的单个用户扩展到大型企业级部署，并提供自托管和托管两种选项以适应不同需求。

定价和计划

MLflow 本质上是一个免费的开源工具，具有灵活的部署模式：

• 自托管（开源）： 核心 MLflow 平台在 Apache 2.0 许可下可用。完全免费下载、使用和修改。用户可以完全控制其基础设施，并负责设置和维护。支持由社区提供。
• 托管（免费增值）： 对于希望获得无忧体验的用户，该工具的原始创建者 Databricks 提供了免费且完全托管的 MLflow 版本。此选项无需设置和维护，使团队能够立即开始。高级企业功能和支持可通过 Databricks 的商业计划获得。