MLflow

MLflow는 실험부터 배포 및 관리에 이르기까지 전체 머신러닝 라이프사이클을 간소화하도록 설계된 포괄적인 오픈소스 플랫폼입니다. Apache Spark의 제작자들이 개발하고 수천 개의 조직에서 신뢰하는 MLflow는 프로덕션 준비가 된 AI 애플리케이션을 자신 있게 구축할 수 있는 강력한 프레임워크를 제공합니다. 전통적인 머신러닝 워크플로우와 빠르게 진화하는 생성형 AI(GenAI) 애플리케이션 및 에이전트 환경 모두에 적합합니다.

이 플랫폼은 개방형 인터페이스를 기반으로 구축되어 모든 ML 라이브러리, 알고리즘, 배포 도구 또는 언어와 함께 작동할 수 있습니다. 이러한 유연성 덕분에 MLOps의 중앙 허브 역할을 하여 팀이 선호하는 도구를 유지하면서 표준화된 라이프사이클 관리의 이점을 누릴 수 있습니다. MLflow는 추적(Tracking), 프로젝트(Projects), 모델(Models), 모델 레지스트리(Model Registry)라는 네 가지 주요 구성 요소로 구성되어 있으며, 이들은 함께 AI 개발의 복잡성을 관리하기 위한 일관된 솔루션을 제공합니다.

MLflow 사용 방법

MLflow를 시작하는 것은 간단하며, 로컬 자체 호스팅과 관리형 클라우드 서비스 옵션을 모두 제공합니다.

1. 설치: pip를 사용하여 MLflow를 설치하는 것으로 시작합니다: pip install mlflow.

2. 통합: MLflow를 훈련 코드에 통합합니다. PyTorch, TensorFlow, scikit-learn과 같은 인기 있는 프레임워크에 대해 강력한 한 줄 자동 로깅 기능(예: mlflow.pytorch.autolog())을 사용할 수 있습니다. 이는 메트릭, 파라미터, 모델 및 기타 아티팩트를 자동으로 캡처합니다. 더 세분화된 제어를 위해 mlflow.log_param(), mlflow.log_metric(), mlflow.log_artifact()와 같은 수동 로깅 API를 사용할 수 있습니다.

3. 실험 실행: 훈련 스크립트를 실행합니다. MLflow는 지정된 모든 정보를 로컬 디렉토리(mlruns) 또는 원격 추적 서버에 자동으로 기록합니다.

4. 결과 시각화: 터미널에서 mlflow ui를 실행하여 MLflow UI를 시작합니다. 이 웹 기반 인터페이스를 통해 다양한 실행의 성능을 비교하고, 메트릭을 시각화하며, 아티팩트를 검사할 수 있습니다.

5. 모델 패키징 및 등록: 최상의 모델을 식별한 후 MLflow를 사용하여 표준 형식으로 패키징합니다. 그런 다음 MLflow 모델 레지스트리에 등록하여 버전, 단계(예: 스테이징, 프로덕션) 및 주석을 관리할 수 있습니다.

6. 배포: 레지스트리에서 버전 관리되는 모델을 클라우드 플랫폼, Kubernetes 또는 로컬 REST 서버를 포함한 다양한 프로덕션 환경에 배포합니다.

MLflow의 핵심 기능

• MLflow 추적(Tracking): 머신러닝 코드를 실행할 때 파라미터, 코드 버전, 메트릭 및 아티팩트를 로깅하기 위한 API 및 UI입니다. 실험 결과의 상세한 비교 및 시각화를 가능하게 합니다.
• MLflow 프로젝트(Projects): 재사용 가능한 데이터 과학 코드를 패키징하기 위한 표준 형식입니다. 각 프로젝트는 코드가 있는 디렉토리 또는 Git 저장소이며, 종속성과 코드 실행 방법을 지정하는 설명자 파일을 사용합니다.
• MLflow 모델(Models): 다양한 다운스트림 도구에서 사용할 수 있는 머신러닝 모델을 패키징하기 위한 표준 형식입니다. 예를 들어 REST API를 통한 실시간 서빙이나 Apache Spark에서의 배치 추론이 있습니다.
• MLflow 모델 레지스트리(Model Registry): 모델 버전 관리, 단계 전환(스테이징에서 프로덕션으로), 주석을 포함하여 MLflow 모델의 전체 라이프사이클을 협업적으로 관리하기 위한 중앙 집중식 모델 저장소입니다.
• GenAI 및 LLM 도구: LLM 체인 및 에이전트에 대한 엔드투엔드 추적, 프롬프트 엔지니어링 관리, 관찰 가능성 및 평가 프레임워크를 포함한 GenAI를 위한 특수 기능입니다.
• 광범위한 통합: PyTorch, TensorFlow, Keras, scikit-learn, XGBoost, LangChain, LlamaIndex, OpenAI, Hugging Face를 포함한 25개 이상의 인기 있는 프레임워크 및 도구와 원활하게 통합됩니다.

MLflow의 사용 사례

MLflow의 다재다능함은 광범위한 AI 애플리케이션에 적합합니다:

• 컴퓨터 비전: 이미지 분류 및 객체 탐지를 위한 CNN 아키텍처, 데이터 증강 파이프라인 및 전이 학습 실험 추적.
• 자연어 처리(NLP): 대규모 언어 모델(LLM), 챗봇 및 텍스트 분석을 위한 트랜스포머 아키텍처, 토큰화 전략 및 미세 조정 실험 로깅.
• 시계열 예측: 금융 예측, 수요 예측 및 이상 감지를 위한 LSTM, GRU 및 트랜스포머 모델 모니터링.
• 강화 학습: 게임 AI 및 로보틱스에서 에이전트 성능, 보상 함수 및 정책 진화 추적.
• GenAI 애플리케이션 개발: 완전한 추적 가능성을 갖춘 복잡한 에이전트 기반 시스템 및 RAG(검색 증강 생성) 파이프라인 구축, 디버깅 및 모니터링.
• 협업 연구: 팀이 상세한 실험 결과, 모델 아티팩트 및 재현 가능한 환경을 공유하여 연구 개발을 가속화할 수 있도록 합니다.

MLflow의 장점

MLflow는 AI 시스템을 구축하는 개인 및 팀에게 상당한 이점을 제공합니다:

• 오픈소스 및 커뮤니티 주도: Linux Foundation 산하의 오픈소스 프로젝트로서 활발한 커뮤니티의 혜택을 받아 지속적인 개선과 광범위한 채택을 보장합니다.
• 프레임워크에 구애받지 않음: 개방형 아키텍처는 공급업체 종속을 방지하고 거의 모든 머신러닝 도구 또는 라이브러리와의 통합을 허용합니다.
• 엔드투엔드 관리: 초기 실험부터 프로덕션 모니터링까지 전체 ML 라이프사이클을 다루는 몇 안 되는 플랫폼 중 하나입니다.
• 향상된 재현성: 정확한 코드, 데이터 및 환경을 캡처함으로써 MLflow는 실험이 완전히 재현 가능하도록 보장하며, 이는 과학적 엄격성과 규제 준수에 중요합니다.
• 확장성 및 유연성: 노트북의 단일 사용자에서 대규모 전사적 배포까지 확장 가능하며, 다양한 요구에 맞게 자체 호스팅 및 관리형 호스팅 옵션을 모두 제공합니다.

가격 및 플랜

MLflow는 기본적으로 유연한 배포 모델을 갖춘 무료 오픈소스 도구입니다:

• 자체 호스팅(오픈소스): 핵심 MLflow 플랫폼은 Apache 2.0 라이선스에 따라 제공됩니다. 다운로드, 사용 및 수정이 완전히 무료입니다. 사용자는 인프라를 완전히 제어하고 설정 및 유지 관리를 책임집니다. 지원은 커뮤니티에서 제공합니다.
• 관리형 호스팅(프리미엄): 번거로움 없는 경험을 선호하는 사용자를 위해 이 도구의 원 제작자인 Databricks가 무료로 완전 관리형 MLflow 버전을 제공합니다. 이 옵션은 설정 및 유지 관리가 필요 없어 팀이 즉시 시작할 수 있습니다. 고급 엔터프라이즈 기능 및 지원은 Databricks의 상용 플랜을 통해 제공됩니다.