Modal

Modal은 특히 AI, 머신러닝, 데이터 처리 워크로드를 위해 컴퓨팅 집약적인 코드를 실행하는 프로세스를 근본적으로 단순화하도록 설계된 서버리스 클라우드 함수 플랫폼입니다. 개발자에게 클라우드에서 Python 함수를 실행하는 우아한 방법을 제공하며, 인프라 관리의 모든 복잡성을 추상화합니다. Modal을 사용하면 최소한의 코드 변경으로 로컬 개발에서 대규모 클라우드 실행으로 전환할 수 있으므로, Kubernetes, Docker 또는 클라우드 제공업체 구성과 씨름하는 대신 애플리케이션 로직에 집중할 수 있습니다.

이 플랫폼은 Rust 기반 컨테이너 시스템을 포함한 맞춤형 고성능 스택 위에 구축되어 1초 미만의 컨테이너 시작 시간을 가능하게 합니다. 이는 로컬 머신에서처럼 클라우드에서도 빠르게 반복 작업을 할 수 있음을 의미합니다. Modal의 핵심 철학은 '코드로서의 인프라'로, 특정 GPU 유형, 메모리, 시크릿과 같은 모든 리소스 요구 사항이 Python 스크립트 내에서 직접 정의되므로 YAML과 같은 별도의 구성 파일이 필요 없습니다.

Modal 사용 방법

Modal 시작은 매우 간단하게 설계되었으며 몇 가지 간단한 단계만 거치면 됩니다:

1. 설치: pip를 사용하여 Modal Python 클라이언트 라이브러리를 설치합니다: pip install modal.
2. 인증: 터미널에서 단일 명령을 실행하여 컴퓨터를 Modal 계정에 연결합니다: modal setup. 그러면 로그인하고 API 토큰을 생성할 수 있는 브라우저 창이 열립니다.
3. 코드 작성: 표준 Python 함수를 @app.function() 데코레이터로 장식하여 클라우드 함수를 정의합니다. 이 데코레이터 내에서 모든 리소스 요구 사항을 지정할 수 있습니다. 예를 들어, NVIDIA A100 GPU에서 함수를 실행하려면 @app.function(gpu="A100")를 사용합니다. 코드에서 Python 패키지나 시스템 종속성을 지정하여 사용자 지정 컨테이너 환경을 정의할 수도 있습니다.
4. 원격 실행: 클라우드에서 함수를 실행하려면 .remote() 메서드로 호출하기만 하면 됩니다. 예: my_function.remote(arg1, arg2). Modal은 코드 패키징, 지정된 리소스 프로비저닝, 함수 실행, 결과 스트리밍 등 나머지 모든 작업을 처리합니다.

Modal의 핵심 기능

• 서버리스 GPU 및 CPU 컴퓨팅: 수동 설정 없이 다양한 GPU(H100, A100, L40S, T4 포함) 및 고코어 CPU에 즉시 액세스할 수 있습니다.
• 즉각적인 자동 확장: 급증하는 워크로드를 처리하기 위해 몇 초 만에 0개에서 수천 개의 컨테이너로 자동 확장하고 다시 0개로 축소되므로 유휴 리소스에 대해 비용을 지불할 필요가 없습니다.
• 제로 구성 환경: 컨테이너 이미지, 종속성 및 하드웨어 요구 사항을 Python에서 직접 정의합니다. Dockerfile이나 YAML이 필요 없습니다.
• 영구 저장소: modal.Volume과 같은 상태 저장 구성 요소를 사용하여 영구적이고 처리량이 높은 파일 저장소를, modal.Dict를 사용하여 키-값 저장소를, modal.Queue를 사용하여 분산 작업 큐를 활용합니다.
• 작업 스케줄링 및 웹 엔드포인트: 예약된 작업을 위한 cron 작업으로 함수를 쉽게 배포하거나, 스트리밍 및 WebSocket을 지원하는 보안 HTTPS 웹 엔드포인트로 모델과 애플리케이션을 제공합니다.
• 보안 샌드박싱: 신뢰할 수 없는 코드를 격리된 환경에서 안전하게 실행하며, 이는 AI 에이전트나 코드 인터프리터를 구축하는 데 중요한 기능입니다.
• 원활한 통합: 관찰 가능성을 위해 Datadog 및 OpenTelemetry와 같은 도구와 기본적으로 통합되며, S3 및 R2와 같은 클라우드 저장소를 쉽게 마운트할 수 있습니다.
• 내장 디버깅: 실행 중인 컨테이너 내부의 대화형 TTY 셸(modal shell)을 사용하여 문제를 효과적으로 해결합니다.

Modal의 사용 사례

Modal은 다재다능하고 강력하여 다양한 애플리케이션에 적합합니다:

• 생성형 AI: vLLM 및 TensorRT-LLM과 같은 프레임워크로 LLM 추론을 배포 및 확장하고, 사용자 지정 데이터로 모델을 미세 조정하며, 대규모 훈련 작업을 실행합니다.
• 배치 처리: Whisper 오디오 전사, 문서 OCR 또는 대규모 데이터 세트(예: S3의 Parquet 파일)에 대한 데이터 분석과 같은 작업을 위해 대규모 병렬 처리를 수행합니다.
• 이미지, 비디오 및 3D 생성: Stable Diffusion 및 Flux와 같은 확산 모델을 제공하거나 Blender와 같은 도구를 위한 렌더링 팜을 실행합니다.
• 계산 생물학: 단백질 접힘 및 분자 구조 예측을 위한 복잡한 시뮬레이션을 실행합니다.
• 검색 증강 생성(RAG): 문서를 쿼리하고 출처를 인용할 수 있는 확장 가능한 RAG 파이프라인을 구축하고 호스팅합니다.
• AI 기반 에이전트: 보안 샌드박스 환경에서 코드를 실행할 수 있는 AI 에이전트를 생성하고 실행합니다.

Modal의 장점

Modal은 개발자 경험(DX)과 성능에 중점을 두어 상당한 경쟁 우위를 제공합니다. AWS Lambda나 Cloud Run과 같은 기존 클라우드 서비스와 비교할 때, Modal은 훨씬 더 간단하고 Python 네이티브 워크플로우를 제공합니다. 주요 장점은 속도(1초 미만의 콜드 스타트 및 빠른 확장), 비용 효율성(초당 과금 및 0으로 확장), 인프라의 완전한 추상화로, 개발 주기를 극적으로 가속화하고 운영 오버헤드를 줄입니다.

가격 및 플랜

Modal은 프리미엄 및 종량제 모델로 운영되어 개인 개발자부터 대기업까지 누구나 이용할 수 있습니다.

• 스타터 플랜: 이 무료 플랜은 개인 및 소규모 팀에 이상적입니다. 매월 30달러 상당의 무료 컴퓨팅 크레딧이 포함됩니다.
• 종량제: 무료 크레딧을 초과하면 사용한 리소스에 대해서만 초 단위로 비용을 지불합니다. 여기에는 GPU, CPU 및 메모리가 포함됩니다. 초당 GPU 가격 예시는 다음과 같습니다: T4 약 $0.000164, A10G 약 $0.000306, H100 약 $0.001097.
• 팀 플랜: 스타트업 및 성장하는 조직을 위해 설계되었으며, 협업 기능과 더 높은 동시성 제한을 제공합니다.
• 엔터프라이즈 플랜: 강화된 보안(SOC 2, HIPAA), 전담 지원 및 SSO와 같은 기능이 필요한 대기업을 위한 플랜입니다.