Banana

중요 공지: Banana 서버리스 GPU 플랫폼은 2024년 3월 31일에 공식적으로 종료되었으며 더 이상 활성 서비스가 아닙니다. 다음 설명은 서비스 중단 이전의 플랫폼 기능과 성능에 대해 자세히 설명합니다.

Banana는 AI 모델의 배포 및 추론 확장을 단순화하기 위해 설계된 전문 클라우드 인프라 플랫폼이었습니다. 자체 인프라 관리의 복잡성 없이 GPU 집약적인 워크로드를 실행하기 위한 안정적이고 처리량이 높으며 비용 효율적인 솔루션이 필요한 AI 팀과 개발자를 대상으로 했습니다. 이 플랫폼은 서버리스 아키텍처와 강력한 GPU 리소스를 결합하여 원활한 개발자 경험을 제공한다는 원칙에 따라 구축되었습니다.

Banana의 핵심 제공 사항은 서버리스 GPU 호스팅으로, 모델을 사용자 정의 가능한 컨테이너 환경에 배포할 수 있게 했습니다. 이는 Banana의 오픈 소스 Python 프레임워크인 Potassium에 의해 구동되었으며, 개발자들이 PyTorch, TensorFlow, Hugging Face와 같은 인기 라이브러리의 모델을 쉽게 래핑하고 배포 준비를 할 수 있도록 지원했습니다. 플랫폼의 아키텍처는 높은 처리량의 추론을 위해 설계되었으며, 변동하는 수요를 효율적으로 처리하기 위해 리소스를 자동으로 관리했습니다.

Banana 사용 방법

Banana에서의 개발 및 배포 워크플로우는 간단하고 표준 개발 관행과 통합되도록 설계되었습니다:

1. 모델 준비: 개발자들은 Potassium 프레임워크를 사용하여 Python 코드를 구조화했습니다. 이는 일반적으로 시작 시 모델 및 기타 무거운 자산을 메모리에 로드하는 `init()` 함수와 사전 로드된 모델을 사용하여 들어오는 추론 요청을 처리하는 `handler()` 함수를 포함했습니다.
2. 컨테이너화: 애플리케이션은 모든 종속성(예: `torch`, `transformers`)과 함께 Docker 컨테이너에 패키징되어 일관되고 재현 가능한 환경을 보장했습니다.
3. 배포: 개발자들은 제공된 명령줄 인터페이스(CLI)를 사용하거나 CI/CD 파이프라인을 위해 GitHub와 직접 통합하여 컨테이너화된 애플리케이션을 Banana 플랫폼에 배포할 수 있었습니다. 이를 통해 롤링 배포 및 브랜치 기반 테스트 환경과 같은 기능이 가능했습니다.
4. 확장 및 추론: 배포되면 Banana는 모델에 대한 고유한 API 엔드포인트를 제공했습니다. 플랫폼의 자동 스케일러는 실시간 요청 트래픽에 따라 GPU 복제본을 자동으로 늘리거나 줄여, 피크 시간에 대응하고 유휴 기간에는 0으로 축소하여 비용을 절감했습니다.

Banana의 핵심 기능

• 자동 확장 GPU: 수요에 따라 활성 GPU 인스턴스 수를 자동으로 조정하여 피크 시간 동안 고성능을 보장하고 유휴 시간에는 비용을 최소화했습니다.
• 패스스루 가격 책정: 고정 월간 플랫폼 요금과 GPU 컴퓨팅 시간의 직접적인 원가 가격을 마크업 없이 제공하는 투명한 가격 모델을 제공했습니다.
• 완전한 DevOps 플랫폼: GitHub 통합, CI/CD, 강력한 CLI, 롤링 배포, 추적 및 중앙 집중식 로깅과 같은 현대 개발에 필수적인 도구를 포함했습니다.
• 관찰 가능성 및 분석: 실시간으로 요청 트래픽, 지연 시간 및 오류율을 모니터링하기 위한 내장 대시보드를 제공했습니다. 또한 지출 및 엔드포인트 사용량을 추적하기 위한 비즈니스 분석 기능도 제공했습니다.
• Potassium 프레임워크: 프로덕션 준비가 된 컨테이너화된 모델 서버를 만드는 과정을 단순화하는 오픈 소스 Python 프레임워크입니다.
• 자동화 API: 배포 및 기타 플랫폼 리소스를 프로그래밍 방식으로 관리하고 자동화할 수 있는 SDK가 포함된 포괄적인 API입니다.

Banana의 사용 사례

Banana는 다양한 AI 추론 작업, 특히 사용자 정의 모델이나 특수 처리 로직이 필요한 작업에 이상적이었습니다. 일반적인 사용 사례는 다음과 같습니다:

• 사용자 정의 챗봇 또는 콘텐츠 생성 애플리케이션을 위한 미세 조정된 대규모 언어 모델(LLM) 호스팅.
• 사용자 정의 전처리 또는 후처리 단계가 포함된 Stable Diffusion과 같은 이미지 생성 모델 배포.
• 실시간 또는 배치 처리를 위한 Whisper와 같은 오디오 전사 모델 제공.
• 객체 감지, 이미지 분류 또는 기타 분석 작업을 위한 컴퓨터 비전 모델 실행.

Banana의 장점

Banana의 주요 장점은 GPU 인프라 관리의 복잡성을 추상화하는 능력이었습니다. 이를 통해 팀은 DevOps가 아닌 모델 구축 및 개선에 집중할 수 있었습니다. 0에서 시작하는 자동 확장 및 원가 기반 컴퓨팅 모델은 가변 트래픽이 있는 워크로드에 대해 매우 비용 효율적인 솔루션이었습니다. 개발자 중심의 도구와 통합은 개발에서 배포 및 모니터링에 이르는 전체 MLOps 수명 주기를 간소화했습니다.

가격 및 플랜

서비스 종료 전 Banana는 다음 플랜을 제공했습니다:

• 팀 플랜: 월 1200달러 + 원가 컴퓨팅 비용. 이 플랜은 소규모 팀을 위해 설계되었으며, 10명의 팀원, 5개의 프로젝트, 최대 50개의 병렬 GPU를 지원하고 로깅, 분석 및 사용자 정의 GPU 유형과 같은 기능을 포함했습니다.
• 엔터프라이즈 플랜: 사용자 정의 가격 + 원가 컴퓨팅 비용. 팀 플랜의 모든 기능과 함께 SAML SSO, 전용 자동화 API, 더 높은 병렬 GPU 제한, 사용자 정의 가능한 추론 큐 및 전담 지원과 같은 엔터프라이즈급 기능을 포함했습니다.