FriendliAI

FriendliAI는 AI 모델의 배포와 확장을 쉽고 빠르며 비용 효율적으로 만들기 위해 노력하는 포괄적인 생성형 AI 인프라 회사입니다. 이 플랫폼은 생성형 AI 추론을 가속화하도록 설계된 도구 모음을 제공하여 기업이 개발에서 프로덕션으로 원활하게 전환할 수 있도록 지원합니다. 획기적인 최적화 기술을 활용하여 FriendliAI는 성능을 향상시키면서 운영 비용과 하드웨어 요구 사항을 크게 줄입니다. Llama, Mixtral, Qwen과 같은 인기 있는 오픈 소스 LLM뿐만 아니라 사용자 지정 및 멀티모달 모델을 포함하여 40만 개 이상의 모델로 구성된 방대한 생태계를 지원합니다.

FriendliAI의 핵심 제품은 다양한 배포 요구에 맞춰진 세 가지 주요 제품으로 구성된 Friendli Suite입니다: 보장된 성능을 위한 Friendli Dedicated Endpoints, 종량제 유연성을 위한 Friendli Serverless Endpoints, 그리고 회사 자체 인프라 내에서 최고의 보안을 위한 Friendli Container입니다. 이 플랫폼은 반복 일괄 처리(연속 일괄 처리), 최적화된 GPU 커널, 네이티브 양자화와 같은 독점 기술을 기반으로 구축되어 업계 최고의 처리량과 낮은 지연 시간을 제공합니다.

FriendliAI 사용 방법

FriendliAI를 시작하는 과정은 개발자와 MLOps 팀을 위해 설계되어 매우 간단합니다. 일반적인 워크플로우는 다음과 같습니다:

1. 가입 및 제품 선택: Friendli Suite에서 계정을 만듭니다. 필요에 따라 무료 평가판 또는 크레딧으로 시작할 수 있습니다. Dedicated Endpoints, Serverless Endpoints 또는 Container 솔루션 중에서 선택합니다.
2. 새 엔드포인트 생성: 대시보드에서 새 프로젝트를 만든 다음 새 엔드포인트를 만듭니다. 고유한 이름을 지정합니다.
3. 모델 선택: Hugging Face나 Weights & Biases(W&B)와 같은 인기 있는 리포지토리에서 직접 모델을 배포할 수 있습니다. 모델 ID만 제공하면 됩니다. 또는 자체적으로 훈련한 사용자 지정 모델을 업로드할 수도 있습니다.
4. 인스턴스 구성: 모델 크기와 성능 요구 사항에 따라 적절한 GPU 인스턴스 유형(예: A100, H100)을 선택합니다. 플랫폼은 VRAM 문제를 방지하기 위한 제안을 제공합니다.
5. 오토스케일링 설정: 비용과 성능을 효과적으로 관리하기 위해 오토스케일링 매개변수를 구성합니다. 최소 및 최대 복제본 수를 설정하고, 유휴 기간 동안 비용을 없애기 위해 0으로 축소할 수 있습니다.
6. 배포 및 테스트: '생성'을 클릭하여 엔드포인트를 배포합니다. 초기화되면 내장된 '플레이그라운드'를 사용하여 테스트 프롬프트를 보내고 출력을 확인할 수 있습니다.
7. 애플리케이션과 통합: 제공된 API 키와 코드 스니펫(cURL, Python)을 사용하여 추론 엔드포인트를 애플리케이션, 제품 또는 서비스에 통합합니다.
8. 모니터링 및 최적화: 통합 대시보드를 활용하여 엔드포인트 성능을 모니터링하고, 로그를 보고, 메트릭을 분석하여 배포를 더욱 최적화합니다.

FriendliAI의 핵심 기능

• Friendli Suite: 세 가지 배포 옵션을 제공하는 올인원 플랫폼: Dedicated Endpoints(보장된 리소스), Serverless Endpoints(사용량 기반 결제), Container(온프레미스/VPC).
• 획기적인 성능: 반복 일괄 처리(연속 일괄 처리)와 같은 독점 기술을 활용하여 대안에 비해 최대 10.7배 높은 처리량과 6.2배 낮은 지연 시간을 달성합니다.
• 비용 효율성: 동일한 워크로드에 필요한 GPU를 최대 6배 줄여 50-90%의 비용 절감을 제공합니다.
• 광범위한 모델 지원: Hugging Face, W&B에서 40만 개 이상의 모델을 원활하게 배포하거나 멀티모달 모델을 포함한 사용자 지정 모델을 업로드합니다.
• 고급 양자화: FP8, INT8, AWQ와 같은 네이티브 양자화 기술을 지원하여 정확도를 저하시키지 않으면서 효율적으로 모델을 서빙합니다.
• 지능형 오토스케일링: 실시간 수요에 따라 리소스를 자동으로 조정하며, 비용 최소화를 위해 0으로 축소하는 기능도 포함합니다.
• AI 에이전트 구축 도구: 모델에 구애받지 않는 함수 호출, 구조화된 출력, 웹 검색 및 계산기와 같은 도구와의 통합을 통해 신뢰할 수 있고 복잡한 AI 에이전트를 구축할 수 있습니다.
• 프로덕션 준비 완료: 보장된 SLA, 클라우드 또는 온프레미스 배포를 위한 강력한 보안, 고급 모니터링 및 디버깅 도구를 제공합니다.

FriendliAI의 사용 사례

FriendliAI는 까다로운 프로덕션급 AI 애플리케이션을 위해 선도적인 기업들로부터 신뢰를 받고 있습니다.

• 대규모 AI 서비스: SKT와 같은 통신 제공업체는 FriendliAI를 사용하여 수백만 명의 사용자를 위한 AI 서비스를 구동하며, 5배 높은 처리량과 3배의 비용 절감을 달성했습니다.
• 대용량 챗봇: NextDay AI와 같은 회사는 매월 3조 개 이상의 토큰을 처리하는 개인화된 캐릭터 챗봇을 운영하며, Friendli Container를 통해 GPU 사용량을 50% 이상 절감했습니다.
• 기업 AI 애플리케이션: Friendli Container를 사용하여 내부 지식 기반 검색, 코드 생성 또는 고객 지원 자동화와 같은 특정 비즈니스 기능을 위해 맞춤 조정된 모델을 배포하고 완전한 데이터 프라이버시를 보장합니다.
• 모델 평가 및 선택: Serverless Endpoints의 나란히 비교 기능을 사용하여 특정 사용 사례에 가장 적합한 성능의 모델을 평가하고 선택합니다.
• 복잡한 AI 에이전트 구축: 외부 도구와 신뢰할 수 있는 함수 호출로 AI 에이전트의 역량을 강화하여 데이터 분석, 예약 시스템 또는 자동화된 워크플로우와 같은 복잡한 작업을 수행합니다.

FriendliAI의 장점

FriendliAI는 성능, 비용 및 유연성에 중점을 두어 뚜렷한 경쟁 우위를 제공합니다. 핵심 장점은 다른 솔루션을 압도하는 독점적인 추론 엔진에 있습니다. 이는 클라우드 컴퓨팅 비용을 크게 절감하고 더 적은 하드웨어로 더 많은 사용자에게 서비스를 제공할 수 있는 직접적인 이점으로 이어집니다. 플랫폼의 유연성 덕분에 기업은 보안 및 확장 요구에 맞는 완벽한 배포 모델을 선택할 수 있습니다. 완전 관리형 서버리스 API든 프라이빗 클라우드에서 실행되는 컨테이너든 상관없습니다. Hugging Face에서 원클릭 배포와 포괄적인 모니터링 도구를 통한 사용 용이성은 엔지니어링 팀의 운영 부담을 줄여 혁신적인 AI 제품 구축에 집중할 수 있도록 합니다.

가격 및 플랜

FriendliAI는 프리미엄(freemium) 진입점을 갖춘 유연한 사용량 기반 가격 모델을 제공합니다.

• 기본 플랜: 5달러의 무료 크레딧으로 시작하세요. 이 플랜은 종량제이며 구성 가능한 오토스케일링 및 사용자 지정 모델 배포와 같은 핵심 기능에 대한 액세스를 제공합니다.
• 엔터프라이즈 플랜: 대규모 배포를 위해 설계된 이 플랜은 기본 플랜의 모든 것을 포함하며, 수요가 많은 GPU에 대한 우선 액세스, 고급 모니터링(메트릭 및 로그), 전담 지원 및 맞춤형 가격 견적을 제공합니다.

Friendli Dedicated Endpoints의 가격은 GPU 시간당 청구되며, 요금은 GPU 유형에 따라 다릅니다:

• A100 80GB: 시간당 2.9달러
• H100 80GB: 시간당 4.9달러
• H200 141GB: 시간당 5.9달러

Friendli Container 및 Friendli Serverless Endpoints의 가격도 제공되며 특정 사용 패턴에 맞춰져 있습니다. 엔터프라이즈 고객은 영업팀에 연락하여 맞춤형 할인 가격 플랜을 받을 수 있습니다.