Together AI

Together AI는 생성형 AI의 미래를 구축하기 위해 개발자와 연구원을 위해 설계된 엔드투엔드 플랫폼인 AI 가속 클라우드로 자리매김하고 있습니다. 방대한 오픈 소스 모델을 훈련, 미세 조정 및 실행하기 위한 포괄적인 도구 및 인프라 제품군을 제공합니다. 이 플랫폼은 최첨단 연구를 기반으로 구축되었으며, 오픈 소스 커뮤니티에 대한 강력한 약속과 함께 비할 데 없는 속도, 비용 효율성 및 유연성을 제공하는 것을 목표로 합니다.

핵심적으로 Together AI는 전체 생성형 AI 라이프사이클을 포괄하는 원활한 서비스 연속체를 제공합니다. 사용자는 추론 API로 시작하여 200개 이상의 사전 훈련된 모델을 애플리케이션에 신속하게 통합하고, 자체 데이터로 이러한 모델을 미세 조정하여 전문화된 작업을 수행하거나, 강력한 GPU 클러스터를 활용하여 처음부터 새로운 맞춤형 모델을 훈련할 수 있습니다. 이 통합된 접근 방식은 모든 규모의 조직이 공급업체 종속 없이 정교한 AI 솔루션을 혁신하고 배포할 수 있도록 지원합니다.

Together AI 사용 방법

다양한 요구에 맞춰 Together AI를 시작하는 것은 간단합니다.

1. 추론용: 개발자는 가입하여 API 키를 받을 수 있습니다. OpenAI 호환 API를 사용하여 다른 서비스에서 쉽게 전환하거나 새 프로젝트를 시작할 수 있습니다. 다양한 모델(채팅, 이미지, 코드 등)의 서버리스 엔드포인트에 API를 호출하고 사용한 만큼만 지불할 수 있습니다. 일관된 고처리량이 필요한 경우 전용 인스턴스를 배포할 수 있습니다.
2. 미세 조정용: 훈련 데이터를 JSONL과 같은 표준 형식으로 준비합니다. 간단한 명령줄 인터페이스(CLI)를 사용하여 데이터 세트를 업로드합니다. 그런 다음 `together finetune create` 명령을 실행하여 미세 조정하려는 기본 모델과 데이터 세트를 지정합니다. 단일 명령으로 시작하거나 학습률, 배치 크기 및 에포크와 같은 하이퍼파라미터를 심층적으로 제어하여 성능을 최적화할 수 있습니다.
3. GPU 클러스터 훈련용: 대규모 프로젝트의 경우 전용 GPU 클러스터를 예약할 수 있습니다. 이 클러스터는 최고 수준의 NVIDIA GPU(H100, H200, GB200 등)와 고속 상호 연결을 갖추고 있습니다. Slurm이나 Kubernetes와 같은 표준 오케스트레이션 도구를 사용하여 훈련 워크로드를 관리할 수 있습니다.

Together AI의 핵심 기능

• 광범위한 모델 라이브러리: Llama, Mixtral, Qwen, Gemma, DeepSeek 등 선도적인 오픈 소스 제품군을 포함한 200개 이상의 생성형 AI 모델에 액세스할 수 있으며, 채팅, 코드 생성, 이미지 생성, 오디오 전사 및 임베딩을 다룹니다.
• 고성능 추론 엔진: FlashAttention-3 및 맞춤형 커널과 같은 연구 혁신으로 구동되는 Together 추론 엔진은 모델 추론에 업계 최고의 속도와 처리량을 제공하여 대기 시간을 크게 줄입니다.
• 맞춤형 미세 조정: 오픈 소스 모델을 미세 조정하기 위한 사용자 친화적인 API 및 CLI. 효율적인 LoRA(Low-Rank Adaptation)와 전체 미세 조정을 모두 지원하여 결과 모델에 대한 완전한 소유권을 제공합니다.
• 전용 GPU 클러스터: 대규모 훈련 및 추론을 위한 최첨단 NVIDIA GPU 클러스터에 대한 온디맨드 액세스를 제공하며, 병목 현상을 제거하기 위한 고속 네트워킹을 갖추고 있습니다.
• OpenAI 호환 API: OpenAI API의 드롭인 대체품으로, 최소한의 코드 변경으로 기존 애플리케이션을 오픈 소스 모델에서 실행하도록 원활하게 마이그레이션할 수 있습니다.
• 엔터프라이즈급 보안: 이 플랫폼은 SOC 2 및 HIPAA를 준수하며, 강력한 보안과 기업의 자체 가상 사설 클라우드(VPC) 내에 배포할 수 있는 기능을 제공합니다.

Together AI의 사용 사례

이 플랫폼은 다음을 포함한 광범위한 애플리케이션을 지원합니다.

• 고급 챗봇 및 가상 비서: 고객 지원, 개인 비서 등을 위한 고도로 반응적이고 상황 인식적인 대화형 AI 구축 및 배포.
• 코드 생성 및 개발자 도구: 강력한 코드 모델을 IDE에 통합하여 코드 완성, 디버깅 및 프롬프트에서 전체 코드베이스 생성을 지원합니다.
• 창의적인 콘텐츠 생성: 최첨단 이미지 및 언어 모델을 사용하여 고품질 이미지, 마케팅 카피 및 기타 창의적인 콘텐츠를 만듭니다.
• 데이터 분석 및 추출: 감성 분석, 문서 요약 및 비정형 텍스트에서 구조화된 데이터 추출과 같은 전문 데이터 작업을 위해 모델을 미세 조정합니다.
• AI 연구 및 기초 모델 훈련: 연구원에게 새로운 AI 아키텍처를 훈련하고 실험하는 데 필요한 고성능 컴퓨팅 리소스를 제공합니다.

Together AI의 장점

Together AI는 몇 가지 주요 이점을 제공합니다.

• 속도 및 성능: 훈련과 추론 모두에 우수한 처리량을 제공하는 최적화를 통해 사용 가능한 가장 빠른 AI 인프라 플랫폼 중 하나입니다.
• 비용 효율성: 오픈 소스 모델과 최적화된 인프라에 집중함으로써 독점 AI 서비스에 비해 훨씬 저렴한 대안을 제공합니다.
• 개방성 및 제어: 오픈 소스 생태계를 옹호하여 사용자에게 모델과 데이터에 대한 완전한 제어권을 부여하고 공급업체 종속을 방지합니다.
• 엔드투엔드 솔루션: 전체 AI 개발 라이프사이클을 위한 단일 통합 플랫폼을 제공하여 워크플로를 단순화하고 시장 출시 시간을 단축합니다.

가격 및 플랜

Together AI는 사용량에 따라 확장되는 투명한 종량제 가격 모델을 제공합니다.

• 추론 API: 1백만 토큰당(입력 및 출력 모두) 가격이 책정됩니다. 요금은 모델의 크기와 제품군(예: Llama, Qwen, DeepSeek)에 따라 다릅니다. 이미지 모델은 메가픽셀당, 오디오 모델은 문자당 요금이 부과됩니다.
• 전용 엔드포인트: 보장된 성능을 위해 사용자는 시간당 요금이 부과되는 전용 GPU 인스턴스를 임대할 수 있습니다. 가격은 GPU 유형(예: RTX-6000, A100, H100)에 따라 다릅니다.
• 미세 조정: 훈련 중 처리된 토큰 수(데이터 세트 크기 * 에포크 수)를 기준으로 요금이 부과됩니다. LoRA와 전체 미세 조정의 가격이 다릅니다.
• GPU 클러스터: NVIDIA H100, H200 및 Blackwell GPU가 장착된 예약된 클러스터는 시간당 임대가 가능하며, H100 GPU의 경우 시간당 약 1.75달러부터 시작합니다.
• 무료 엔드포인트: 테스트 및 실험을 위해 여러 모델이 무료 사용 엔드포인트에서 제공됩니다.