Braintrust

Braintrust는 팀이 세계적 수준의 AI 및 LLM 기반 애플리케이션을 자신 있게 구축, 평가 및 출시할 수 있도록 설계된 포괄적인 엔드투엔드 플랫폼입니다. AI 모델이 비결정적이고 예측 불가능할 수 있는 시대에 Braintrust는 엄격한 테스트, 모니터링 및 반복적인 개선을 AI 개발 수명 주기에 도입하는 데 필수적인 인프라를 제공합니다. 선도적인 AI 팀들로부터 신뢰를 받으며 개발과 안정적인 프로덕션 배포 사이의 중요한 격차를 해소하고 AI 개발을 보다 구조화되고 예측 가능한 엔지니어링 분야로 전환합니다.

이 플랫폼은 'Evals'(평가)라는 핵심 개념을 중심으로 구축되어 팀이 프롬프트, 모델 또는 AI 시스템의 다른 부분에 대한 변경 사항을 체계적으로 테스트할 수 있습니다. 예제 데이터셋을 만들고 스코어러를 정의함으로써 개발자는 성능에 대한 객관적인 메트릭을 얻고, 회귀를 방지하며, 모든 변경이 개선임을 보장할 수 있습니다. 이를 통해 "프롬프트를 변경했을 때 어떤 예제가 회귀했는가?" 또는 "이 새로운 모델을 시도하면 어떻게 될까?"와 같은 중요한 질문에 쉽게 답할 수 있습니다.

Braintrust 사용 방법

Braintrust를 사용하려면 기존 AI 개발 워크플로우에 통합해야 합니다. 이 과정은 전체 팀이 직관적으로 사용할 수 있도록 설계되었습니다.

1. 코드 계측: Braintrust SDK(Python 및 TypeScript용)를 애플리케이션에 통합하는 것으로 시작합니다. 이를 통해 모든 LLM 상호 작용, 입력 및 출력을 Braintrust 플랫폼에 기록할 수 있습니다.
2. 프롬프트 생성 및 관리: Braintrust UI를 사용하거나 코드에서 직접 프롬프트를 정의합니다. 이 플랫폼은 모든 프롬프트에 대한 중앙 집중식 버전 관리 저장소를 제공하여 쉽게 테스트하고 업데이트할 수 있습니다.
3. 테스트 데이터셋 구축: 프로덕션 로그에서 흥미롭거나 문제가 있는 예제를 캡처하여 '골든' 데이터셋을 만듭니다. 이 데이터셋은 향후 변경 사항을 평가하기 위한 기준으로 사용됩니다.
4. 평가(Evals) 정의 및 실행: 프롬프트, 모델 및 데이터셋을 결합하여 'Eval'을 만듭니다. 실험을 실행하여 다양한 모델 제공업체(예: GPT-4o, Claude 3.5 Sonnet, Llama 3), 프롬프트 버전 또는 기타 매개변수를 나란히 비교합니다.
5. 추적을 통한 디버깅: 애플리케이션이 오작동할 때 Braintrust의 추적 기능을 사용하여 LLM 호출의 전체 실행 경로를 시각화합니다. 이는 오류나 예기치 않은 출력의 정확한 원인을 파악하는 데 도움이 됩니다.
6. 프로덕션 환경에서 모니터링: 배포 후 모니터링 대시보드를 사용하여 AI 애플리케이션의 실제 성능, 비용 및 품질을 추적합니다. 이상 또는 성능 저하에 대한 경고를 설정합니다.
7. 반복 및 개선: 평가, 인적 검토 및 프로덕션 모니터링에서 얻은 통찰력을 사용하여 프롬프트와 데이터셋을 지속적으로 개선하여 강력한 개선 피드백 루프를 만듭니다.

Braintrust의 핵심 기능

• LLM 평가(Evals): 사전 구축되거나 사용자 정의 코딩된 다양한 스코어러(예: 레벤슈타인 거리, 유사성, 환각 검사)를 사용하여 프롬프트, 모델 및 구성을 체계적으로 테스트하고 비교합니다.
• 프롬프트 관리: UI와 코드베이스 간에 원활하게 동기화되는 프롬프트를 생성, 테스트 및 배포하기 위한 중앙 집중식 버전 관리 시스템입니다.
• 실시간 추적 및 디버깅: AI 애플리케이션의 전체 엔드투엔드 실행 흐름을 시각화하여 병목 현상, 오류 및 최적화 기회를 신속하게 식별합니다.
• 프로덕션 모니터링: 실제 성능, 비용, 지연 시간 및 사용자 상호 작용에 대한 깊은 통찰력을 얻어 모델이 라이브 환경에서 최적으로 수행되도록 보장합니다.
• 협업 플레이그라운드: 기술 및 비기술 팀원들이 실시간으로 프롬프트, 모델 및 데이터를 실험할 수 있는 IDE와 유사한 환경입니다.
• 골든 데이터셋: 견고한 회귀 테스트 및 평가를 위해 실제 데이터에서 선별된 데이터셋을 생성, 관리 및 버전 관리합니다.
• 자체 호스팅 옵션: 자체 인프라에 Braintrust를 배포하여 데이터를 완벽하게 제어하고 엄격한 보안 및 규정 준수 요구 사항을 충족합니다.
• AI 프록시: 다양한 LLM 제공업체와 상호 작용하기 위한 통합 인터페이스로, API 호출, 자격 증명 관리 및 모델 전환을 단순화합니다.
• 인적 검토 워크플로우: 인간 전문가가 AI 출력을 평가할 수 있는 내장 시스템으로, 데이터셋 및 평가에 통합할 수 있는 귀중한 피드백을 제공합니다.

Braintrust의 사용 사례

Braintrust는 다재다능하며 AI 개발의 다양한 시나리오에 적용될 수 있습니다.

• LLM 프롬프트 A/B 테스트: 개발자는 두 가지 버전의 프롬프트를 만들고 골든 데이터셋에서 평가를 실행하여 정확성, 관련성 또는 어조와 같은 지표에서 어느 것이 더 나은 성과를 내는지 객관적으로 결정할 수 있습니다.
• 모델 벤치마킹 및 마이그레이션: Claude 3.5 Sonnet과 같은 새로운 모델이 출시되면 팀은 Braintrust를 사용하여 마이그레이션을 결정하기 전에 현재 모델(예: GPT-4o) 대비 주요 비즈니스 작업에서의 성능과 비용을 평가할 수 있습니다.
• 복잡한 AI 에이전트 디버깅: 여러 순차적 LLM 호출을 하는 에이전트의 경우 Braintrust의 추적 기능이 전체 사고 과정을 시각화하여 논리가 실패했거나 잘못된 결과를 생성한 부분을 쉽게 찾아낼 수 있습니다.
• RAG 시스템의 품질 보증: 팀은 질문과 예상 답변의 데이터셋을 구축하여 검색 증강 생성(RAG) 시스템을 지속적으로 테스트하고 품질이 저하되거나 환각을 일으키지 않도록 보장할 수 있습니다.
• 비용 및 지연 시간 최적화: 제품 관리자는 모니터링 대시보드를 사용하여 프로덕션 환경에서 AI 기능의 비용과 응답 시간을 추적하고 엔지니어링 주의가 필요한 비싼 쿼리나 성능 병목 현상을 식별할 수 있습니다.

Braintrust의 장점

Braintrust는 AI로 구축하는 팀에게 상당한 경쟁 우위를 제공합니다.

• 엔드투엔드 솔루션: 초기 실험 및 평가에서 프로덕션 모니터링 및 지속적인 개선에 이르기까지 전체 AI 애플리케이션 수명 주기를 독점적으로 다룹니다.
• AI의 비결정성 관리: 예측 불가능한 LLM의 세계에 구조화된 테스트와 객관적인 메트릭을 도입하여 팀이 견고하고 신뢰할 수 있는 제품을 구축하도록 돕습니다.
• 팀 협업 촉진: 직관적인 UI는 엔지니어와 제품 관리자와 같은 비기술적 이해 관계자 모두를 위해 설계되어 모든 사람이 AI 제품 개선에 기여할 수 있도록 합니다.
• 코드와 UI의 시너지: 사용자 친화적인 UI와 프로덕션 코드베이스 간에 프롬프트와 같은 구성을 원활하게 동기화하여 실험과 배포 사이의 격차를 해소합니다.
• 유연성 및 확장성: 사용자 정의 스코어러, 사용자 정의 기능 및 자체 호스팅을 지원하여 모든 조직의 특정 요구 사항과 인프라에 맞게 조정할 수 있습니다.

가격 및 플랜

Braintrust는 필요에 따라 확장할 수 있도록 설계된 계층형 가격 구조를 제공합니다.

• 무료 플랜: 월 $0. 이 플랜은 개인 및 소규모 팀이 시작하기에 적합합니다. 1백만 개의 추적 스팬, 1GB의 처리된 데이터, 10,000개의 점수, 14일의 데이터 보존 및 무제한 사용자가 포함됩니다.
• 프로 플랜: 월 $249. 성장하는 팀과 프로덕션 애플리케이션을 대상으로 하는 이 플랜은 무제한 추적 스팬, 5GB의 처리된 데이터(이후 GB당 $3), 50,000개의 점수(이후 1,000개당 $1.50), 1개월의 데이터 보존 및 무제한 사용자를 제공합니다.
• 엔터프라이즈 플랜: 맞춤형 가격. 이 플랜은 대규모 조직이나 대용량 또는 개인 정보에 민감한 데이터를 다루는 조직을 위한 것입니다. 프리미엄 지원, 전용 인프라 및 온프레미스 또는 프라이빗 클라우드 배포 옵션이 포함됩니다.