boundaryml

boundaryml은 BAML(Boundary AI Markup Language)로도 알려져 있으며, 대규모 언어 모델(LLM)을 사용하는 개발자를 위해 특별히 설계된 강력하고 표현력이 풍부한 언어입니다. 주요 목표는 AI 개발의 중요한 과제인 LLM의 예측 불가능한 출력에서 JSON과 같은 구조화된 데이터를 안정적으로 얻는 것입니다. BAML은 취약한 프롬프트 엔지니어링과 수동 파싱을 강력하고 유형 안전한 프레임워크로 대체하여 LLM 상호 작용을 소프트웨어 개발 수명 주기의 핵심 부분으로 취급합니다.

이 플랫폼은 AI 기반 데이터 추출 파이프라인을 정의, 테스트 및 배포하는 전체 프로세스를 단순화하는 포괄적인 툴킷을 제공합니다. 개발자는 `.baml` 파일 내에서 데이터 스키마와 프롬프트를 정의함으로써 정적 분석, 실시간 피드백 및 전용 VSCode 플레이그라운드를 활용하여 신속하게 반복할 수 있습니다. BAML의 지능형 파서는 후행 쉼표, 따옴표 없는 키 및 기타 JSON 형식 지정 문제와 같은 일반적인 LLM 출력 오류를 자동으로 수정하여 런타임 오류를 방지하고 데이터 무결성을 보장하는 뛰어난 기능입니다.

boundaryml 사용 방법

개발자가 boundaryml을 시작하는 것은 간단합니다. 프로세스는 pip를 통해 필요한 패키지를 설치하는 것으로 시작됩니다.

$ pip install baml-py

1. 스키마 정의: 프로젝트에 `.baml` 파일을 만듭니다. 이 파일 내에서 최신 프로그래밍 언어와 유사한 클래스 및 열거형을 포함하는 BAML의 직관적인 구문을 사용하여 원하는 출력 구조를 정의합니다. 또한 LLM에 전송될 프롬프트를 작성하고 동적 콘텐츠에 Jinja 템플릿을 사용합니다.

2. 플레이그라운드에서 개발 및 테스트: 통합 플레이그라운드를 제공하는 BAML VSCode 확장을 사용합니다. 이를 통해 다양한 LLM(예: GPT-4o, Claude 3.5 등)에 대해 프롬프트를 테스트하고 실시간 출력을 확인하며 애플리케이션 코드를 작성하기 전에 문제를 디버깅할 수 있습니다. 플레이그라운드는 다중 모드 입력을 지원하여 이미지와 오디오로도 테스트할 수 있습니다.

3. 클라이언트 생성 및 사용: BAML의 컴파일러는 선택한 언어(예: Python, TypeScript)로 유형 안전한 클라이언트를 생성합니다. 그런 다음 다른 라이브러리 함수처럼 애플리케이션 코드에서 BAML 함수를 직접 가져와 호출할 수 있습니다. BAML은 기본 LLM API 호출, 파싱 및 오류 수정을 처리합니다.

4. 자신감 있는 배포: 통합되면 애플리케이션은 구조화된 데이터를 얻기 위해 LLM을 안정적으로 호출할 수 있습니다. 프로덕션 환경을 위해 boundaryml은 관찰 가능성, 모니터링 및 미세 조정을 위한 MLOps 스위트인 Boundary Studio를 제공합니다.

boundaryml의 핵심 기능

• 표현력이 풍부한 BAML 언어: 프롬프트와 데이터 스키마를 정의하기 위한 전용 구문으로, 프롬프트 엔지니어링을 보다 구조화된 코딩 관행으로 전환합니다.
• 고급 오류 수정 파서: LLM 출력에서 깨진 JSON 및 기타 형식 오류를 자동으로 수정하여 높은 신뢰성을 보장합니다.
• 모델에 구애받지 않는 함수 호출: OpenAI, Anthropic, Google 및 오픈 소스 대안을 포함한 광범위한 모델과 원활하게 작동하며 종종 네이티브 함수 호출 기능보다 뛰어난 성능을 보입니다.
• 유형 안전한 클라이언트 생성: 여러 언어(Python, TypeScript, Ruby, Go 등)용 클라이언트를 생성하여 완전한 유형 안전성과 편집기 자동 완성을 제공합니다.
• 통합 VSCode 플레이그라운드: 프롬프트 및 데이터 추출 로직의 신속한 프로토타이핑, 테스트 및 디버깅을 위한 대화형 환경입니다.
• 시맨틱 스트리밍: 원시 텍스트 토큰뿐만 아니라 구조화된 데이터 객체를 스트리밍하는 정교한 기술로, 보다 반응성 있는 사용자 경험을 가능하게 합니다.
• 다중 모드 기능: 프롬프트 내에서 오디오 및 이미지와 같은 비텍스트 입력을 지원합니다.
• 오픈 소스 코어: 핵심 BAML 언어 및 도구는 Apache 2.0 라이선스에 따라 무료이며 오픈 소스입니다.

boundaryml의 사용 사례

boundaryml은 LLM의 구조화된 정보에 의존하는 모든 애플리케이션에 이상적입니다.

• 데이터 추출: 이력서, 송장, 계약서 및 고객 이메일과 같은 비정형 문서를 구조화된 형식으로 파싱합니다.
• AI 에이전트 개발: LLM의 출력이 필요한 함수 서명과 정확히 일치하도록 보장하여 도구와 함수를 사용하는 신뢰할 수 있는 AI 에이전트를 구축합니다.
• 콘텐츠 분류 및 태깅: 사용자 피드백, 지원 티켓 또는 기사를 내용에 따라 자동으로 분류합니다.
• RAG(검색 증강 생성) 시스템: RAG 파이프라인의 출력을 구조화하여 예를 들어 일관된 형식으로 인용문이 포함된 답변을 생성합니다.
• 자연어를 API로: 사용자의 자연어 요청을 구조화된 API 호출 또는 데이터베이스 쿼리로 변환합니다.

boundaryml의 장점

개발자는 몇 가지 주요 이점 때문에 boundaryml을 선택합니다.

• 향상된 신뢰성: 파싱 실패를 대폭 줄이고 복잡한 `JSON.parse()` try-catch 블록의 필요성을 제거합니다.
• 개선된 개발자 경험: 코드와 유사한 구문, 정적 분석 및 통합 테스트 플레이그라운드는 반복 속도를 크게 높이고 코드 품질을 향상시킵니다.
• 비용 및 성능 최적화: BAML의 효율적인 프롬프트 기술은 정확성을 희생하지 않으면서 토큰 사용량을 줄이고 첫 토큰까지의 시간을 단축할 수 있습니다.
• 크로스 플랫폼 및 다국어 지원: BAML에서 한 번 로직을 정의하고 다양한 프로그래밍 언어로 작성된 여러 서비스에서 사용합니다.
• 최첨단 결과: 벤치마크에 따르면 BAML은 네이티브 모델 구현에 비해 함수 호출 작업에서 우수한 성능을 달성합니다.

가격 및 플랜

boundaryml은 프리미엄(freemium) 모델로 운영되어 개인 개발자부터 대기업까지 누구나 이용할 수 있습니다.

• 스타터 플랜(영구 무료): 이 플랜은 완전히 무료이며 핵심 BAML 언어(Apache 2.0 라이선스), LLM에서 구조화된 데이터를 얻는 기능, 다중 모드 기능이 있는 VSCode 플레이그라운드, Discord 및 GitHub를 통한 커뮤니티 지원을 포함합니다.
• 엔터프라이즈 플랜(맞춤형 가격): 최고 수준의 신뢰성과 지원이 필요한 기업을 위해 맞춤 제작되었습니다. 스타터 플랜의 모든 것을 포함하며, Boundary Studio(관찰 가능성, 데이터 레이블링 및 미세 조정 지원 기능이 있는 MLOps 스위트)에 대한 액세스, SLA 보장, 전용 Slack 지원, 아키텍처 검토 및 우선 순위 기능 요청이 추가됩니다. 관심 있는 분은 영업팀에 문의하여 견적을 받으십시오.