LastMile AI

LastMile AI는 개발자가 정교한 생성형 AI 애플리케이션을 자신 있게 구축, 테스트 및 벤치마킹할 수 있도록 설계된 포괄적인 엔터프라이즈급 평가 플랫폼입니다. AI 개발의 중요한 '마지막 마일' 문제를 해결하는 이 플랫폼은 프로세스를 예술에서 과학으로 전환하여 실제 시나리오에서 신뢰성, 보안 및 성능을 보장하는 데 필수적인 도구를 제공합니다. 특히 검색 증강 생성(RAG) 애플리케이션, AI 에이전트 및 기타 대규모 언어 모델(LLM) 기반 솔루션과 같은 복잡한 시스템을 평가하는 데 특화되어 있습니다.

LastMile AI 플랫폼의 핵심은 전체 평가 수명 주기를 간소화하는 강력한 도구 모음인 AutoEval입니다. 합성 데이터 생성부터 맞춤형 평가기 미세 조정, 실시간 모니터링을 위한 배포에 이르기까지 LastMile AI는 엔드투엔드 솔루션을 제공합니다. 이 플랫폼은 Meta, Google, OpenAI와 같은 업계 리더들의 깊은 경험을 가진 팀에 의해 구축되었으며, 개발자들이 혁신을 가속화하고 강력한 AI 시스템을 안전하게 배포하는 데 신뢰를 받고 있습니다.

LastMile AI 사용 방법

LastMile AI 시작은 개발자에게 간단하도록 설계되었으며, 단 몇 줄의 코드로 기존 워크플로우에 원활하게 통합됩니다. 플랫폼은 Python 및 TypeScript용 SDK를 제공합니다.

1. 설치: Python의 경우 pip(pip install lastmile)를 사용하거나 TypeScript/JavaScript의 경우 패키지 관리자(yarn add lastmile)를 사용하여 개발 환경에 LastMile AI 라이브러리를 설치하는 것으로 시작합니다.
2. 초기화: 코드에서 `AutoEval` 클라이언트를 가져와 초기화합니다.
3. 데이터 준비: 평가를 위해 데이터를 구조화합니다. 여기에는 일반적으로 입력, 모델 출력 및 실제 정답 데이터(사용 가능한 경우)가 Pandas DataFrame 또는 객체 목록과 같은 형식으로 포함됩니다.
4. 평가 실행: `evaluate_data` 메서드를 사용하여 데이터셋을 전달하고 원하는 내장 메트릭(예: `BuiltinMetrics.FAITHFULNESS`, `BuiltinMetrics.RELEVANCE`)을 지정합니다. 플랫폼이 계산을 처리하고 상세한 결과 객체를 반환합니다.
5. 맞춤형 평가기 미세 조정: 미묘한 평가 기준이 필요한 사용 사례의 경우 자체 평가기 모델을 미세 조정할 수 있습니다. 이 과정에는 다음이 포함됩니다: a) 애플리케이션별 데이터 업로드, b) LLM 기반 또는 인간 레이블링을 사용하여 판단 데이터셋 생성, c) 플랫폼에서 미세 조정 프로세스를 시작하여 빠르고 맞춤화된 평가기 모델 생성.
6. 배포 및 모니터링: 평가 및 미세 조정이 완료되면 AI 애플리케이션을 배포합니다. LastMile AI의 온라인 가드레일을 사용하여 프로덕션에서 지속적인 실시간 모니터링을 통해 이상을 감지하고 위험을 자동으로 완화합니다.

LastMile AI의 핵심 기능

• 내장 메트릭을 갖춘 AutoEval: 충실도, 관련성, 유해성, 정확성 및 요약 품질을 포함한 일반적인 AI 작업을 평가하기 위한 즉시 사용 가능한 메트릭 모음입니다.
• 맞춤형 평가기 미세 조정: 특정 데이터 분포 및 평가 기준에 맞춰진 작고 매우 빠르며 매우 정확한 평가기 모델을 훈련하여 일반적인 LLM 기반 판단을 넘어섭니다.
• 합성 데이터 생성: 다양하고 고품질의 합성 데이터를 생성하여 비용이 많이 들고 시간이 많이 걸리는 데이터 레이블링 프로세스를 자동화하여 강력하고 비공개적인 평가 모델을 훈련합니다.
• 초고속 추론: 미세 조정된 평가 모델을 배포하기 위한 고도로 최적화된 인프라로, 프로덕션 환경에 중요한 초저지연 실시간 평가를 가능하게 합니다.
• 강력한 실험 관리: 실험을 추적, 비교 및 재현하는 도구로, 팀 협업을 간소화하고 혁신이 신뢰할 수 있고 일관된 결과를 기반으로 구축되도록 보장합니다.
• 온라인 모니터링 및 가드레일: 프로덕션에 배포된 AI 모델을 사전에 모니터링합니다. 지능형 경계를 설정하고, 데이터 드리프트 또는 성능 저하를 감지하며, 실시간으로 위험을 자동으로 완화합니다.
• 안전한 배포 옵션: 가상 사설 클라우드(VPC) 및 온프레미스 설치 옵션을 통해 자체 조건에 따라 배포하여 데이터, 인프라 및 보안 프로토콜에 대한 완전한 제어를 보장하고 엄격한 규정 준수 요구 사항을 충족합니다.

LastMile AI의 사용 사례

LastMile AI는 프로덕션급 생성형 AI 애플리케이션을 구축하는 팀에 이상적입니다:

• RAG 시스템 개발: 검색기 관련성부터 생성기 충실도 및 전반적인 답변 품질에 이르기까지 RAG 파이프라인의 모든 구성 요소를 평가하고 최적화합니다.
• AI 에이전트 검증: 다단계 AI 에이전트의 신뢰성과 정확성을 테스트하여 다양한 조건에서 예상대로 작업을 수행하는지 확인합니다.
• 기업 챗봇 향상: 고객 대면 챗봇이 정확하고 유해하지 않으며 관련성이 있는지 확인하고, 브랜드 목소리 및 특정 비즈니스 로직과 일치하도록 평가기를 미세 조정합니다.
• 콘텐츠 생성 품질 관리: 브랜드 정렬, 사실 정확성 및 스타일과 같은 맞춤형 기준에 대해 AI 생성 요약, 기사 또는 마케팅 카피의 품질을 평가합니다.
• 규정 준수 및 안전 모니터링: 가드레일을 구현하여 유해성, 편향 또는 민감한 정보 유출에 대해 AI 출력을 지속적으로 모니터링하여 내부 정책 및 외부 규정을 준수하도록 합니다.

LastMile AI의 장점

LastMile AI는 AI 개발자에게 뚜렷한 경쟁 우위를 제공합니다:

• 과학적 접근: 재현 가능한 실험과 표준화된 메트릭을 통해 AI 개발을 주관적인 추측에서 객관적이고 데이터 기반의 과학으로 전환합니다.
• 엔드투엔드 플랫폼: 합성 데이터 생성 및 실험에서 실시간 프로덕션 모니터링에 이르기까지 전체 AI 수명 주기를 다루므로 여러 분산된 도구가 필요하지 않습니다.
• 맞춤화 및 정확성: 맞춤형 평가기를 미세 조정하면 일반적인 만능 메트릭에 의존하는 것보다 더 정확하고 관련성 있는 결과를 제공합니다.
• 속도 및 효율성: 평가기를 위한 초고속 추론 및 합성 데이터 생성은 개발 시간을 크게 단축하고 운영 비용을 절감합니다.
• 엔터프라이즈급 보안: 유연한 배포 모델(VPC, 온프레미스)은 조직에 완전한 데이터 제어권을 부여하여 가장 엄격한 보안 및 규정 준수 표준을 충족합니다.

가격 및 플랜

LastMile AI는 모든 규모의 팀을 수용할 수 있는 유연한 가격 구조를 제공합니다.

• 전문가 티어(무료): 개인 및 소규모 팀이 시작하고 실험할 수 있도록 설계되었습니다. 이 플랜에는 다음이 포함됩니다:
  • 클라우드 배포만 가능
  • 모델 미세 조정 10회 실행
  • 평가 100회 실행
  • 합성 데이터 10,000행 생성
• 엔터프라이즈 티어(맞춤 가격): 규모, 개인 정보 보호 및 프리미엄 지원이 필요한 기업을 위한 포괄적인 솔루션입니다. 이 플랜에는 다음이 포함됩니다:
  • 화이트 글러브 온보딩
  • 가상 사설 클라우드 및 온프레미스 배포 옵션
  • 무제한 모델 미세 조정
  • 무제한 평가 실행
  • 무제한 합성 데이터 생성
  • 연중무휴 고객 지원

엔터프라이즈 티어에 대한 견적을 받으려면 기업은 LastMile AI 팀과 데모를 예약하는 것이 좋습니다.