Prodigy

Prodigy는 데이터 과학자, 머신러닝 엔지니어 및 개발자가 AI 모델을 위한 훈련 및 평가 데이터를 효율적으로 생성할 수 있도록 설계된 현대적이고 확장성이 뛰어난 주석 도구입니다. 기존의 주석 소프트웨어와 달리 Prodigy는 개발 워크플로우에 원활하게 통합되는 다운로드 가능한 Python 라이브러리입니다. 스크립트 가능하고 개발자 중심적인 접근 방식을 강조하여 수동 레이블링보다 10배 이상 효율적인 완전 맞춤형 데이터 주석 파이프라인을 구축할 수 있습니다.

Prodigy의 핵심 철학은 모델이 주석 프로세스에 적극적으로 참여하는 '인간 참여형(human-in-the-loop)' 머신러닝입니다. 이는 모델이 가장 불확실한 작업에 대한 주석을 제안하는 능동 학습(active learning)을 통해 달성되며, 이를 통해 인간 주석가는 가장 가치 있는 결정에 노력을 집중할 수 있습니다. 이는 다양한 작업을 위한 고품질의 골드 스탠더드 데이터셋 생성을 크게 가속화합니다.

Prodigy 사용 방법

Prodigy는 주로 명령줄을 통해 작동합니다. 워크플로우는 반복적이며 기존 Python 환경에 통합되도록 설계되었습니다.

1. 설치: Python 패키지로서 pip를 사용하여 환경에 Prodigy를 설치합니다.
2. 레시피 실행: 터미널에서 '레시피'를 실행하여 주석 세션을 시작합니다. 레시피는 데이터 로딩, 주석 인터페이스 및 주석 저장 방법을 포함한 전체 워크플로우를 정의하는 Python 함수입니다. Prodigy는 명명된 개체 인식(NER), 텍스트 분류 및 이미지 주석과 같은 일반적인 작업을 위한 많은 내장 레시피를 제공합니다(예: `Prodigy ner.manual my_dataset blank:en ./my_data.jsonl --label PERSON,ORG`).
3. 브라우저에서 주석 달기: 레시피가 실행되면 Prodigy는 로컬 웹 서버를 시작합니다. 그런 다음 브라우저에서 직관적인 웹 애플리케이션에 액세스하여 주석 작업을 수행할 수 있습니다. UI는 키보드 단축키와 깔끔하고 집중된 디자인으로 속도에 최적화되어 있습니다.
4. 모델 훈련: 충분한 수의 주석을 수집한 후 Prodigy의 내장 `train` 명령을 사용하여 주석이 달린 데이터셋에서 직접 모델(주로 spaCy 모델)을 훈련할 수 있습니다.
5. 반복: 이 과정은 순환적입니다. 새로 훈련된 모델을 사용하여 더 많은 데이터에 주석을 달고, 오류 분석을 수행하며, 모델의 성능을 지속적으로 향상시킬 수 있습니다.

Prodigy의 핵심 기능

• 스크립트 가능 및 확장성: Python, HTML 및 JavaScript를 사용하여 완전 맞춤형 워크플로우, 데이터 피드 및 주석 인터페이스를 정의합니다.
• 모델 지원 주석: 능동 학습을 활용하여 모델(spaCy, Hugging Face Transformers 및 LLM 포함)이 주석을 제안하도록 하여 효율성을 극적으로 향상시킵니다.
• 다중 모드 주석: 텍스트(NER, 텍스트 분류, 스팬 분류, 관계), 이미지(경계 상자, 다각형), 오디오 및 비디오를 포함한 광범위한 데이터 유형을 지원합니다.
• 완벽한 데이터 프라이버시: Prodigy는 자체 컴퓨터(로컬 또는 프라이빗 클라우드)에서 전적으로 실행되는 다운로드 가능한 도구입니다. 데이터가 서버를 떠나지 않으므로 엄격한 개인 정보 보호 요구 사항을 완벽하게 준수합니다.
• 개발자 중심: spaCy, PyTorch 및 TensorFlow와 같은 인기 있는 ML 라이브러리와 긴밀하게 통합됩니다. 별도의 제한적인 플랫폼이 아닌 개발자 툴킷의 일부로 설계되었습니다.
• 검토 및 협업: 여러 사용자의 주석을 검토하고, 충돌을 해결하며, 통일된 고품질 데이터셋을 생성하는 워크플로우를 포함합니다.
• 종속성 없음: 사용자가 데이터와 생성한 모델을 소유합니다. 주석은 다른 도구나 프레임워크와 함께 사용하기 위해 간단한 JSONL 형식으로 쉽게 내보낼 수 있습니다.

Prodigy의 사용 사례

Prodigy는 중요한 AI 애플리케이션을 위해 선도적인 조직들로부터 신뢰를 받고 있습니다:

• 금융 서비스: S&P Global은 높은 보안 환경에서 Prodigy를 사용하여 정보를 추출하고 시장 투명성을 높입니다.
• 미디어 및 저널리즘: The Guardian은 뉴스 기사에서 인용문을 추출하는 시스템을 구축하기 위해 Prodigy를 사용하여 콘텐츠 분석을 개선합니다.
• 경제 연구: Nesta는 영국의 노동 시장을 분석하기 위해 700만 개의 채용 공고를 처리했으며, Prodigy의 유연한 레시피를 사용하여 레이블링 프로세스에 LLM을 통합했습니다.
• 법률 기술: 법률 회사는 법률 문서 및 통신을 분석하여 수백만 달러를 회수하는 데 도움이 되는 NLP 모델을 구축하기 위해 Prodigy를 사용합니다.
• 대화형 AI: Posh와 같은 회사는 은행 대화를 위한 정교한 금융 챗봇을 구축하기 위해 맞춤형 Prodigy 서비스를 배포합니다.

Prodigy의 장점

Prodigy는 단순한 레이블링 인터페이스가 아닌 개발자 도구라는 점에서 다른 주석 솔루션과 차별화됩니다. 주요 장점으로는 자동화를 통한 비할 데 없는 효율성, 데이터 및 인프라에 대한 완전한 제어 및 프라이버시, 그리고 아무리 복잡하더라도 모든 특정 머신러닝 프로젝트에 적응할 수 있는 극도의 사용자 정의 기능이 있습니다. 한 번 지불하는 평생 라이선스 모델은 반복적인 구독료 없이 뛰어난 장기적 가치를 제공합니다.

가격 및 플랜

Prodigy는 평생 라이선스 모델을 제공하여 한 번 지불하면 소프트웨어를 영원히 사용할 수 있습니다. 개인 및 팀을 위한 유연한 라이선스 옵션을 제공합니다. 이 모델은 데이터가 서버를 떠나지 않으므로 완전한 프라이버시를 보장하며 공급업체 종속이 전혀 없습니다. 구체적인 가격 정보는 Prodigy 공식 웹사이트에서 확인할 수 있습니다.