Lightly

Lightly는 컴퓨터 비전의 데이터 병목 현상을 해결하기 위해 특별히 설계된 데이터 중심 AI 플랫폼입니다. 머신러닝 팀이 방대한, 종종 레이블이 없는 데이터셋에서 가장 영향력 있는 데이터를 관리, 큐레이션 및 선택할 수 있도록 지원합니다. 액티브 러닝 및 자기 지도 학습 접근 방식을 채택함으로써 Lightly는 조직이 고성능 비전 모델을 더 효율적이고 비용 효과적으로 구축하도록 돕습니다. 이 플랫폼은 클라우드 기반 데이터 큐레이션을 위한 LightlyOne, 레이블 없는 모델 사전 훈련을 위한 LightlyTrain, 그리고 온디바이스 지능형 데이터 수집을 위한 LightlyEdge와 같은 강력한 도구 모음으로 구성됩니다.

Lightly 사용 방법

Lightly의 워크플로우는 기존 MLOps 파이프라인에 원활하게 통합되도록 설계되었습니다:

1. 데이터 소스 연결: Amazon S3, Google Cloud Storage 또는 Azure Blob Storage와 같은 기존 데이터 스토리지에 Lightly를 연결하는 것으로 시작합니다. 이 플랫폼은 수백만 개의 이미지 또는 비디오 프레임을 처리할 수 있습니다.
2. LightlyOne으로 데이터 큐레이션: 원시, 레이블 없는 시각적 데이터를 업로드합니다. LightlyOne의 알고리즘은 데이터를 분석하여 중복, 이상치 및 어려운 사례를 식별합니다. 그런 다음 다양한 선택 전략(예: 코어셋, 다양성, 불확실성)을 적용하여 작고 다양하며 정보가 풍부한 데이터 하위 집합을 자동으로 큐레이션할 수 있습니다.
3. LightlyTrain으로 모델 사전 훈련: 큐레이션된 데이터 하위 집합을 LightlyTrain(오픈 소스 프레임워크)과 함께 사용하여 비전 모델(예: YOLO, RT-DETR, ViT)을 사전 훈련합니다. DINOv2와 같은 자기 지도 학습 방법을 활용하여 모델이 수동 레이블 없이 특정 데이터 도메인에서 강력한 표현을 학습할 수 있도록 합니다.
4. 레이블링 및 미세 조정: 가장 가치 있는 데이터만 선택했기 때문에 레이블링 작업이 대폭 줄어듭니다. 이 작고 큐레이션된 데이터셋에 레이블을 지정하고 사전 훈련된 모델을 미세 조정하는 데 사용합니다. 이 프로세스는 무작위로 샘플링된 데이터로 훈련하는 것보다 더 빠른 수렴과 우수한 모델 정확도를 제공합니다.
5. LightlyEdge로 데이터 수집 최적화: 지속적인 개선을 위해 엣지 디바이스(예: 카메라, 드론, 자율 주행 차량)에 LightlyEdge SDK를 배포합니다. 실시간으로 데이터를 사전 필터링하여 가장 가치 있거나 새로운 데이터만 저장 및 재훈련을 위해 클라우드로 전송되도록 보장하여 상당한 대역폭과 비용을 절약합니다.

Lightly의 핵심 기능

• 자동화된 데이터 큐레이션: 대규모 레이블 없는 데이터셋에서 가장 가치 있는 샘플을 지능적으로 선택하여 레이블링 비용을 최대 90%까지 절감하고 데이터 중복을 최소화합니다.
• 자기 지도 사전 훈련 (LightlyTrain): 레이블 없이 사용자 지정 데이터로 컴퓨터 비전 모델을 사전 훈련하는 오픈 소스 프레임워크입니다. DINOv2를 사용하는 Vision Transformers(ViT)와 같은 최첨단 아키텍처를 지원합니다.
• 스마트 엣지 데이터 수집 (LightlyEdge): 실시간으로 고가치 데이터를 캡처하여 대역폭과 스토리지를 최적화하는 온디바이스 데이터 필터링용 SDK입니다.
• 확장 가능한 액티브 러닝: 다음에 레이블을 지정할 가장 정보가 풍부한 데이터를 식별하여 모델을 지속적으로 개선하는 강력한 액티브 러닝 워크플로우를 구현합니다.
• 데이터 시각화 및 인사이트: 사용자가 데이터셋 특성을 이해하고, 편향을 발견하고, 이상치를 찾고, 데이터 품질 문제를 디버깅하는 데 도움이 되는 임베딩 시각화를 제공합니다.
• 원활한 MLOps 통합: 기존 머신러닝 파이프라인, 데이터 스토리지 솔루션 및 주석 도구에 쉽게 통합되도록 설계되었습니다.
• 엔터프라이즈급 보안: Lightly는 ISO 27001 인증을 받았으며 GDPR을 준수하여 엔터프라이즈 운영을 위한 강력한 데이터 개인 정보 보호 및 보안을 보장합니다.

Lightly의 사용 사례

Lightly는 다재다능하며 다양한 산업의 데이터 문제를 해결하기 위해 만들어졌습니다:

• 자동차: 자율 주행 차량 인식 시스템을 위한 실제 주행 데이터를 큐레이션하며, 사고나 특이한 기상 조건과 같은 드문 엣지 케이스에 중점을 둡니다.
• 제조: 생산 라인에서 결함 및 정상 제품의 가장 대표적인 이미지를 선택하여 시각적 품질 관리 및 결함 감지를 개선합니다.
• 소매: 다양하고 도전적인 제품 이미지로 모델을 훈련하여 재고 관리 및 선반 분석을 최적화합니다.
• 농업: 가장 정보가 풍부한 항공 또는 지상 수준의 이미지를 선택하여 작물 모니터링 및 수확량 예측 모델을 향상시킵니다.
• 의료: 수술 비디오나 스캔에서 고품질 의료 영상 데이터를 선택하여 진단 AI 모델을 사전 훈련함으로써 의료 AI를 발전시키고 정확성과 신뢰성을 보장합니다.
• 보안 및 감시: 방대한 양의 비디오 영상에서 비정상적인 이벤트에 대한 훈련에 집중하여 이상 탐지 시스템을 강화합니다.

Lightly의 장점

Lightly를 채택하면 상당한 경쟁 우위를 얻을 수 있습니다:

• 대규모 비용 절감: 작지만 영향력 있는 데이터 하위 집합에 집중하여 데이터 레이블링 및 저장 비용을 대폭 절감합니다.
• 시장 출시 시간 단축: 모델 개발 주기를 최대 3배까지 가속화하고 배포 효율성을 두 배로 높입니다.
• 우수한 모델 성능: 더 다양하고 중복이 적은 데이터로 훈련하여 모델 정확도, 재현율 및 F1 점수를 향상시킵니다.
• 전례 없는 확장성: 수백만 개의 이미지와 비디오 프레임을 처리할 수 있어 대규모 산업용 애플리케이션에 이상적입니다.
• 효과적인 데이터 중심 AI: 실제 AI 애플리케이션에서 성능 향상을 이끌어내는 핵심인 강력한 데이터 중심 접근 방식을 가능하게 합니다.

가격 및 플랜

Lightly는 프리미엄(freemium) 모델로 운영됩니다. LightlyTrain과 같은 강력한 오픈 소스 도구를 무료로 제공하여 개인 개발자와 연구자가 자기 지도 학습을 활용할 수 있도록 합니다. 팀과 기업을 위해 Lightly는 맞춤형 엔터프라이즈 플랜을 통해 고급 기능, 확장성 및 전담 지원을 갖춘 포괄적인 플랫폼을 제공합니다. 관심 있는 분들은 데모를 예약하여 특정 요구에 맞는 자세한 가격 정보를 얻으시기 바랍니다.