Segment Anything

Segment Anything (SAM)은 Meta AI가 개발한 혁신적인 새로운 AI 모델로, 이미지 분할의 기초 모델로 설계되었습니다. 핵심 기능은 프롬프트를 제공하는 것만으로 모든 이미지 내의 모든 객체를 '잘라내거나' 분할하는 것입니다. 이는 컴퓨터 비전 분야에서 중요한 도약을 의미하며, 시각적 콘텐츠를 더 깊은 수준에서 이해하는 보다 일반화되고 직관적인 시스템으로 나아가는 것을 보여줍니다. SAM의 힘은 프롬프트 가능한 인터페이스와 제로샷 일반화라는 놀라운 능력에 있습니다. 즉, 추가 데이터나 미세 조정 없이 훈련 단계에서 접하지 못한 객체와 이미지를 식별하고 분할할 수 있습니다.

이 모델은 1,100만 개의 신중하게 라이선스되고 개인 정보가 보호된 이미지에 걸쳐 11억 개 이상의 분할 마스크를 포함하는 전례 없는 대규모 데이터셋인 SA-1B에서 훈련되었습니다. 이 방대한 데이터셋은 '데이터 엔진' 루프에서 모델 자체의 도움을 받아 수집되었으며, SAM에게 객체가 무엇인지에 대한 견고하고 일반화된 이해를 부여했습니다.

Segment Anything 사용 방법

Segment Anything은 웹 데모를 통한 대화형 사용과 개발자가 더 큰 시스템에 통합하는 두 가지 용도로 설계되었습니다.

일반 사용자용 (웹 데모를 통해):

1. Segment Anything 데모 웹사이트로 이동합니다.
2. 자신의 이미지를 업로드하거나 제공된 갤러리에서 이미지를 선택합니다.
3. 다양한 프롬프트를 사용하여 이미지를 조작하여 객체를 분할합니다:
• 마우스 오버 및 클릭: 객체 위로 마우스를 가져가기만 하면 SAM이 실시간으로 잠재적인 마스크를 강조 표시합니다. 클릭하여 분할을 확인합니다.
• 포인트: 객체의 일부를 포함시키기 위해 전경(양수) 포인트를 추가하거나, 더 정밀한 제어를 위해 영역을 제외하기 위해 배경(음수) 포인트를 추가합니다.
• 상자: 분할하려는 객체 주위에 경계 상자를 그립니다.
• 모든 것: 'Everything' 기능을 사용하여 SAM이 전체 이미지에서 감지하는 모든 객체를 자동으로 식별하고 분할하도록 합니다.
4. 결과 마스크는 브라우저에서 직접 보고 분석할 수 있습니다.

개발자 및 연구자용:

1. Segment Anything GitHub 리포지토리에서 공식 코드와 사전 훈련된 모델에 액세스합니다.
2. 모델은 구조적으로 무거운 이미지 인코더와 가벼운 마스크 디코더로 분리되어 있습니다. 이미지 임베딩은 이미지당 한 번 계산됩니다.
3. 가벼운 프롬프트 인코더와 마스크 디코더를 애플리케이션에 통합합니다. 이 구성 요소는 매우 효율적이며 CPU나 웹 브라우저에서 실시간으로 실행될 수 있습니다.
4. 모델의 출력 마스크를 비디오 객체 추적, 3D 재구성 또는 고급 이미지 편집 애플리케이션과 같은 다른 AI 시스템의 입력으로 사용합니다.

Segment Anything의 핵심 기능

• 프롬프트 가능한 분할: 사용자는 포인트, 상자, 마스크를 포함한 대화형 프롬프트로 모델을 안내할 수 있습니다. 연구 논문에서는 텍스트 프롬프트를 미래의 가능성으로 탐구하기도 합니다.
• 제로샷 일반화: 객체에 대한 일반적인 이해를 가지고 있어 특정 작업 훈련 없이 익숙하지 않은 객체와 이미지에 대한 분할을 수행할 수 있습니다.
• 실시간 상호작용: 가벼운 마스크 디코더는 효율적인 실시간 마스크 생성을 가능하게 하며, 표준 CPU에서 약 50ms 내에 실행됩니다.
• 모호성 인식 설계: 모호한 프롬프트(예: 여러 객체에 속할 수 있는 지점 클릭)에 대해 SAM은 여러 유효한 마스크를 생성하여 내재된 불확실성을 반영할 수 있습니다.
• 모든 객체에 대한 자동 출력: 단일 명령으로 이미지의 모든 객체에 대한 분할 마스크를 생성할 수 있습니다.
• 오픈 소스 모델 및 데이터셋: Segment Anything 모델(SAM)과 방대한 SA-1B 데이터셋 모두 공개적으로 이용 가능하여 해당 분야의 추가 연구와 혁신을 촉진합니다.

Segment Anything의 사용 사례

기초 모델로서 SAM의 다재다능함은 수많은 산업에 걸쳐 광범위한 응용 분야를 열어줍니다.

• 창의 및 그래픽 디자인: 사진에서 객체를 손쉽게 선택하고 분리하여 배경 제거, 합성 및 복잡한 콜라주 제작에 사용합니다.
• 과학 연구: 현미경 이미지에서 세포 분할, 생태 조사에서 동물 식별, 지질 구조 분석 등 과학 이미지 분석을 가속화합니다.
• 데이터 주석: 다른 컴퓨터 비전 모델 훈련을 위한 고품질 분할 마스크 생성 과정을 극적으로 단축하여 수작업과 비용을 절감합니다.
• 증강 현실(AR) 및 VR: AR 애플리케이션이 사용자 환경의 기하학과 객체를 이해하여 보다 현실적이고 상호작용적인 경험을 가능하게 합니다.
• 전자 상거래: 사진에서 배경을 제거하고 제품을 분리하여 전문적인 제품 목록 생성을 자동화합니다.
• 자율 시스템: 로봇과 자율 주행 차량이 주변 객체를 이해하고 상호작용할 수 있도록 강력한 인식 구성 요소를 제공합니다.

Segment Anything의 장점

SAM의 주요 장점은 시각적 이해를 위한 일반적이고 강력하며 접근 가능한 구성 요소로서의 역할입니다. 특정 작업을 위해 광범위한 훈련이 필요했던 이전 모델과 달리, SAM의 제로샷 능력은 다양한 분할 요구에 대한 플러그 앤 플레이 솔루션으로 만듭니다. 효율적인 아키텍처는 대화형 실시간 애플리케이션에 배포될 수 있도록 보장합니다. Meta AI는 모델과 역대 최대 규모의 분할 데이터셋을 오픈 소스로 공개함으로써 커뮤니티에 차세대 컴퓨터 비전 애플리케이션의 중추가 될 수 있는 강력한 도구를 제공했습니다.

가격 및 플랜

Segment Anything은 Meta AI가 발표한 연구 프로젝트입니다. 모델, 코드 및 SA-1B 데이터셋은 오픈 소스 라이선스 하에 연구 및 개발 목적으로 무료로 제공됩니다. 웹 데모 또한 시연 및 비상업적 목적으로 무료로 사용할 수 있습니다.