EDGE

EDGE(Editable Dance Generation from Music)는 음악과 움직임 사이의 간극을 메우기 위해 설계된 최첨단 AI 시스템입니다. 주어진 모든 음악에 충실하게 동기화되는 고품질의 사실적이고 물리적으로 그럴듯한 댄스 시퀀스를 생성하는 강력한 방법을 소개합니다. 이전 모델과 달리 EDGE는 정교한 트랜스포머 기반 확산 모델을 기반으로 하며, 강력한 음악 특징 추출기인 Jukebox와 결합됩니다. 이 조합을 통해 리듬, 멜로디, 분위기와 같은 음악 트랙의 미묘한 차이를 깊이 이해하고 이를 유동적이고 표현력 있는 댄스 동작으로 변환할 수 있습니다.

EDGE의 핵심 혁신은 편집 기능에 있습니다. 단순한 생성을 넘어 창작자에게 강력한 편집 도구 모음을 제공합니다. 이를 통해 사용자는 생성된 애니메이션을 미세 조정하고 자신의 특정 창의적 비전에 맞게 사용자 정의할 수 있습니다. 이 모델은 Bailando 및 FACT와 같은 다른 주요 방법과 비교하여 엄격한 테스트를 거쳤으며, 인간 평가자들은 EDGE가 생성한 댄스가 우수한 사실성과 음악성을 이유로 지속적으로 강한 선호를 보였습니다.

EDGE 사용 방법

연구 프로젝트로서 EDGE를 사용하는 것은 일반적으로 GitHub 리포지토리의 소스 코드와 상호 작용하는 것을 포함합니다. 개발자나 애니메이터를 위한 일반적인 워크플로우는 다음과 같습니다:

1. 환경 설정: GitHub에서 EDGE 리포지토리를 복제합니다. Python, PyTorch 및 기타 지정된 라이브러리를 포함한 모든 필수 종속성을 설치합니다.
2. 모델 다운로드: 연구원이 제공하는 사전 훈련된 모델을 다운로드합니다. 여기에는 주 확산 모델과 Jukebox 특징 추출기가 포함됩니다.
3. 입력 준비: 댄스를 생성할 오디오 파일(예: .wav 또는 .mp3 형식)을 선택합니다.
4. 댄스 생성: 명령줄을 통해 생성 스크립트를 실행하고 입력 음악 파일을 지정합니다. 모델은 오디오를 처리하고 특징을 추출한 다음 해당 3D 댄스 시퀀스(종종 .bvh 또는 .fbx 파일)를 생성합니다.
5. 편집 및 수정: 스크립트에서 특정 매개변수를 제공하여 고급 편집 기능을 활용합니다. 예를 들어, 모션 인비트위닝을 사용하려면 시작 및 끝 포즈를 제공해야 합니다. 관절별 컨디셔닝의 경우 특정 신체 부위에 대한 제약 조건을 지정해야 합니다.
6. 프로젝트에 통합: 최종 애니메이션 파일을 선호하는 3D 소프트웨어(Blender, Maya 또는 Unity 등)로 가져와 영화, 게임 또는 기타 창의적인 프로젝트에서 사용합니다.

EDGE의 핵심 기능

• 음악-댄스 생성: 오디오 입력에서 전신 3D 댄스 애니메이션을 자동으로 생성하여 음악의 리듬과 스타일을 포착합니다.
• 고품질 모션: 트랜스포머 기반 확산 모델을 활용하여 부자연스러운 떨림이나 포즈를 피하고 부드럽고 사실적이며 물리적으로 그럴듯한 움직임을 생성합니다.
• 관절별 컨디셔닝: 사용자가 개별 관절의 움직임이나 위치를 지정할 수 있도록 하여 세분화된 제어를 제공하고 정확한 예술적 지시를 가능하게 합니다.
• 모션 인비트위닝: 사용자가 정의한 두 개의 키 포즈 사이에 매끄러운 전환을 생성하여 자연스럽게 연결하는 동작을 자동으로 만듭니다.
• 댄스 연속: 기존 댄스 시퀀스를 받아 이전 동작과 음악을 논리적으로 따르는 연속을 지능적으로 생성할 수 있습니다.
• 고급 음악 분석: Jukebox 특징 추출기를 사용하여 입력 음악에 대한 깊고 미묘한 이해를 달성하여 오디오와 모션 간의 강력한 상관 관계를 보장합니다.

EDGE의 사용 사례

EDGE는 다양한 창의적 및 기술 분야에 걸쳐 응용 프로그램을 갖춘 다목적 도구입니다:

• 게임 개발: 이벤트, 클럽 또는 시네마틱 시퀀스를 위해 음악 중심의 역동적인 춤추는 NPC로 게임 세계를 빠르게 채웁니다.
• 영화 제작 및 애니메이션: 애니메이터가 추가로 수정할 수 있는 기본 댄스 안무를 생성하여 애니메이션 파이프라인을 가속화하고 수동 키프레이밍 시간을 크게 절약합니다.
• 가상 현실 및 메타버스: 가상 콘서트, 파티 및 소셜 공간에서 아바타가 음악에 맞춰 사실적으로 춤을 추도록 하여 몰입형 경험을 만듭니다.
• 안무 및 댄스 교육: 안무가가 가상 댄서에서 어떻게 보일지 확인함으로써 새로운 댄스 아이디어를 시각화하고 실험할 수 있도록 합니다.
• 디지털 아트 및 VJing: 라이브 음악 공연, 뮤직 비디오 및 인터랙티브 아트 설치를 위한 독특한 시각적 콘텐츠를 생성합니다.

EDGE의 장점

• 우수한 품질: 인간 평가에서 이전의 최첨단 모델을 능가하며 더 사실적이고 미학적으로 만족스러운 결과를 제공합니다.
• 전례 없는 편집 기능: 생성과 강력한 편집 도구의 조합은 대부분의 다른 음악-댄스 시스템에서는 찾아볼 수 없는 수준의 제어를 제공합니다.
• 물리적으로 기반: 생성된 동작은 물리학 및 인간 생체 역학의 원리를 준수하여 현실감 있고 현실에 기반을 둔 것을 보장합니다.
• 개방적이고 접근 가능: 연구 프로젝트로서 그 결과와 코드는 일반적으로 오픈 소스이므로 추가 혁신을 촉진하고 개발자가 자신의 응용 프로그램에 통합할 수 있도록 합니다.

가격 및 플랜

EDGE는 연구 프로젝트이며 무료로 사용할 수 있습니다. 소스 코드, 사전 훈련된 모델 및 문서는 GitHub에 호스팅되어 있으며, 리포지토리에 제공된 특정 라이선스에 따라 누구나 비상업적, 연구 또는 실험적 용도로 사용할 수 있습니다.