EDGE

EDGE, acronyme de Editable Dance Generation from Music, est un système d'IA de pointe conçu pour combler le fossé entre la musique et le mouvement. Il introduit une méthode puissante pour générer des séquences de danse de haute qualité, réalistes et physiquement plausibles, fidèlement synchronisées avec n'importe quel morceau de musique. Contrairement aux modèles précédents, EDGE est construit sur un modèle de diffusion sophistiqué basé sur un transformeur, qu'il associe à Jukebox, un extracteur de caractéristiques musicales robuste. Cette combinaison lui permet de comprendre en profondeur les nuances d'une piste musicale — son rythme, sa mélodie et son ambiance — et de les traduire en mouvements de danse fluides et expressifs.

L'innovation clé d'EDGE réside dans sa capacité d'édition. Il va au-delà de la simple génération pour fournir aux créateurs une suite d'outils d'édition puissants. Cela permet aux utilisateurs d'affiner et de personnaliser les animations générées pour les adapter à leur vision créative spécifique. Le modèle a été rigoureusement testé et comparé à d'autres méthodes de premier plan comme Bailando et FACT, les évaluateurs humains montrant systématiquement une forte préférence pour les danses générées par EDGE, citant leur réalisme et leur musicalité supérieurs.

Comment utiliser EDGE

En tant que projet de recherche, l'utilisation d'EDGE implique généralement d'interagir avec son code source depuis le dépôt GitHub. Le flux de travail général pour un développeur ou un animateur serait :

1. Configurer l'environnement : Cloner le dépôt EDGE depuis GitHub. Installer toutes les dépendances requises, y compris Python, PyTorch et d'autres bibliothèques spécifiées.
2. Télécharger les modèles : Télécharger les modèles pré-entraînés fournis par les chercheurs. Cela inclut le modèle de diffusion principal et l'extracteur de caractéristiques Jukebox.
3. Préparer l'entrée : Sélectionner un fichier audio (par exemple, au format .wav ou .mp3) pour lequel vous souhaitez générer une danse.
4. Générer la danse : Exécuter le script de génération via la ligne de commande, en indiquant votre fichier musical d'entrée. Le modèle traitera l'audio, extraira ses caractéristiques et générera une séquence de danse 3D correspondante (souvent sous forme de fichier .bvh ou .fbx).
5. Modifier et affiner : Utiliser les fonctionnalités d'édition avancées en fournissant des paramètres spécifiques dans le script. Par exemple, pour utiliser l'interpolation de mouvement, vous fourniriez des poses de début et de fin. Pour le conditionnement articulaire, vous spécifieriez des contraintes pour certaines parties du corps.
6. Intégrer dans les projets : Importer le fichier d'animation final dans votre logiciel 3D préféré (comme Blender, Maya ou Unity) pour l'utiliser dans des films, des jeux ou d'autres projets créatifs.

Fonctionnalités principales de EDGE

• Génération de danse à partir de la musique : Crée automatiquement des animations de danse 3D complètes à partir d'une entrée audio, capturant le rythme et le style de la musique.
• Mouvement de haute fidélité : Exploite un modèle de diffusion basé sur un transformeur pour produire des mouvements fluides, réalistes et physiquement plausibles qui évitent les secousses ou les poses non naturelles.
• Conditionnement articulaire : Offre un contrôle granulaire en permettant aux utilisateurs de spécifier le mouvement ou la position d'articulations individuelles, permettant une direction artistique précise.
• Interpolation de mouvement (In-betweening) : Génère des transitions fluides entre deux poses clés définies par l'utilisateur, créant automatiquement le mouvement qui les relie de manière naturelle.
• Continuation de la danse : Peut prendre une séquence de danse existante et générer intelligemment une continuation qui suit logiquement les mouvements et la musique précédents.
• Analyse musicale avancée : Utilise l'extracteur de caractéristiques Jukebox pour obtenir une compréhension profonde et nuancée de la musique d'entrée, assurant une forte corrélation entre l'audio et le mouvement.

Cas d'utilisation pour EDGE

EDGE est un outil polyvalent avec des applications dans divers domaines créatifs et techniques :

• Développement de jeux : Peupler rapidement les mondes de jeu avec des PNJ dynamiques dansant au rythme de la musique pour des événements, des clubs ou des séquences cinématiques.
• Cinéma et animation : Accélérer le pipeline d'animation en générant des chorégraphies de danse de base qui peuvent être affinées par les animateurs, économisant un temps considérable sur l'animation manuelle par images clés.
• Réalité virtuelle et métavers : Créer des expériences immersives en permettant aux avatars de danser de manière réaliste sur la musique dans des concerts virtuels, des fêtes et des espaces sociaux.
• Chorégraphie et éducation à la danse : Permet aux chorégraphes de visualiser et d'expérimenter de nouvelles idées de danse en voyant à quoi elles pourraient ressembler sur un danseur virtuel.
• Art numérique et VJing : Générer un contenu visuel unique pour des performances musicales en direct, des clips vidéo et des installations artistiques interactives.

Avantages de EDGE

• Qualité supérieure : Surpasse les modèles de pointe précédents dans les évaluations humaines, offrant des résultats plus réalistes et esthétiquement agréables.
• Modifiabilité sans précédent : La combinaison de la génération et d'outils d'édition puissants offre un niveau de contrôle que l'on ne trouve pas dans la plupart des autres systèmes de musique à danse.
• Fondé sur la physique : Les mouvements générés respectent les principes de la physique et de la biomécanique humaine, garantissant qu'ils sont crédibles et ancrés dans la réalité.
• Ouvert et accessible : En tant que projet de recherche, ses résultats et son code sont généralement open source, favorisant l'innovation et permettant aux développeurs de l'intégrer dans leurs propres applications.

Tarification et plans

EDGE est un projet de recherche et est disponible gratuitement. Le code source, les modèles pré-entraînés et la documentation sont hébergés sur GitHub, le rendant accessible à tous pour un usage non commercial, de recherche ou expérimental, sous réserve de la licence spécifique fournie dans le dépôt.