EDGE

EDGE，全稱為「可編輯的音樂舞蹈生成」，是一個旨在彌合音樂與動作之間鴻溝的尖端人工智慧系統。它引入了一種強大的方法，可以生成高品質、逼真且符合物理原理的舞蹈序列，並忠實地與任何給定的音樂片段同步。與以往的模型不同，EDGE建立在一個複雜的基於Transformer的擴散模型之上，並與強大的音樂特徵提取器Jukebox相結合。這種組合使其能夠深入理解音樂曲目的細微差別——包括其節奏、旋律和情緒——並將它們轉化為流暢、富有表現力的舞蹈動作。

EDGE的關鍵創新在於其可編輯性。它超越了簡單的生成功能，為創作者提供了一套強大的編輯工具。這使用戶能夠微調和客製化生成的動畫，以適應其特定的創意構想。該模型經過了嚴格的測試，並與Bailando和FACT等其他領先方法進行了比較，人類評估者一致表示，他們更偏愛由EDGE生成的舞蹈，認為其具有卓越的真實感和音樂性。

如何使用EDGE

作為一個研究項目，使用EDGE通常需要透過其GitHub儲存庫與原始碼進行互動。對於開發人員或動畫師來說，一般的工作流程如下：

1. 設定環境： 從GitHub克隆EDGE的儲存庫。安裝所有必需的依賴項，包括Python、PyTorch和其他指定的函式庫。
2. 下載模型： 下載研究人員提供的預訓練模型。這包括主擴散模型和Jukebox特徵提取器。
3. 準備輸入： 選擇一個您想要為其生成舞蹈的音訊檔案（例如.wav或.mp3格式）。
4. 生成舞蹈： 透過命令列運行生成腳本，並指向您的輸入音樂檔案。模型將處理音訊，提取其特徵，並生成相應的3D舞蹈序列（通常為.bvh或.fbx檔案）。
5. 編輯和優化： 透過在腳本中提供特定參數來利用進階編輯功能。例如，要使用動作補間，您需要提供開始和結束的姿勢。對於關節控制，您需要為特定身體部位指定約束。
6. 整合到專案中： 將最終的動畫檔案匯入到您偏好的3D軟體（如Blender、Maya或Unity）中，用於電影、遊戲或其他創意專案。

EDGE的核心功能

• 音樂到舞蹈生成： 從音訊輸入自動創建全身3D舞蹈動畫，捕捉音樂的節奏和風格。
• 高保真動作： 利用基於Transformer的擴散模型，生成平滑、逼真且符合物理原理的動作，避免不自然的抖動或姿勢。
• 關節控制： 透過允許使用者指定單一關節的運動或位置，提供精細的控制，實現精確的藝術指導。
• 動作補間（In-betweening）： 在兩個使用者定義的關鍵姿勢之間生成無縫過渡，自動創建連接它們的自然動作。
• 舞蹈延續： 可以接收一個現有的舞蹈序列，並智能地生成一個在邏輯上遵循前面動作和音樂的延續部分。
• 進階音樂分析： 使用Jukebox特徵提取器，對輸入音樂實現深入而細緻的理解，確保音訊和動作之間的高度相關性。

EDGE的使用案例

EDGE是一款多功能工具，在各種創意和技術領域都有應用：

• 遊戲開發： 快速為遊戲世界填充由音樂驅動的動態跳舞NPC，用於活動、俱樂部或過場動畫。
• 電影製作與動畫： 透過生成可供動畫師進一步優化的基礎舞蹈編排，加速動畫製作流程，節省大量手動關鍵幀製作時間。
• 虛擬實境與元宇宙： 在虛擬音樂會、派對和社交空間中，使虛擬化身能夠隨著音樂逼真地跳舞，創造沉浸式體驗。
• 編舞與舞蹈教育： 允許編舞者透過在虛擬舞者身上看到新舞蹈創意的呈現效果，來構思和試驗新的舞蹈想法。
• 數位藝術與VJing： 為現場音樂表演、音樂錄影帶和互動藝術裝置生成獨特的視覺內容。

EDGE的優勢特點

• 卓越的品質： 在人類評估中表現優於以往的頂尖模型，提供更真實、更具美感的結果。
• 前所未有的可編輯性： 生成功能與強大編輯工具的結合，提供了大多數其他音樂到舞蹈系統所不具備的控制水平。
• 基於物理原理： 生成的動作遵循物理學和人體生物力學原理，確保其可信且貼近現實。
• 開放與可及性： 作為一個研究項目，其研究成果和程式碼通常是開源的，這促進了進一步的創新，並允許開發人員將其整合到自己的應用中。

定價和計劃

EDGE是一個研究項目，可免費使用。其原始碼、預訓練模型和文件託管在GitHub上，任何人都可以根據儲存庫中提供的特定許可證，將其用於非商業、研究或實驗目的。