EDGE

EDGE，全称为“可编辑的音乐舞蹈生成”，是一个旨在弥合音乐与动作之间鸿沟的尖端人工智能系统。它引入了一种强大的方法，可以生成高质量、逼真且符合物理原理的舞蹈序列，并忠实地与任何给定的音乐片段同步。与以往的模型不同，EDGE建立在一个复杂的基于Transformer的扩散模型之上，并与强大的音乐特征提取器Jukebox相结合。这种组合使其能够深入理解音乐曲目的细微差别——包括其节奏、旋律和情绪——并将它们转化为流畅、富有表现力的舞蹈动作。

EDGE的关键创新在于其可编辑性。它超越了简单的生成功能，为创作者提供了一套强大的编辑工具。这使用户能够微调和定制生成的动画，以适应其特定的创意构想。该模型经过了严格的测试，并与Bailando和FACT等其他领先方法进行了比较，人类评估者一致表示，他们更偏爱由EDGE生成的舞蹈，认为其具有卓越的真实感和音乐性。

如何使用EDGE

作为一个研究项目，使用EDGE通常需要通过其GitHub仓库与源代码进行交互。对于开发人员或动画师来说，一般的工作流程如下：

1. 设置环境： 从GitHub克隆EDGE的仓库。安装所有必需的依赖项，包括Python、PyTorch和其他指定的库。
2. 下载模型： 下载研究人员提供的预训练模型。这包括主扩散模型和Jukebox特征提取器。
3. 准备输入： 选择一个您想要为其生成舞蹈的音频文件（例如.wav或.mp3格式）。
4. 生成舞蹈： 通过命令行运行生成脚本，并指向您的输入音乐文件。模型将处理音频，提取其特征，并生成相应的3D舞蹈序列（通常为.bvh或.fbx文件）。
5. 编辑和优化： 通过在脚本中提供特定参数来利用高级编辑功能。例如，要使用动作补间，您需要提供开始和结束的姿势。对于关节控制，您需要为特定身体部位指定约束。
6. 集成到项目中： 将最终的动画文件导入到您偏好的3D软件（如Blender、Maya或Unity）中，用于电影、游戏或其他创意项目。

EDGE的核心功能

• 音乐到舞蹈生成： 从音频输入自动创建全身3D舞蹈动画，捕捉音乐的节奏和风格。
• 高保真动作： 利用基于Transformer的扩散模型，生成平滑、逼真且符合物理原理的动作，避免不自然的抖动或姿势。
• 关节控制： 通过允许用户指定单个关节的运动或位置，提供精细的控制，实现精确的艺术指导。
• 动作补间（In-betweening）： 在两个用户定义的关键姿势之间生成无缝过渡，自动创建连接它们的自然动作。
• 舞蹈延续： 可以接收一个现有的舞蹈序列，并智能地生成一个在逻辑上遵循前面动作和音乐的延续部分。
• 高级音乐分析： 使用Jukebox特征提取器，对输入音乐实现深入而细致的理解，确保音频和动作之间的高度相关性。

EDGE的使用案例

EDGE是一款多功能工具，在各种创意和技术领域都有应用：

• 游戏开发： 快速为游戏世界填充由音乐驱动的动态跳舞NPC，用于活动、俱乐部或过场动画。
• 电影制作与动画： 通过生成可供动画师进一步优化的基础舞蹈编排，加速动画制作流程，节省大量手动关键帧制作时间。
• -虚拟现实与元宇宙： 在虚拟音乐会、派对和社交空间中，使虚拟化身能够随着音乐逼真地跳舞，创造沉浸式体验。
• 编舞与舞蹈教育： 允许编舞者通过在虚拟舞者身上看到新舞蹈创意的呈现效果，来构思和试验新的舞蹈想法。
• 数字艺术与VJing： 为现场音乐表演、音乐视频和互动艺术装置生成独特的视觉内容。

EDGE的优势特点

• 卓越的质量： 在人类评估中表现优于以往的顶尖模型，提供更真实、更具美感的结果。
• 前所未有的可编辑性： 生成功能与强大编辑工具的结合，提供了大多数其他音乐到舞蹈系统所不具备的控制水平。
• 基于物理原理： 生成的动作遵循物理学和人体生物力学原理，确保其可信且贴近现实。
• 开放与可访问： 作为一个研究项目，其研究成果和代码通常是开源的，这促进了进一步的创新，并允许开发人员将其集成到自己的应用中。

定价和计划

EDGE是一个研究项目，可免费使用。其源代码、预训练模型和文档托管在GitHub上，任何人都可以根据仓库中提供的特定许可证，将其用于非商业、研究或实验目的。