EDGE

EDGE（Editable Dance Generation from Music）は、音楽と動きの間のギャップを埋めるために設計された最先端のAIシステムです。与えられた任意の音楽に忠実に同期した、高品質でリアル、かつ物理的に妥当なダンスシーケンスを生成する強力な手法を導入しています。以前のモデルとは異なり、EDGEは洗練されたトランスフォーマーベースの拡散モデル上に構築されており、堅牢な音楽特徴抽出器であるJukeboxとペアになっています。この組み合わせにより、リズム、メロディ、ムードといった音楽トラックのニュアンスを深く理解し、それらを流動的で表現力豊かなダンスの動きに変換することができます。

EDGEの主要な革新はその編集可能性にあります。単純な生成を超えて、クリエイターに強力な編集ツール一式を提供します。これにより、ユーザーは生成されたアニメーションを微調整し、特定のクリエイティブなビジョンに合わせてカスタマイズすることができます。このモデルは、BailandoやFACTといった他の主要な手法と比較して厳密にテストされており、人間の評価者は、その優れたリアリズムと音楽性を理由に、EDGEによって生成されたダンスを一貫して強く支持しています。

EDGEの使い方

研究プロジェクトとして、EDGEの使用は通常、GitHubリポジトリのソースコードとの対話を伴います。開発者やアニメーターの一般的なワークフローは次のとおりです：

1. 環境設定： GitHubからEDGEリポジトリをクローンします。Python、PyTorch、その他の指定されたライブラリを含む、必要なすべての依存関係をインストールします。
2. モデルのダウンロード： 研究者が提供する事前学習済みモデルをダウンロードします。これには、主要な拡散モデルとJukebox特徴抽出器が含まれます。
3. 入力の準備： ダンスを生成したいオーディオファイル（例：.wavまたは.mp3形式）を選択します。
4. ダンスの生成： コマンドライン経由で生成スクリプトを実行し、入力音楽ファイルを指定します。モデルはオーディオを処理し、その特徴を抽出し、対応する3Dダンスシーケンス（多くの場合.bvhまたは.fbxファイル）を生成します。
5. 編集と調整： スクリプトで特定のパラメータを提供することにより、高度な編集機能を利用します。たとえば、モーションの補間を使用するには、開始ポーズと終了ポーズを提供します。関節ごとの条件付けには、特定の身体部位の制約を指定します。
6. プロジェクトへの統合： 最終的なアニメーションファイルを、Blender、Maya、Unityなどのお好みの3Dソフトウェアにインポートし、映画、ゲーム、その他のクリエイティブプロジェクトで使用します。

EDGEの主な機能

• 音楽からダンスへの生成： オーディオ入力から全身の3Dダンスアニメーションを自動的に作成し、音楽のリズムとスタイルを捉えます。
• 高忠実度のモーション： トランスフォーマーベースの拡散モデルを活用して、不自然な揺れやポーズを避け、滑らかでリアル、かつ物理的に妥当な動きを生成します。
• 関節ごとの条件付け： ユーザーが個々の関節の動きや位置を指定できるようにすることで、きめ細かな制御を提供し、正確な芸術的指示を可能にします。
• モーションの補間（In-betweening）： ユーザーが定義した2つのキーポーズ間にシームレスなトランジションを生成し、それらを自然な方法でつなぐ動きを自動的に作成します。
• ダンスの継続： 既存のダンスシーケンスを受け取り、先行する動きと音楽に論理的に続く継続部分をインテリジェントに生成できます。
• 高度な音楽分析： Jukebox特徴抽出器を使用して、入力音楽の深く微妙な理解を達成し、オーディオとモーションの間の強い相関を保証します。

EDGEの使用例

EDGEは、さまざまなクリエイティブおよび技術分野で応用できる多目的なツールです：

• ゲーム開発： イベント、クラブ、シネマティックシーケンスのために、音楽主導のダイナミックなダンスをするNPCでゲーム世界を迅速に満たします。
• 映画制作とアニメーション： アニメーターがさらに洗練できるベースラインのダンス振付を生成することで、アニメーションパイプラインを加速し、手動のキーフレーム作成にかかる時間を大幅に節約します。
• バーチャルリアリティとメタバース： バーチャルコンサート、パーティー、ソーシャルスペースでアバターが音楽に合わせてリアルに踊れるようにすることで、没入感のある体験を創造します。
• 振付とダンス教育： 振付師が新しいダンスのアイデアを仮想ダンサーでどのように見えるかを確認することで、視覚化し実験することを可能にします。
• デジタルアートとVJing： ライブ音楽パフォーマンス、ミュージックビデオ、インタラクティブアートインスタレーションのためのユニークなビジュアルコンテンツを生成します。

EDGEの利点

• 優れた品質： 人間の評価において、以前の最先端モデルを上回り、よりリアルで美的に優れた結果を提供します。
• 前例のない編集可能性： 生成と強力な編集ツールの組み合わせは、他のほとんどの音楽からダンスへのシステムには見られないレベルの制御を提供します。
• 物理的に基づく： 生成された動きは物理学と人間の生体力学の原則を遵守し、それらが信憑性があり現実に根ざしていることを保証します。
• オープンでアクセス可能： 研究プロジェクトとして、その発見とコードは通常オープンソースであり、さらなる革新を促進し、開発者が自身のアプリケーションに統合できるようにします。

料金プラン

EDGEは研究プロジェクトであり、無料で利用できます。ソースコード、事前学習済みモデル、ドキュメントはGitHubでホストされており、リポジトリで提供される特定のライセンスに従って、誰でも非商用、研究、または実験目的でアクセスできます。