EDGE

EDGE, viết tắt của Editable Dance Generation from Music, là một hệ thống AI tiên tiến được thiết kế để thu hẹp khoảng cách giữa âm nhạc và chuyển động. Nó giới thiệu một phương pháp mạnh mẽ để tạo ra các chuỗi khiêu vũ chất lượng cao, thực tế và hợp lý về mặt vật lý, được đồng bộ hóa một cách trung thực với bất kỳ bản nhạc nào. Không giống như các mô hình trước đây, EDGE được xây dựng trên một mô hình khuếch tán dựa trên transformer phức tạp, kết hợp với Jukebox, một công cụ trích xuất đặc trưng âm nhạc mạnh mẽ. Sự kết hợp này cho phép nó hiểu sâu sắc các sắc thái của một bản nhạc—nhịp điệu, giai điệu và tâm trạng—và chuyển chúng thành các chuyển động khiêu vũ uyển chuyển, biểu cảm.

Sự đổi mới chính của EDGE nằm ở khả năng chỉnh sửa của nó. Nó vượt ra ngoài việc tạo ra đơn thuần để cung cấp cho người sáng tạo một bộ công cụ chỉnh sửa mạnh mẽ. Điều này cho phép người dùng tinh chỉnh và tùy chỉnh các hoạt ảnh được tạo ra để phù hợp với tầm nhìn sáng tạo cụ thể của họ. Mô hình đã được kiểm tra nghiêm ngặt và so sánh với các phương pháp hàng đầu khác như Bailando và FACT, với những người đánh giá là con người luôn thể hiện sự ưa thích mạnh mẽ đối với các điệu nhảy do EDGE tạo ra, trích dẫn tính chân thực và âm nhạc vượt trội của chúng.

Cách sử dụng EDGE

Là một dự án nghiên cứu, việc sử dụng EDGE thường liên quan đến việc tương tác với mã nguồn của nó từ kho lưu trữ GitHub. Quy trình làm việc chung cho một nhà phát triển hoặc họa sĩ hoạt hình sẽ là:

1. Thiết lập Môi trường: Sao chép kho lưu trữ EDGE từ GitHub. Cài đặt tất cả các phụ thuộc cần thiết, bao gồm Python, PyTorch và các thư viện được chỉ định khác.
2. Tải xuống Mô hình: Tải xuống các mô hình đã được đào tạo trước do các nhà nghiên cứu cung cấp. Điều này bao gồm mô hình khuếch tán chính và công cụ trích xuất đặc trưng Jukebox.
3. Chuẩn bị Đầu vào: Chọn một tệp âm thanh (ví dụ: ở định dạng .wav hoặc .mp3) mà bạn muốn tạo điệu nhảy.
4. Tạo Điệu nhảy: Chạy tập lệnh tạo thông qua dòng lệnh, trỏ đến tệp nhạc đầu vào của bạn. Mô hình sẽ xử lý âm thanh, trích xuất các đặc trưng của nó và tạo ra một chuỗi khiêu vũ 3D tương ứng (thường là tệp .bvh hoặc .fbx).
5. Chỉnh sửa và Tinh chỉnh: Sử dụng các tính năng chỉnh sửa nâng cao bằng cách cung cấp các tham số cụ thể trong tập lệnh. Ví dụ, để sử dụng tính năng nội suy chuyển động, bạn sẽ cung cấp các tư thế bắt đầu và kết thúc. Đối với điều kiện hóa theo khớp, bạn sẽ chỉ định các ràng buộc cho các bộ phận cơ thể nhất định.
6. Tích hợp vào Dự án: Nhập tệp hoạt ảnh cuối cùng vào phần mềm 3D ưa thích của bạn (như Blender, Maya hoặc Unity) để sử dụng trong phim, trò chơi hoặc các dự án sáng tạo khác.

Tính năng chính của EDGE

• Tạo điệu nhảy từ Âm nhạc: Tự động tạo hoạt ảnh khiêu vũ 3D toàn thân từ đầu vào âm thanh, nắm bắt nhịp điệu và phong cách của âm nhạc.
• Chuyển động có độ trung thực cao: Tận dụng mô hình khuếch tán dựa trên transformer để tạo ra các chuyển động mượt mà, thực tế và hợp lý về mặt vật lý, tránh các cú giật hoặc tư thế không tự nhiên.
• Điều kiện hóa theo khớp: Cung cấp khả năng kiểm soát chi tiết bằng cách cho phép người dùng chỉ định chuyển động hoặc vị trí của các khớp riêng lẻ, cho phép chỉ đạo nghệ thuật chính xác.
• Nội suy chuyển động (In-betweening): Tạo ra các chuyển tiếp liền mạch giữa hai tư thế chính do người dùng xác định, tự động tạo ra chuyển động kết nối chúng một cách tự nhiên.
• Tiếp nối điệu nhảy: Có thể lấy một chuỗi khiêu vũ hiện có và tạo ra một phần tiếp theo một cách thông minh, tuân theo một cách hợp lý các chuyển động và âm nhạc trước đó.
• Phân tích Âm nhạc Nâng cao: Sử dụng công cụ trích xuất đặc trưng Jukebox để đạt được sự hiểu biết sâu sắc và tinh tế về âm nhạc đầu vào, đảm bảo mối tương quan chặt chẽ giữa âm thanh và chuyển động.

Các trường hợp sử dụng EDGE

EDGE là một công cụ đa năng với các ứng dụng trong nhiều lĩnh vực sáng tạo và kỹ thuật khác nhau:

• Phát triển trò chơi: Nhanh chóng lấp đầy thế giới trò chơi bằng các NPC nhảy múa năng động, theo nhạc cho các sự kiện, câu lạc bộ hoặc các đoạn phim cắt cảnh.
• Làm phim và Hoạt hình: Tăng tốc quy trình hoạt hình bằng cách tạo ra các vũ đạo cơ bản có thể được các họa sĩ hoạt hình tinh chỉnh thêm, tiết kiệm thời gian đáng kể cho việc tạo khung hình chính thủ công.
• Thực tế ảo và Metaverse: Tạo ra trải nghiệm nhập vai bằng cách cho phép các avatar nhảy múa một cách thực tế theo nhạc trong các buổi hòa nhạc ảo, bữa tiệc và không gian xã hội.
• Biên đạo và Giáo dục Khiêu vũ: Cho phép các nhà biên đạo múa hình dung và thử nghiệm các ý tưởng khiêu vũ mới bằng cách xem chúng có thể trông như thế nào trên một vũ công ảo.
• Nghệ thuật số và VJing: Tạo nội dung hình ảnh độc đáo cho các buổi biểu diễn âm nhạc trực tiếp, video âm nhạc và các tác phẩm nghệ thuật tương tác.

Ưu điểm của EDGE

• Chất lượng vượt trội: Vượt trội hơn các mô hình tiên tiến trước đây trong các đánh giá của con người, mang lại kết quả thực tế và thẩm mỹ hơn.
• Khả năng chỉnh sửa chưa từng có: Sự kết hợp giữa việc tạo ra và các công cụ chỉnh sửa mạnh mẽ cung cấp một mức độ kiểm soát không có ở hầu hết các hệ thống chuyển đổi từ âm nhạc sang khiêu vũ khác.
• Dựa trên Vật lý: Các chuyển động được tạo ra tuân thủ các nguyên tắc vật lý và cơ sinh học của con người, đảm bảo chúng đáng tin cậy và có cơ sở thực tế.
• Mở và Dễ tiếp cận: Là một dự án nghiên cứu, các phát hiện và mã nguồn của nó thường là mã nguồn mở, thúc đẩy sự đổi mới hơn nữa và cho phép các nhà phát triển tích hợp nó vào các ứng dụng của riêng họ.

Giá cả và gói dịch vụ

EDGE là một dự án nghiên cứu và có sẵn miễn phí. Mã nguồn, các mô hình đã được đào tạo trước và tài liệu được lưu trữ trên GitHub, giúp mọi người có thể truy cập để sử dụng cho mục đích phi thương mại, nghiên cứu hoặc thử nghiệm, tuân theo giấy phép cụ thể được cung cấp trong kho lưu trữ.