Audiobox

Audiobox là một mô hình nghiên cứu nền tảng mới để tạo âm thanh do nhóm FAIR (Nghiên cứu Trí tuệ Nhân tạo Cơ bản) của Meta phát triển. Nó đại diện cho một bước tiến đáng kể trong việc tạo ra âm thanh chất lượng cao, có thể kiểm soát từ các đầu vào đơn giản. Bằng cách sử dụng kết hợp các mẫu giọng nói và câu lệnh văn bản ngôn ngữ tự nhiên, Audiobox trao quyền cho bất kỳ ai tạo ra giọng nói tùy chỉnh, hiệu ứng âm thanh và các câu chuyện âm thanh hoàn chỉnh, mở ra một loạt các khả năng sáng tạo.

Họ Audiobox bao gồm một số mô hình chuyên biệt được xây dựng trên một mô hình tự giám sát chung có tên là Audiobox SSL. Điều này bao gồm Audiobox để tạo giọng nói và âm thanh thống nhất, Audiobox Speech để tạo giọng nói chuyên biệt, và Audiobox Sound để tạo hiệu ứng âm thanh chuyên dụng. Nền tảng này được trình bày dưới dạng một bản demo nghiên cứu thử nghiệm, được thiết kế để giới thiệu các khả năng của nó và khuyến khích sự khám phá có trách nhiệm trong lĩnh vực âm thanh tạo sinh.

Cách sử dụng Audiobox

Bản demo Audiobox cung cấp một giao diện trực quan, tương tác để người dùng thử nghiệm các tính năng khác nhau của nó. Quy trình làm việc chung bao gồm việc cung cấp một sự kết hợp của các đầu vào văn bản và/hoặc âm thanh để hướng dẫn mô hình AI.

1. Tạo Giọng nói: Để tạo giọng nói, bạn có thể ghi âm giọng nói của chính mình làm tham chiếu phong cách hoặc sử dụng một mẫu có sẵn. Sau đó, bạn nhập văn bản bạn muốn mô hình nói. AI sẽ tạo ra giọng nói theo phong cách thanh nhạc của âm thanh tham chiếu. Bạn cũng có thể mô tả một phong cách giọng nói (ví dụ: "một giọng nói trầm, vang") để tạo ra các nhân vật thanh nhạc hoàn toàn mới.
2. Tạo Hiệu ứng Âm thanh: Chỉ cần nhập mô tả về âm thanh bạn muốn tạo (ví dụ: "sóng vỗ vào bãi cát" hoặc "một chiếc xe tương lai lướt qua"). Mô hình sẽ tạo ra một hiệu ứng âm thanh tương ứng.
3. Chỉnh sửa Âm thanh: Để chỉnh sửa, bạn có thể tải lên một tệp âm thanh. Để loại bỏ tiếng ồn không mong muốn, hãy sử dụng tính năng 'Cục tẩy Thần kỳ'. Để thay thế một đoạn âm thanh, hãy sử dụng 'Điền âm' bằng cách chọn phần cần thay thế và mô tả âm thanh mới bạn muốn chèn vào.
4. Tạo Câu chuyện Âm thanh: 'Audiobox Maker' kết hợp tất cả các khả năng này, cho phép bạn xây dựng một câu chuyện âm thanh đa lớp bằng cách tạo và sắp xếp các đoạn giọng nói và hiệu ứng âm thanh khác nhau trên một dòng thời gian.

Tính năng chính của Audiobox

• Tạo Âm thanh Thống nhất: Một mô hình duy nhất có khả năng tạo ra cả giọng nói phức tạp và một loạt các hiệu ứng âm thanh đa dạng.
• Nhân bản và Tạo kiểu Giọng nói (Giọng của bạn): Tạo ra giọng nói bắt chước phong cách thanh nhạc của bất kỳ mẫu âm thanh nào được cung cấp với độ trung thực cao.
• Tạo Giọng nói Mô tả (Giọng nói được Mô tả): Tạo ra các phong cách giọng nói mới lạ hoàn toàn từ các mô tả văn bản, mà không cần mẫu âm thanh.
• Chuyển đổi Phong cách Giọng nói (Giọng nói được Tạo kiểu lại): Sửa đổi phong cách của một bản ghi âm giọng nói hiện có bằng cách sử dụng một câu lệnh văn bản (ví dụ: làm cho nó nghe có vẻ phấn khích hơn hoặc thì thầm).
• Tạo Hiệu ứng Âm thanh từ Văn bản: Tạo ra các hiệu ứng âm thanh thực tế và giàu trí tưởng tượng từ các câu lệnh văn bản mô tả.
• Chỉnh sửa Âm thanh Nâng cao: Bao gồm một 'Cục tẩy Thần kỳ' để loại bỏ các âm thanh không mong muốn (như tiếng ồn từ bản ghi) và 'Điền âm' để thay thế hoặc thêm âm thanh một cách liền mạch trong một đoạn âm thanh.
• Rào cản AI có Trách nhiệm: Thực hiện các tính năng an toàn như đóng dấu thủy âm thanh để theo dõi nội dung được tạo ra và lọc câu lệnh để ngăn chặn việc lạm dụng.

Các trường hợp sử dụng Audiobox

Khả năng linh hoạt của Audiobox làm cho nó phù hợp với một loạt các ứng dụng:

• Người sáng tạo Nội dung & Podcaster: Nhanh chóng tạo hiệu ứng âm thanh tùy chỉnh, nhạc giới thiệu, hoặc thậm chí nhân bản giọng nói của chính họ để đọc quảng cáo hoặc sửa lỗi mà không cần ghi âm lại.
• Nhà phát triển Game: Tạo ra giọng nói nhân vật độc đáo, cảnh quan âm thanh môi trường và hiệu ứng âm thanh động cho trải nghiệm chơi game nhập vai.
• Nhà làm phim hoạt hình & Nhà làm phim: Sản xuất các bản âm thanh phong phú, bao gồm đối thoại, âm thanh giả (foley) và âm thanh nền, trực tiếp từ kịch bản hoặc mô tả.
• Nhà giáo dục & Người kể chuyện: Phát triển các câu chuyện âm thanh hấp dẫn và nội dung giáo dục với giọng nói nhân vật riêng biệt và âm thanh minh họa.
• Nhà nghiên cứu AI: Khám phá các giới hạn của âm thanh tạo sinh, sự công bằng trong AI và phát triển mô hình có trách nhiệm.

Ưu điểm của Audiobox

Audiobox nổi bật nhờ cách tiếp cận toàn diện và có trách nhiệm đối với việc tạo âm thanh:

• Khả năng kiểm soát cao: Khả năng kết hợp các câu lệnh giọng nói và văn bản cho phép người dùng kiểm soát chính xác đầu ra âm thanh cuối cùng.
• Nền tảng Tất cả trong một: Tích hợp các công cụ tạo và chỉnh sửa, hợp lý hóa quy trình làm việc sáng tạo từ ý tưởng đến âm thanh hoàn chỉnh.
• Chất lượng Hàng đầu: Được xây dựng dựa trên nghiên cứu tiên tiến của Meta, nó tạo ra âm thanh rất thực tế và tinh tế.
• Cam kết về An toàn: Các biện pháp chủ động như đóng dấu thủy và lọc nội dung thể hiện cam kết phát triển và triển khai AI có trách nhiệm.
• Khả năng tiếp cận: Bản demo web trực quan giúp công nghệ âm thanh AI tiên tiến có thể tiếp cận được với nhiều đối tượng, không chỉ các chuyên gia kỹ thuật.

Giá cả và gói dịch vụ

Audiobox hiện có sẵn dưới dạng một bản demo nghiên cứu thử nghiệm chỉ dành cho mục đích giáo dục và phi thương mại. Nó không phải là một sản phẩm thương mại. Do đó, quyền truy cập vào bản demo là miễn phí. Meta cũng đang cung cấp các khoản tài trợ nghiên cứu cho những người quan tâm đến việc tiến hành nghiên cứu về an toàn và trách nhiệm với mô hình này.