Audiobox

Audiobox 是由 Meta 的 FAIR (基礎人工智能研究) 團隊開發的一款全新的音訊生成基礎研究模型。它代表了透過簡單輸入創造高品質、可控音訊的重大飛躍。透過結合語音樣本和自然語言文字提示，Audiobox 使任何人都能生成自訂語音、音效和完整的音訊敘事，開啟了廣泛的創意可能性。

Audiobox 系列由幾個基於共享自監督模型 Audiobox SSL 建構的專業模型組成。這包括用於統一語音和聲音生成的 Audiobox、用於專業語音生成的 Audiobox Speech，以及用於專用音效創作的 Audiobox Sound。該平台以實驗性研究演示的形式呈現，旨在展示其功能並鼓勵在生成式音訊領域的負責任探索。

如何使用 Audiobox

Audiobox 演示提供了一個直觀的互動式介面，供使用者體驗其各種功能。一般工作流程涉及提供文字和/或音訊輸入的組合來指導 AI 模型。

1. 語音生成： 要創建語音，您可以錄製自己的聲音作為風格參考，或使用預設樣本。然後，輸入您希望模型朗讀的文字。AI 會以參考音訊的聲樂風格生成語音。您還可以描述一種聲音風格（例如，「深沉、洪亮的聲音」）來創造全新的聲音角色。
2. 音效生成： 只需輸入您想創建的聲音的描述（例如，「海浪拍打沙灘」或「一輛未來派汽車飛馳而過」）。模型將生成相應的音效。
3. 音訊編輯： 您可以上傳音訊檔案進行編輯。要去除不想要的噪音，請使用「魔術橡皮擦」功能。要替換音訊片段，請使用「聲音填充」，選擇要替換的部分並描述您想插入的新聲音。
4. 音訊故事創作： 「Audiobox Maker」 結合了所有這些功能，允許您透過在時間軸上生成和排列不同的語音片段和音效，建構一個多層次的音訊故事。

Audiobox 的核心功能

• 統一音訊生成： 單一模型能夠生成複雜的語音和各種各樣的音效。
• 聲音克隆與風格化 (Your Voice)： 高保真地生成模仿任何給定音訊樣本聲樂風格的語音。
• 描述性語音生成 (Described Voices)： 僅透過文字描述創建新穎的聲音風格，無需音訊樣本。
• 語音風格遷移 (Restyled Voices)： 使用文字提示修改現有錄音的風格（例如，使其聽起來更興奮或更低語）。
• 文字到音效生成： 從描述性文字提示生成逼真且富有想像力的音效。
• 進階音訊編輯： 包括一個「魔術橡皮擦」以去除不需要的聲音（如錄音中的噪音），以及「聲音填充」以在音訊剪輯中無縫替換或添加聲音。
• 負責任的 AI 護欄： 實施安全功能，如音訊浮水印以追蹤生成內容和提示過濾以防止濫用。

Audiobox 的使用案例

Audiobox 的多功能性使其適用於廣泛的應用：

• 內容創作者和播客： 快速生成自訂音效、介紹音樂，甚至克隆自己的聲音用於廣告配音或修正，而無需重新錄製。
• 遊戲開發者： 為沉浸式遊戲體驗創造獨特的角色聲音、環境音景和動態音效。
• 動畫師和電影製作人： 直接從劇本或描述中製作豐富的音軌，包括對話、擬音和背景聲。
• 教育工作者和故事講述者： 開發具有鮮明角色聲音和說明性聲音的引人入勝的音訊故事和教育內容。
• AI 研究人員： 探索生成式音訊、AI 公平性和負責任模型開發的前沿。

Audiobox 的優勢特點

Audiobox 以其全面和負責任的音訊生成方法脫穎而出：

• 高度可控性： 結合語音和文字提示的能力讓使用者能夠精確控制最終的音訊輸出。
• 一體化平台： 整合生成和編輯工具，簡化了從創意到成品音訊的創作流程。
• 頂尖技術品質： 基於 Meta 的前沿研究，生成高度逼真和細膩的音訊。
• 致力於安全： 主動採取浮水印和內容過濾等措施，展示了對負責任 AI 開發和部署的承諾。
• 易於使用： 直觀的網頁演示使先進的 AI 音訊技術能夠為廣大受眾所用，而不僅僅是技術專家。

定價和計劃

Audiobox 目前作為一個實驗性研究演示提供，僅用於教育和非商業目的。它不是一個商業產品。因此，存取該演示是免費的。Meta 還為有興趣使用該模型進行安全和責任研究的研究人員提供研究資助。