Audiobox

Audiobox 是由 Meta 的 FAIR (基础人工智能研究) 团队开发的一款全新的音频生成基础研究模型。它代表了通过简单输入创造高质量、可控音频的重大飞跃。通过结合语音样本和自然语言文本提示，Audiobox 使任何人都能生成自定义语音、音效和完整的音频叙事，开启了广泛的创意可能性。

Audiobox 系列由几个基于共享自监督模型 Audiobox SSL 构建的专业模型组成。这包括用于统一语音和声音生成的 Audiobox、用于专业语音生成的 Audiobox Speech，以及用于专用音效创作的 Audiobox Sound。该平台以实验性研究演示的形式呈现，旨在展示其功能并鼓励在生成式音频领域的负责任探索。

如何使用 Audiobox

Audiobox 演示提供了一个直观的交互式界面，供用户体验其各种功能。一般工作流程涉及提供文本和/或音频输入的组合来指导 AI 模型。

1. 语音生成： 要创建语音，您可以录制自己的声音作为风格参考，或使用预设样本。然后，输入您希望模型朗读的文本。AI 会以参考音频的声乐风格生成语音。您还可以描述一种声音风格（例如，“深沉、洪亮的声音”）来创造全新的声音角色。
2. 音效生成： 只需输入您想创建的声音的描述（例如，“海浪拍打沙滩”或“一辆未来派汽车飞驰而过”）。模型将生成相应的音效。
3. 音频编辑： 您可以上传音频文件进行编辑。要去除不想要的噪音，请使用“魔术橡皮擦”功能。要替换音频片段，请使用“声音填充”，选择要替换的部分并描述您想插入的新声音。
4. 音频故事创作： “Audiobox Maker” 结合了所有这些功能，允许您通过在时间轴上生成和排列不同的语音片段和音效，构建一个多层次的音频故事。

Audiobox 的核心功能

• 统一音频生成： 单一模型能够生成复杂的语音和各种各样的音效。
• 声音克隆与风格化 (Your Voice)： 高保真地生成模仿任何给定音频样本声乐风格的语音。
• 描述性语音生成 (Described Voices)： 仅通过文本描述创建新颖的声音风格，无需音频样本。
• 语音风格迁移 (Restyled Voices)： 使用文本提示修改现有录音的风格（例如，使其听起来更兴奋或更低语）。
• 文本到音效生成： 从描述性文本提示生成逼真且富有想象力的音效。
• 高级音频编辑： 包括一个“魔术橡皮擦”以去除不需要的声音（如录音中的噪音），以及“声音填充”以在音频剪辑中无缝替换或添加声音。
• 负责任的 AI 护栏： 实施安全功能，如音频水印以追踪生成内容和提示过滤以防止滥用。

Audiobox 的使用案例

Audiobox 的多功能性使其适用于广泛的应用：

• 内容创作者和播客： 快速生成自定义音效、介绍音乐，甚至克隆自己的声音用于广告配音或修正，而无需重新录制。
• 游戏开发者： 为沉浸式游戏体验创造独特的角色声音、环境音景和动态音效。
• 动画师和电影制作人： 直接从剧本或描述中制作丰富的音轨，包括对话、拟音和背景声。
• 教育工作者和故事讲述者： 开发具有鲜明角色声音和说明性声音的引人入胜的音频故事和教育内容。
• AI 研究人员： 探索生成式音频、AI 公平性和负责任模型开发的前沿。

Audiobox 的优势特点

Audiobox 以其全面和负责任的音频生成方法脱颖而出：

• 高度可控性： 结合语音和文本提示的能力使用户能够精确控制最终的音频输出。
• 一体化平台： 集成生成和编辑工具，简化了从创意到成品音频的创作流程。
• 顶尖技术质量： 基于 Meta 的前沿研究，生成高度逼真和细腻的音频。
• 致力于安全： 主动采取水印和内容过滤等措施，展示了对负责任 AI 开发和部署的承诺。
• 易于使用： 直观的网页演示使先进的 AI 音频技术能够为广大受众所用，而不仅仅是技术专家。

定价和计划

Audiobox 目前作为一个实验性研究演示提供，仅用于教育和非商业目的。它不是一个商业产品。因此，访问该演示是免费的。Meta 还为有兴趣使用该模型进行安全和责任研究的研究人员提供研究资助。