Audiobox

Audiobox es un nuevo modelo de investigación fundamental para la generación de audio desarrollado por el equipo FAIR (Fundamental AI Research) de Meta. Representa un avance significativo en la creación de audio de alta calidad y controlable a partir de entradas simples. Usando una combinación de muestras de voz y prompts de texto en lenguaje natural, Audiobox permite a cualquiera generar voces personalizadas, efectos de sonido y narrativas de audio completas, abriendo una amplia gama de posibilidades creativas.

La familia Audiobox consta de varios modelos especializados construidos sobre un modelo auto-supervisado compartido llamado Audiobox SSL. Esto incluye Audiobox para la generación unificada de voz y sonido, Audiobox Speech para la generación de voz especializada, y Audiobox Sound para la creación dedicada de efectos de sonido. La plataforma se presenta como una demostración de investigación experimental, diseñada para mostrar sus capacidades y fomentar la exploración responsable en el campo del audio generativo.

Cómo usar Audiobox

La demostración de Audiobox proporciona una interfaz intuitiva e interactiva para que los usuarios experimenten con sus diversas funciones. El flujo de trabajo general implica proporcionar una combinación de entradas de texto y/o audio para guiar al modelo de IA.

1. Generación de Voz: Para crear habla, puedes grabar tu propia voz como referencia de estilo o usar una muestra preestablecida. Luego, ingresas el texto que quieres que el modelo diga. La IA genera el habla en el estilo vocal del audio de referencia. También puedes describir un estilo de voz (p. ej., "una voz profunda y resonante") para crear personajes vocales completamente nuevos.
2. Generación de Efectos de Sonido: Simplemente escribe una descripción del sonido que quieres crear (p. ej., "olas rompiendo en una playa de arena" o "un coche futurista pasando a toda velocidad"). El modelo generará el efecto de sonido correspondiente.
3. Edición de Audio: Para editar, puedes subir un archivo de audio. Para eliminar ruido no deseado, usa la función 'Borrador Mágico'. Para reemplazar un segmento de audio, usa 'Relleno de Sonido' seleccionando la porción a reemplazar y describiendo el nuevo sonido que quieres insertar.
4. Creación de Historias de Audio: El 'Audiobox Maker' combina todas estas capacidades, permitiéndote construir una historia de audio multicapa generando y organizando diferentes clips de voz y efectos de sonido en una línea de tiempo.

Características principales de Audiobox

• Generación de Audio Unificada: Un único modelo capaz de generar tanto habla compleja como una amplia variedad de efectos de sonido.
• Clonación y Estilizado de Voz (Tu Voz): Genera habla que imita el estilo vocal de cualquier muestra de audio proporcionada con alta fidelidad.
• Generación de Voz Descriptiva (Voces Descritas): Crea nuevos estilos de voz a partir de descripciones puramente textuales, sin necesidad de una muestra de audio.
• Transferencia de Estilo de Voz (Voces Reestilizadas): Modifica el estilo de una grabación de voz existente usando un prompt de texto (p. ej., hacer que suene más emocionado o susurrante).
• Generación de Efectos de Sonido a partir de Texto: Genera efectos de sonido realistas e imaginativos a partir de prompts de texto descriptivos.
• Edición de Audio Avanzada: Incluye un 'Borrador Mágico' para eliminar sonidos no deseados (como ruido de una grabación) y 'Relleno de Sonido' para reemplazar o añadir sonidos de forma fluida dentro de un clip de audio.
• Salvaguardias de IA Responsable: Implementa características de seguridad como marcas de agua de audio para rastrear el contenido generado y filtrado de prompts para prevenir el mal uso.

Casos de uso para Audiobox

Las versátiles capacidades de Audiobox lo hacen adecuado para una amplia gama de aplicaciones:

• Creadores de Contenido y Podcasters: Generar rápidamente efectos de sonido personalizados, música de introducción, o incluso clonar su propia voz para locuciones de anuncios o correcciones sin tener que volver a grabar.
• Desarrolladores de Videojuegos: Crear voces de personajes únicas, paisajes sonoros ambientales y efectos de sonido dinámicos para experiencias de juego inmersivas.
• Animadores y Cineastas: Producir pistas de audio ricas, incluyendo diálogos, foley y sonidos de fondo, directamente desde un guion o descripción.
• Educadores y Narradores: Desarrollar historias de audio atractivas y contenido educativo con voces de personajes distintas y sonidos ilustrativos.
• Investigadores de IA: Explorar las fronteras del audio generativo, la equidad en la IA y el desarrollo de modelos responsables.

Ventajas de Audiobox

Audiobox se destaca por su enfoque integral y responsable de la generación de audio:

• Alta Controlabilidad: La capacidad de combinar prompts de voz y texto otorga a los usuarios un control preciso sobre la salida de audio final.
• Plataforma Todo en Uno: Integra herramientas de generación y edición, agilizando el flujo de trabajo creativo desde la idea hasta el audio finalizado.
• Calidad de Vanguardia: Construido sobre la investigación de punta de Meta, produce audio altamente realista y matizado.
• Compromiso con la Seguridad: Medidas proactivas como las marcas de agua y el filtrado de contenido demuestran un compromiso con el desarrollo y despliegue responsable de la IA.
• Accesibilidad: La demo web intuitiva hace que la tecnología avanzada de audio de IA sea accesible para una amplia audiencia, no solo para expertos técnicos.

Precios y planes

Audiobox está actualmente disponible como una demostración de investigación experimental solo para fines educativos y no comerciales. No es un producto comercial. Como tal, el acceso a la demostración es gratuito. Meta también ofrece subvenciones de investigación para aquellos interesados en realizar investigaciones sobre seguridad y responsabilidad con el modelo.