Audiobox

Audiobox é um novo modelo de pesquisa fundamental para geração de áudio desenvolvido pela equipe FAIR (Fundamental AI Research) da Meta. Ele representa um avanço significativo na criação de áudio de alta qualidade e controlável a partir de entradas simples. Usando uma combinação de amostras de voz e prompts de texto em linguagem natural, o Audiobox capacita qualquer pessoa a gerar vozes personalizadas, efeitos sonoros e narrativas de áudio completas, abrindo uma vasta gama de possibilidades criativas.

A família Audiobox consiste em vários modelos especializados construídos sobre um modelo auto-supervisionado compartilhado chamado Audiobox SSL. Isso inclui o Audiobox para geração unificada de fala e som, o Audiobox Speech para geração de voz especializada e o Audiobox Sound para criação dedicada de efeitos sonoros. A plataforma é apresentada como uma demonstração de pesquisa experimental, projetada para mostrar suas capacidades e incentivar a exploração responsável no campo do áudio generativo.

Como usar o Audiobox

A demonstração do Audiobox oferece uma interface intuitiva e interativa para os usuários experimentarem seus vários recursos. O fluxo de trabalho geral envolve fornecer uma combinação de entradas de texto e/ou áudio para guiar o modelo de IA.

1. Geração de Voz: Para criar fala, você pode gravar sua própria voz como referência de estilo ou usar uma amostra predefinida. Em seguida, você insere o texto que deseja que o modelo fale. A IA gera a fala no estilo vocal do áudio de referência. Você também pode descrever um estilo de voz (por exemplo, "uma voz grave e retumbante") para criar personas vocais totalmente novas.
2. Geração de Efeitos Sonoros: Basta digitar uma descrição do som que você deseja criar (por exemplo, "ondas quebrando em uma praia de areia" ou "um carro futurista passando em alta velocidade"). O modelo gerará um efeito sonoro correspondente.
3. Edição de Áudio: Para edição, você pode carregar um arquivo de áudio. Para remover ruídos indesejados, use o recurso 'Borracha Mágica'. Para substituir um segmento de áudio, use o 'Preenchimento de Som' selecionando a parte a ser substituída e descrevendo o novo som que deseja inserir.
4. Criação de Histórias em Áudio: O 'Audiobox Maker' combina todas essas capacidades, permitindo que você construa uma história em áudio com várias camadas, gerando e organizando diferentes clipes de fala e efeitos sonoros em uma linha do tempo.

Recursos principais do Audiobox

• Geração de Áudio Unificada: Um único modelo capaz de gerar tanto fala complexa quanto uma ampla variedade de efeitos sonoros.
• Clonagem e Estilização de Voz (Sua Voz): Gere fala que imita o estilo vocal de qualquer amostra de áudio fornecida com alta fidelidade.
• Geração de Voz Descritiva (Vozes Descritas): Crie novos estilos de voz a partir de descrições puramente textuais, sem a necessidade de uma amostra de áudio.
• Transferência de Estilo de Voz (Vozes Reestilizadas): Modifique o estilo de uma gravação de fala existente usando um prompt de texto (por exemplo, faça soar mais animado ou sussurrado).
• Geração de Efeitos Sonoros a partir de Texto: Gere efeitos sonoros realistas e imaginativos a partir de prompts de texto descritivos.
• Edição de Áudio Avançada: Inclui uma 'Borracha Mágica' para remover sons indesejados (como ruído de uma gravação) e 'Preenchimento de Som' para substituir ou adicionar sons de forma transparente em um clipe de áudio.
• Mecanismos de Proteção de IA Responsável: Implementa recursos de segurança como marca d'água de áudio para rastrear conteúdo gerado e filtragem de prompts para prevenir o uso indevido.

Casos de uso para o Audiobox

As capacidades versáteis do Audiobox o tornam adequado para uma ampla gama de aplicações:

• Criadores de Conteúdo e Podcasters: Gerar rapidamente efeitos sonoros personalizados, música de introdução ou até mesmo clonar sua própria voz para leituras de anúncios ou correções sem precisar regravar.
• Desenvolvedores de Jogos: Criar vozes de personagens únicas, paisagens sonoras ambientes e efeitos sonoros dinâmicos para experiências de jogo imersivas.
• Animadores e Cineastas: Produzir trilhas de áudio ricas, incluindo diálogos, foley e sons de fundo, diretamente de um roteiro ou descrição.
• Educadores e Contadores de Histórias: Desenvolver histórias em áudio envolventes e conteúdo educacional com vozes de personagens distintas e sons ilustrativos.
• Pesquisadores de IA: Explorar as fronteiras do áudio generativo, justiça em IA e desenvolvimento de modelos responsáveis.

Vantagens do Audiobox

O Audiobox se destaca por sua abordagem abrangente e responsável à geração de áudio:

• Alta Controlabilidade: A capacidade de combinar prompts de voz e texto oferece aos usuários controle preciso sobre a saída de áudio final.
• Plataforma Tudo-em-Um: Integra ferramentas de geração e edição, otimizando o fluxo de trabalho criativo da ideia ao áudio finalizado.
• Qualidade de Ponta: Construído com base na pesquisa de vanguarda da Meta, produz áudio altamente realista e nuançado.
• Compromisso com a Segurança: Medidas proativas como marca d'água e filtragem de conteúdo demonstram um compromisso com o desenvolvimento e implantação responsáveis de IA.
• Acessibilidade: A demonstração web intuitiva torna a tecnologia avançada de áudio de IA acessível a um público amplo, não apenas a especialistas técnicos.

Preços e planos

O Audiobox está atualmente disponível como uma demonstração de pesquisa experimental apenas para fins educacionais e não comerciais. Não é um produto comercial. Como tal, o acesso à demonstração é gratuito. A Meta também está oferecendo bolsas de pesquisa para interessados em conduzir pesquisas de segurança e responsabilidade com o modelo.