Audiobox

Audiobox est un nouveau modèle de recherche fondamental pour la génération audio développé par l'équipe FAIR (Fundamental AI Research) de Meta. Il représente une avancée significative dans la création d'audio de haute qualité et contrôlable à partir d'entrées simples. En utilisant une combinaison d'échantillons vocaux et de prompts en langage naturel, Audiobox permet à quiconque de générer des voix personnalisées, des effets sonores et des récits audio complets, ouvrant ainsi un large éventail de possibilités créatives.

La famille Audiobox se compose de plusieurs modèles spécialisés construits sur un modèle auto-supervisé partagé appelé Audiobox SSL. Cela inclut Audiobox pour la génération unifiée de parole et de son, Audiobox Speech pour la génération de voix spécialisée, et Audiobox Sound pour la création dédiée d'effets sonores. La plateforme est présentée comme une démo de recherche expérimentale, conçue pour présenter ses capacités et encourager une exploration responsable dans le domaine de l'audio génératif.

Comment utiliser Audiobox

La démo d'Audiobox offre une interface intuitive et interactive permettant aux utilisateurs d'expérimenter ses différentes fonctionnalités. Le flux de travail général consiste à fournir une combinaison d'entrées textuelles et/ou audio pour guider le modèle IA.

1. Génération de Voix : Pour créer de la parole, vous pouvez soit enregistrer votre propre voix comme référence de style, soit utiliser un échantillon prédéfini. Ensuite, vous saisissez le texte que vous souhaitez que le modèle prononce. L'IA génère la parole dans le style vocal de l'audio de référence. Vous pouvez également décrire un style de voix (par exemple, "une voix grave et retentissante") pour créer de toutes nouvelles personnalités vocales.
2. Génération d'Effets Sonores : Il suffit de taper une description du son que vous souhaitez créer (par exemple, "des vagues s'écrasant sur une plage de sable" ou "une voiture futuriste passant à toute vitesse"). Le modèle générera un effet sonore correspondant.
3. Édition Audio : Pour l'édition, vous pouvez télécharger un fichier audio. Pour supprimer les bruits indésirables, utilisez la fonction 'Gomme Magique'. Pour remplacer un segment audio, utilisez le 'Remplissage Sonore' en sélectionnant la partie à remplacer et en décrivant le nouveau son que vous souhaitez insérer.
4. Création d'Histoires Audio : Le 'Audiobox Maker' combine toutes ces capacités, vous permettant de construire une histoire audio multi-couches en générant et en organisant différents clips vocaux et effets sonores sur une chronologie.

Fonctionnalités principales de Audiobox

• Génération Audio Unifiée : Un seul modèle capable de générer à la fois une parole complexe et une grande variété d'effets sonores.
• Clonage et Stylisation de Voix (Votre Voix) : Générez une parole qui imite le style vocal de n'importe quel échantillon audio fourni avec une haute fidélité.
• Génération de Voix Descriptive (Voix Décrites) : Créez de nouveaux styles de voix à partir de descriptions purement textuelles, sans avoir besoin d'un échantillon audio.
• Transfert de Style Vocal (Voix Restylées) : Modifiez le style d'un enregistrement vocal existant à l'aide d'un prompt textuel (par exemple, le rendre plus excité ou chuchoté).
• Génération d'Effets Sonores à partir de Texte : Générez des effets sonores réalistes et imaginatifs à partir de prompts textuels descriptifs.
• Édition Audio Avancée : Comprend une 'Gomme Magique' pour supprimer les sons indésirables (comme le bruit d'un enregistrement) et le 'Remplissage Sonore' pour remplacer ou ajouter des sons de manière transparente dans un clip audio.
• Garde-fous d'IA Responsable : Met en œuvre des fonctionnalités de sécurité comme le watermarking audio pour tracer le contenu généré et le filtrage des prompts pour prévenir les abus.

Cas d'utilisation pour Audiobox

Les capacités polyvalentes d'Audiobox le rendent adapté à un large éventail d'applications :

• Créateurs de Contenu & Podcasteurs : Générer rapidement des effets sonores personnalisés, de la musique d'introduction, ou même cloner leur propre voix pour des lectures publicitaires ou des corrections sans avoir à réenregistrer.
• Développeurs de Jeux : Créer des voix de personnages uniques, des paysages sonores d'ambiance et des effets sonores dynamiques pour des expériences de jeu immersives.
• Animateurs & Cinéastes : Produire des pistes audio riches, y compris des dialogues, du bruitage et des sons de fond, directement à partir d'un script ou d'une description.
• Éducateurs & Conteurs : Développer des histoires audio captivantes et du contenu éducatif avec des voix de personnages distinctes et des sons illustratifs.
• Chercheurs en IA : Explorer les frontières de l'audio génératif, de l'équité en IA et du développement de modèles responsables.

Avantages de Audiobox

Audiobox se distingue par son approche complète et responsable de la génération audio :

• Haute Contrôlabilité : La capacité de combiner des prompts vocaux et textuels donne aux utilisateurs un contrôle précis sur la sortie audio finale.
• Plateforme Tout-en-Un : Il intègre des outils de génération et d'édition, rationalisant le flux de travail créatif de l'idée à l'audio finalisé.
• Qualité de Pointe : Basé sur la recherche de pointe de Meta, il produit un audio très réaliste et nuancé.
• Engagement pour la Sécurité : Des mesures proactives comme le watermarking et le filtrage de contenu démontrent un engagement envers le développement et le déploiement responsables de l'IA.
• Accessibilité : La démo web intuitive rend la technologie audio IA avancée accessible à un large public, et pas seulement aux experts techniques.

Tarification et plans

Audiobox est actuellement disponible en tant que démo de recherche expérimentale à des fins éducatives et non commerciales uniquement. Ce n'est pas un produit commercial. En tant que tel, l'accès à la démo est gratuit. Meta propose également des bourses de recherche pour ceux qui sont intéressés à mener des recherches sur la sécurité et la responsabilité avec le modèle.