Audiobox

Audiobox는 Meta의 FAIR(Fundamental AI Research) 팀이 개발한 오디오 생성을 위한 새로운 기초 연구 모델입니다. 간단한 입력을 통해 고품질의 제어 가능한 오디오를 만드는 데 있어 중요한 도약을 의미합니다. 음성 샘플과 자연어 텍스트 프롬프트의 조합을 사용하여 Audiobox는 누구나 맞춤형 음성, 음향 효과 및 완전한 오디오 내러티브를 생성할 수 있도록 하여 광범위한 창의적 가능성을 열어줍니다.

Audiobox 제품군은 Audiobox SSL이라는 공유 자기 지도 모델을 기반으로 구축된 여러 전문 모델로 구성됩니다. 여기에는 통합된 음성 및 사운드 생성을 위한 Audiobox, 전문 음성 생성을 위한 Audiobox Speech, 전용 음향 효과 생성을 위한 Audiobox Sound가 포함됩니다. 이 플랫폼은 생성 오디오 분야에서 책임감 있는 탐구를 장려하고 그 기능을 선보이기 위해 설계된 실험적 연구 데모로 제공됩니다.

Audiobox 사용 방법

Audiobox 데모는 사용자가 다양한 기능을 실험할 수 있는 직관적이고 상호작용적인 인터페이스를 제공합니다. 일반적인 작업 흐름은 AI 모델을 안내하기 위해 텍스트 및/또는 오디오 입력을 조합하여 제공하는 것입니다.

1. 음성 생성: 음성을 생성하려면 자신의 목소리를 스타일 참조로 녹음하거나 사전 설정된 샘플을 사용할 수 있습니다. 그런 다음 모델이 말하기를 원하는 텍스트를 입력합니다. AI는 참조 오디오의 보컬 스타일로 음성을 생성합니다. 또한 음성 스타일을 설명하여(예: "깊고 울리는 목소리") 완전히 새로운 보컬 페르소나를 만들 수도 있습니다.
2. 음향 효과 생성: 만들고 싶은 소리에 대한 설명을 입력하기만 하면 됩니다(예: "모래 해변에 부딪히는 파도" 또는 "미래형 자동차가 질주하는 소리"). 모델이 해당 음향 효과를 생성합니다.
3. 오디오 편집: 편집을 위해 오디오 파일을 업로드할 수 있습니다. 원치 않는 노이즈를 제거하려면 '매직 이레이저' 기능을 사용하세요. 오디오의 일부를 교체하려면 '사운드 인필링'을 사용하여 교체할 부분을 선택하고 삽입할 새 소리를 설명합니다.
4. 오디오 스토리 제작: 'Audiobox Maker'는 이러한 모든 기능을 결합하여 타임라인에서 다양한 음성 클립과 음향 효과를 생성하고 배열하여 다층적인 오디오 스토리를 만들 수 있도록 합니다.

Audiobox의 핵심 기능

• 통합 오디오 생성: 복잡한 음성과 다양한 음향 효과를 모두 생성할 수 있는 단일 모델입니다.
• 음성 복제 및 스타일링 (Your Voice): 제공된 오디오 샘플의 보컬 스타일을 높은 충실도로 모방하는 음성을 생성합니다.
• 설명적 음성 생성 (Described Voices): 오디오 샘플 없이 순전히 텍스트 설명만으로 새로운 음성 스타일을 만듭니다.
• 음성 스타일 변환 (Restyled Voices): 텍스트 프롬프트를 사용하여 기존 음성 녹음의 스타일을 수정합니다(예: 더 흥분되거나 속삭이는 것처럼 들리게 함).
• 텍스트-음향 효과 생성: 설명적인 텍스트 프롬프트에서 사실적이고 상상력이 풍부한 음향 효과를 생성합니다.
• 고급 오디오 편집: 원치 않는 소리(녹음의 노이즈 등)를 제거하는 '매직 이레이저'와 오디오 클립 내에서 소리를 원활하게 교체하거나 추가하는 '사운드 인필링'이 포함됩니다.
• 책임감 있는 AI 가드레일: 생성된 콘텐츠를 추적하기 위한 오디오 워터마킹 및 오용 방지를 위한 프롬프트 필터링과 같은 안전 기능을 구현합니다.

Audiobox의 사용 사례

Audiobox의 다재다능한 기능은 다양한 응용 분야에 적합합니다.

• 콘텐츠 크리에이터 및 팟캐스터: 맞춤형 음향 효과, 인트로 음악을 신속하게 생성하거나 재녹음 없이 광고 읽기 또는 수정을 위해 자신의 목소리를 복제할 수 있습니다.
• 게임 개발자: 몰입형 게임 경험을 위해 독특한 캐릭터 음성, 주변 사운드스케이프 및 동적 음향 효과를 만듭니다.
• 애니메이터 및 영화 제작자: 대본이나 설명에서 직접 대화, 폴리 및 배경 사운드를 포함한 풍부한 오디오 트랙을 제작합니다.
• 교육자 및 스토리텔러: 독특한 캐릭터 음성과 설명적인 사운드로 매력적인 오디오 스토리와 교육 콘텐츠를 개발합니다.
• AI 연구원: 생성 오디오, AI의 공정성 및 책임감 있는 모델 개발의 최전선을 탐구합니다.

Audiobox의 장점

Audiobox는 오디오 생성에 대한 포괄적이고 책임감 있는 접근 방식으로 두각을 나타냅니다.

• 높은 제어 가능성: 음성과 텍스트 프롬프트를 결합하는 기능은 사용자에게 최종 오디오 출력에 대한 정밀한 제어를 제공합니다.
• 올인원 플랫폼: 생성 및 편집 도구를 통합하여 아이디어에서 완성된 오디오까지의 창작 워크플로우를 간소화합니다.
• 최첨단 품질: Meta의 최첨단 연구를 기반으로 하여 매우 사실적이고 미묘한 오디오를 생성합니다.
• 안전에 대한 약속: 워터마킹 및 콘텐츠 필터링과 같은 사전 조치는 책임감 있는 AI 개발 및 배포에 대한 약속을 보여줍니다.
• 접근성: 직관적인 웹 데모는 기술 전문가뿐만 아니라 광범위한 청중에게 고급 AI 오디오 기술을 제공합니다.

가격 및 플랜

Audiobox는 현재 교육 및 비상업적 목적으로만 실험적 연구 데모로 제공됩니다. 상업용 제품이 아닙니다. 따라서 데모에 대한 액세스는 무료입니다. Meta는 또한 모델을 사용하여 안전 및 책임 연구를 수행하는 데 관심이 있는 연구자들을 위해 연구 보조금을 제공하고 있습니다.