Sesame

Sesame는 인간과 컴퓨터의 상호작용이 인간의 대화처럼 자연스럽고 생생한 미래를 만들기 위해 헌신하는 선구적인 AI 연구 및 제품 회사입니다. 핵심 임무는 사용자를 깊이 직관적인 방식으로 보고, 듣고, 협력할 수 있는 AI 개인 동반자를 구축하는 것입니다. 이는 '음성 존재감'에 초점을 맞춤으로써 달성됩니다. 이 품질은 음성 상호작용을 실제처럼 느끼게 하고, 이해받고, 가치 있게 만들어 현재 디지털 어시스턴트의 로봇 같고 중립적인 톤을 훨씬 뛰어넘습니다.

Sesame 기술의 핵심에는 독점적인 대화형 음성 모델(CSM)이라는 고급 엔드투엔드 다중 모드 시스템이 있습니다. CSM은 텍스트와 오디오 신호를 포함한 대화 기록을 활용하여 고품질일 뿐만 아니라 문맥적으로나 감정적으로 적절한 음성을 생성합니다. 이를 통해 AI는 고조되는 흥분, 사려 깊은 멈춤, 따뜻한 안심과 같은 인간 표현의 미묘함을 포착하여 대화를 진정성 있고 매력적으로 만듭니다.

이 회사는 정교한 AI 동반자 소프트웨어와 특수 제작된 경량 안경이라는 두 가지 접근 방식을 취하고 있습니다. 이 소프트웨어는 훌륭한 친구이자 대화 상대 역할을 하여 정보를 얻고, 정리하고, 심지어 더 나은 자신이 되도록 돕습니다. 안경은 하루 종일 착용하도록 설계되어 동반자에게 원활하고 고품질의 오디오 액세스를 제공하며, 동반자는 사용자와 함께 세상을 관찰하고 실시간으로 도움을 줄 수 있습니다.

Sesame 사용 방법

현재 Sesame는 차세대 대화형 음성을 직접 경험할 수 있는 기술의 연구 미리보기를 제공합니다. 이를 사용하려면 Sesame 웹사이트를 방문하여 제공된 인터페이스를 통해 AI 동반자와 상호작용할 수 있습니다. 이 미리보기는 표현력이 풍부하고 문맥을 인식하는 음성을 생성하는 모델의 능력을 보여줍니다. 이 과정은 AI가 듣고 응답하는 대화에 참여하는 것을 포함하며, 이를 통해 고급 기능을 시연합니다. 궁극적인 비전은 사용자가 통합된 경량 안경을 통해 하루 종일 핸즈프리로 동반자와 상호작용하여 정보 접근 및 지원을 완전히 원활하게 만드는 것입니다.

Sesame의 핵심 기능

• 대화형 음성 모델(CSM): 텍스트와 오디오 기록을 모두 처리하여 매우 자연스럽고 문맥을 인식하는 음성을 생성하는 단일 단계, 다중 모드 트랜스포머 모델입니다.
• 감성 지능: 대화의 감정적 맥락을 읽고, 해석하고, 반응하여 그에 따라 톤과 스타일을 조정하는 능력입니다.
• 자연스러운 대화 역학: 모델은 자연스러운 타이밍, 멈춤, 중단 및 강조를 이해하고 복제하여 기존 텍스트 음성 변환(TTS) 시스템의 단조로움을 피합니다.
• 문맥 인식: 진행 중인 대화에 대한 깊은 이해를 유지하여 응답이 관련성이 있고 운율이 상황에 적절하도록 보장합니다.
• 일관된 개성: 시간이 지남에 따라 일관되고 신뢰할 수 있으며 적절한 페르소나를 제공하여 사용자 신뢰와 확신을 구축합니다.
• 오픈 소스 약속: Sesame는 커뮤니티 협업과 혁신을 촉진하기 위해 Apache 2.0 라이선스에 따라 모델을 포함한 연구의 핵심 구성 요소를 오픈 소싱하는 데 전념하고 있습니다.

Sesame의 사용 사례

Sesame는 일상 생활에 원활하게 통합되는 다재다능하고 상시 존재하는 어시스턴트로 설계되었습니다.

• 개인 생산성: 자연스러운 대화를 통해 일정 관리, 알림 설정, 메모 작성 및 정보 검색을 위한 지능형 정리 도구 역할을 합니다.
• 창의적 및 지적 파트너: 브레인스토밍 파트너, 새로운 아이디어에 대한 의견을 듣는 상대 또는 복잡한 주제를 탐색하기 위한 지식이 풍부한 대화 상대 역할을 합니다.
• 학습 및 자기 계발: 매력적인 대화형 형식으로 정보를 제공하여 사용자가 의사소통 기술을 연습하고, 새로운 언어를 배우거나, 정보를 얻는 데 도움을 줍니다.
• 웨어러블, 종일 지원: 미래의 안경과 페어링되면 Sesame는 길 안내, 물체 식별 또는 사용자 주변 환경에 대한 정보 제공과 같은 실시간, 문맥 인식 도움을 제공할 수 있습니다.

Sesame의 장점

Sesame는 상호작용에 대한 근본적인 접근 방식을 통해 다른 음성 어시스턴트와 차별화됩니다.

• 불쾌한 골짜기를 넘어서: '음성 존재감'과 감정적 뉘앙스에 대한 주요 초점은 시간이 지나도 진정으로 즐겁고 감정적으로 지치지 않는 경험을 만드는 것을 목표로 합니다.
• 전체적인 제품 비전: 고급 AI 소프트웨어와 맞춤 설계된 하드웨어(안경)의 긴밀한 통합은 독특하게 원활하고 효과적인 사용자 경험을 약속합니다.
• 최첨단 연구: 독점적인 CSM 모델의 개발은 깊은 기술 전문성과 음성 합성 기술의 경계를 넓히려는 노력을 보여줍니다.
• 강력한 후원 및 리더십: 업계 베테랑(예: Oculus 공동 창립자 Brendan Iribe)이 이끌고 최고 수준의 벤처 캐피털 회사의 지원을 받아 장기적인 개발을 위한 견고한 기반을 보장합니다.

가격 및 플랜

Sesame는 현재 연구 개발 단계에 있습니다. 연구 미리보기는 무료로 공개적으로 시험해 볼 수 있습니다. 동반자 소프트웨어 및 안경을 포함한 전체 제품에 대한 공식 가격 및 상업용 플랜은 아직 발표되지 않았습니다. 회사는 전체 시장 출시 전에 기술을 완성하는 데 주력하고 있습니다.