Sesame

Sesameは、人間とコンピュータの対話が人間の会話のように自然で生命感あふれる未来を創造することに専念する、先駆的なAI研究・製品会社です。その中心的な使命は、ユーザーを深く直感的な方法で見て、聞いて、協力できるAIパーソナルコンパニオンを構築することです。これは、「声の存在感」に焦点を当てることで達成されます。この品質は、話し言葉による対話をリアルに感じさせ、理解され、価値あるものとして認識させるものであり、現在のデジタルアシスタントのロボット的で中立的なトーンをはるかに超えています。

Sesameの技術の中核には、独自の対話型音声モデル（CSM）という、高度なエンドツーエンドのマルチモーダルシステムがあります。CSMは、テキストと音声の両方の手がかりを含む会話の履歴を活用して、忠実度が高いだけでなく、文脈的にも感情的にも適切な音声を生成します。これにより、AIは高まる興奮、思慮深い間、温かい安心感といった人間の表現の機微を捉えることができ、対話を本物で魅力的なものにします。

同社は、洗練されたAIコンパニオンソフトウェアと専用に作られた軽量アイウェアという二つのアプローチを取っています。ソフトウェアは、優れた友人であり対話相手として機能し、情報を得たり、整理したり、さらにはより良い自分になる手助けをします。アイウェアは一日中着用できるように設計されており、コンパニオンへのシームレスで高品質な音声アクセスを提供し、コンパニオンはユーザーと共に世界を観察し、リアルタイムで支援を提供できます。

Sesameの使い方

現在、Sesameはその技術の研究プレビューを提供しており、ユーザーは次世代の対話型音声を直接体験できます。使用するには、Sesameのウェブサイトにアクセスし、提供されたインターフェースを通じてAIコンパニオンと対話します。このプレビューは、表現豊かで文脈を認識する音声を生成するモデルの能力を示しています。このプロセスには、AIが聞き取り応答する対話に参加することが含まれ、その高度な機能が実証されます。最終的なビジョンは、ユーザーが統合された軽量アイウェアを介して一日中ハンズフリーでコンパニオンと対話し、情報へのアクセスと支援を完全にシームレスにすることです。

Sesameの主な機能

• 対話型音声モデル（CSM）：テキストと音声の履歴を処理することで、非常に自然で文脈を認識する音声を生成するシングルステージのマルチモーダル・トランスフォーマーモデル。
• 感情知能：会話の感情的な文脈を読み取り、解釈し、それに応じてトーンやスタイルを調整する能力。
• 自然な対話ダイナミクス：従来のテキスト読み上げ（TTS）システムの単調さを避け、自然なタイミング、間、割り込み、強調を理解し再現します。
• 文脈認識：進行中の会話を深く理解し、応答が関連性を持ち、プロソディが状況に適していることを保証します。
• 一貫したパーソナリティ：時間をかけて一貫性があり、信頼でき、適切なペルソナを提供し、ユーザーの信頼と自信を築きます。
• オープンソースへのコミットメント：Sesameは、コミュニティの協力と革新を促進するために、Apache 2.0ライセンスの下でモデルを含む研究の主要なコンポーネントをオープンソース化することにコミットしています。

Sesameの使用例

Sesameは、日常生活にシームレスに統合される、多目的で常に存在するアシスタントとして設計されています。

• 個人の生産性：自然な会話を通じて、スケジュールの管理、リマインダーの設定、メモの作成、情報の検索を行うインテリジェントなオーガナイザーとして機能します。
• 創造的・知的パートナー：ブレインストーミングのパートナー、新しいアイデアの相談相手、または複雑なトピックを探求するための知識豊富な対話相手として役立ちます。
• 学習と自己改善：魅力的な対話形式で情報を提供することで、ユーザーがコミュニケーションスキルを練習したり、新しい言語を学んだり、単に情報を得たりするのに役立ちます。
• ウェアラブルな終日アシスタンス：将来のアイウェアと組み合わせることで、Sesameは道案内、物体の識別、ユーザーの周囲の環境に関する情報提供など、リアルタイムで文脈に応じた支援を提供できます。

Sesameの利点

Sesameは、対話への根本的なアプローチを通じて、他の音声アシスタントと一線を画しています。

• 不気味の谷を越えて：「声の存在感」と感情的なニュアンスに主眼を置くことで、時間が経っても本当に楽しく、感情的に消耗しない体験を創出することを目指しています。
• 包括的な製品ビジョン：高度なAIソフトウェアとカスタム設計のハードウェア（アイウェア）の緊密な統合は、他に類を見ないシームレスで効果的なユーザー体験を約束します。
• 最先端の研究：独自のCSMモデルの開発は、深い技術的専門知識と音声合成技術の限界を押し広げるというコミットメントを示しています。
• 強力な支援とリーダーシップ：業界のベテラン（Oculus共同創業者ブレンダン・アイリブなど）が率い、トップクラスのベンチャーキャピタル企業から支援を受けており、長期的な開発のための強固な基盤を確保しています。

料金プラン

Sesameは現在、研究開発段階にあります。研究プレビューは無料で公開試用が可能です。コンパニオンソフトウェアやアイウェアを含む完全な製品の公式な価格設定や商用プランはまだ発表されていません。同社は、本格的な市場投入の前に技術を完成させることに注力しています。