Sesame

Sesame là một công ty nghiên cứu và sản phẩm AI tiên phong chuyên tạo ra một tương lai nơi tương tác giữa người và máy tính tự nhiên và sống động như cuộc trò chuyện của con người. Sứ mệnh cốt lõi là xây dựng một người bạn đồng hành cá nhân AI có thể nhìn, nghe và hợp tác với người dùng một cách trực quan sâu sắc. Điều này đạt được bằng cách tập trung vào "sự hiện diện của giọng nói" — chất lượng làm cho các tương tác bằng lời nói có cảm giác thật, được thấu hiểu và có giá trị, vượt xa các tông giọng robot, trung tính của các trợ lý kỹ thuật số hiện tại.

Trọng tâm công nghệ của Sesame là Mô hình Lời nói Hội thoại (CSM) độc quyền, một hệ thống đa phương thức đầu cuối tiên tiến. CSM tận dụng lịch sử của một cuộc trò chuyện, bao gồm cả các tín hiệu văn bản và âm thanh, để tạo ra lời nói không chỉ có độ trung thực cao mà còn phù hợp về mặt ngữ cảnh và cảm xúc. Điều này cho phép AI nắm bắt được những sắc thái tinh tế trong biểu cảm của con người, chẳng hạn như sự phấn khích tăng dần, những khoảng lặng suy tư và sự trấn an ấm áp, làm cho cuộc đối thoại trở nên chân thực và hấp dẫn.

Công ty có cách tiếp cận hai hướng: một phần mềm đồng hành AI tinh vi và kính mắt nhẹ được chế tạo có mục đích. Phần mềm hoạt động như một người bạn thông minh và một người đối thoại, giúp bạn cập nhật thông tin, ngăn nắp và thậm chí trở thành một phiên bản tốt hơn của chính mình. Kính mắt được thiết kế để đeo cả ngày, cung cấp quyền truy cập âm thanh liền mạch, chất lượng cao cho người bạn đồng hành của bạn, người có thể quan sát thế giới cùng bạn và cung cấp hỗ trợ theo thời gian thực.

Cách sử dụng Sesame

Hiện tại, Sesame cung cấp bản xem trước nghiên cứu về công nghệ của mình, cho phép người dùng trải nghiệm trực tiếp thế hệ giọng nói hội thoại tiếp theo. Để sử dụng, bạn có thể truy cập trang web của Sesame và tương tác với người bạn đồng hành AI thông qua giao diện được cung cấp. Bản xem trước này giới thiệu khả năng của mô hình trong việc tạo ra lời nói biểu cảm và nhận biết ngữ cảnh. Quá trình này bao gồm việc tham gia vào một cuộc đối thoại nơi AI lắng nghe và phản hồi, thể hiện các khả năng tiên tiến của nó. Tầm nhìn cuối cùng là người dùng tương tác với người bạn đồng hành rảnh tay suốt cả ngày thông qua kính mắt nhẹ tích hợp, giúp việc truy cập thông tin và hỗ trợ trở nên hoàn toàn liền mạch.

Tính năng chính của Sesame

• Mô hình Lời nói Hội thoại (CSM): Một mô hình biến áp đa phương thức, một giai đoạn, tạo ra lời nói rất tự nhiên và nhận biết ngữ cảnh bằng cách xử lý cả lịch sử văn bản và âm thanh.
• Trí tuệ cảm xúc: Khả năng đọc, diễn giải và phản hồi bối cảnh cảm xúc của một cuộc trò chuyện, điều chỉnh tông giọng và phong cách cho phù hợp.
• Động lực hội thoại tự nhiên: Mô hình hiểu và tái tạo thời gian, khoảng lặng, ngắt lời và nhấn mạnh tự nhiên, tránh sự đơn điệu của các hệ thống TTS truyền thống.
• Nhận thức theo ngữ cảnh: Duy trì sự hiểu biết sâu sắc về cuộc trò chuyện đang diễn ra để đảm bảo các phản hồi của nó có liên quan và ngữ điệu của nó phù hợp với tình huống.
• Tính cách nhất quán: Cung cấp một nhân cách mạch lạc, đáng tin cậy và phù hợp theo thời gian, xây dựng niềm tin và sự tự tin của người dùng.
• Cam kết nguồn mở: Sesame cam kết mở nguồn các thành phần chính trong nghiên cứu của mình, bao gồm các mô hình theo giấy phép Apache 2.0, để thúc đẩy sự hợp tác và đổi mới của cộng đồng.

Các trường hợp sử dụng Sesame

Sesame được thiết kế để trở thành một trợ lý đa năng và luôn hiện diện, tích hợp liền mạch vào cuộc sống hàng ngày.

• Năng suất cá nhân: Hoạt động như một người tổ chức thông minh để quản lý lịch trình, đặt lời nhắc, ghi chú và truy xuất thông tin, tất cả thông qua cuộc trò chuyện tự nhiên.
• Đối tác sáng tạo & trí tuệ: Đóng vai trò là đối tác động não, một người lắng nghe ý tưởng mới, hoặc một người đối thoại am hiểu để khám phá các chủ đề phức tạp.
• Học tập và tự cải thiện: Giúp người dùng thực hành kỹ năng giao tiếp, học ngôn ngữ mới hoặc đơn giản là cập nhật thông tin bằng cách cung cấp thông tin ở định dạng tương tác và hấp dẫn.
• Hỗ trợ đeo được cả ngày: Khi được kết hợp với kính mắt trong tương lai, Sesame có thể cung cấp trợ giúp theo thời gian thực, nhận biết ngữ cảnh, chẳng hạn như chỉ đường, nhận dạng đối tượng hoặc cung cấp thông tin về môi trường xung quanh người dùng.

Ưu điểm của Sesame

Sesame tự phân biệt mình với các trợ lý giọng nói khác thông qua cách tiếp cận cơ bản đối với tương tác.

• Vượt qua Thung lũng kỳ lạ: Trọng tâm chính của nó vào "sự hiện diện của giọng nói" và sắc thái cảm xúc nhằm tạo ra một trải nghiệm thực sự thú vị và không gây mệt mỏi về mặt cảm xúc theo thời gian.
• Tầm nhìn sản phẩm toàn diện: Sự tích hợp chặt chẽ giữa phần mềm AI tiên tiến với phần cứng được thiết kế riêng (kính mắt) hứa hẹn một trải nghiệm người dùng độc đáo, liền mạch và hiệu quả.
• Nghiên cứu tiên tiến: Việc phát triển mô hình CSM độc quyền thể hiện chuyên môn kỹ thuật sâu sắc và cam kết đẩy lùi các giới hạn của tổng hợp giọng nói.
• Sự hậu thuẫn và lãnh đạo mạnh mẽ: Được dẫn dắt bởi các cựu chiến binh trong ngành như Brendan Iribe (đồng sáng lập Oculus) và được hỗ trợ bởi các công ty đầu tư mạo hiểm hàng đầu, đảm bảo một nền tảng vững chắc cho sự phát triển lâu dài.

Giá cả và gói dịch vụ

Sesame hiện đang trong giai đoạn nghiên cứu và phát triển. Một bản xem trước nghiên cứu có sẵn để dùng thử công khai miễn phí. Giá chính thức và các gói thương mại cho sản phẩm đầy đủ, bao gồm phần mềm đồng hành và kính mắt, vẫn chưa được công bố. Công ty đang tập trung vào việc hoàn thiện công nghệ trước khi ra mắt thị trường đầy đủ.