Newton Eyes

Newton Eyes est une application mobile révolutionnaire, alimentée par l'IA, qui sert de compagnon de vision dédié à la communauté des malvoyants. Elle transforme un smartphone standard en un interprète visuel intelligent, permettant aux utilisateurs de percevoir et de comprendre leur environnement avec un niveau de détail sans précédent. La mission principale de Newton Eyes est d'améliorer l'indépendance et d'enrichir la vie quotidienne de ses utilisateurs en comblant le fossé entre le monde visuel et la perception auditive. Développée avec les retours directs de la communauté des malvoyants, l'application est méticuleusement conçue pour l'accessibilité et la facilité d'utilisation.

En utilisant simplement l'appareil photo du téléphone pour capturer une image ou en le pointant vers une scène, les utilisateurs reçoivent des descriptions instantanées et détaillées, alimentées par une IA générative avancée. L'application peut identifier des objets, décrire des scènes complexes, lire du texte sur des panneaux ou des documents, et même répondre à des questions de suivi posées par la voix. Ce dialogue interactif permet une compréhension plus profonde de l'environnement, bien au-delà d'une simple description statique.

Comment utiliser Newton Eyes

L'application est conçue avec une interface simple et intuitive, axée sur la voix et une interaction minimale avec l'écran. Voici un guide pour commencer :

1. Capturez votre vue : Sur l'écran d'accueil de l'application, appuyez sur l'icône de l'appareil photo pour prendre une nouvelle photo de votre environnement. Alternativement, vous pouvez aller dans les paramètres pour permettre à l'application de sélectionner une image de la galerie de votre téléphone.
2. Obtenez une description instantanée : Si la fonction "Décrire l'image" est activée dans les paramètres, l'application fournira automatiquement une description audio détaillée de l'image dès qu'elle sera capturée ou sélectionnée.
3. Posez des questions avec votre voix : Pour en savoir plus, appuyez sur l'icône du microphone, posez votre question (par exemple, "De quelle couleur est la chemise ?" ou "Y a-t-il une table dans la pièce ?"), puis appuyez à nouveau sur l'icône pour arrêter l'enregistrement. L'application traitera votre requête et fournira une réponse vocale.
4. Personnalisez votre expérience : Dans le menu des paramètres, vous pouvez ajuster le curseur "Verbosité". Cela contrôle le niveau de détail de la description initiale de l'image, vous permettant de choisir entre un résumé concis ou une explication plus élaborée.
5. Changez la voix du locuteur : L'application utilise le moteur de synthèse vocale natif de votre appareil. Vous pouvez changer la voix, la vitesse et la hauteur via les paramètres d'accessibilité de votre téléphone (par exemple, Sortie de la synthèse vocale dans les paramètres Android).

Fonctionnalités principales de Newton Eyes

• Descriptions pilotées par l'IA : Utilise des modèles d'IA générative de pointe pour fournir des descriptions riches, précises et contextuelles des photos, aidant les utilisateurs à comprendre leur environnement, des objets simples aux scènes complexes.
• Questions-réponses vocales interactives : Les utilisateurs peuvent engager une conversation naturelle avec l'application. Après une description initiale, ils peuvent poser des questions de suivi spécifiques à l'aide de commandes vocales pour obtenir des informations plus précises.
• Intégration complète de l'accessibilité : Fonctionne de manière transparente avec les fonctionnalités d'accessibilité intégrées comme Talkback d'Android, garantissant que chaque action et information est accompagnée d'un retour audio pour une expérience entièrement non visuelle.
• Prise en charge multilingue : L'application est accessible à un public plus large avec un support pour l'anglais et plusieurs langues indiennes, notamment l'hindi, le télougou, le tamoul, le malayalam et le kannada.
• Interface intuitive et centrée sur l'utilisateur : Conçue avec l'accessibilité comme priorité absolue, avec de grandes icônes et un flux de travail simple qui minimise le besoin de navigation complexe à l'écran.

Cas d'utilisation pour Newton Eyes

Newton Eyes peut être un assistant inestimable dans de nombreux scénarios quotidiens :

• Maison et vie quotidienne : Identifier la couleur des vêtements, lire les instructions de cuisson sur un emballage, trier le courrier ou trouver un objet égaré dans une pièce.
• Navigation et exploration : Obtenir une description d'un nouvel environnement comme une chambre d'hôtel, un parc ou la maison d'un ami pour se construire une carte mentale.
• Shopping : Demander des détails sur les produits sur une étagère, lire les étiquettes et les prix, ou identifier différents billets de banque.
• Situations sociales : Comprendre ce qui se passe sur une photo partagée par la famille ou les amis, ou obtenir une description d'une scène lors d'un rassemblement social.
• Aide à la lecture : Lire les menus des restaurants, les panneaux de transport public, les panneaux d'information ou des extraits d'un livre ou d'un magazine.

Avantages de Newton Eyes

Le principal avantage de Newton Eyes est son engagement en faveur d'une véritable autonomisation. C'est plus qu'un utilitaire ; c'est un outil pour l'indépendance. Les principaux avantages incluent :

• Favorise l'indépendance : Permet aux utilisateurs d'effectuer de nombreuses tâches par eux-mêmes qui auraient pu nécessiter une assistance auparavant.
• Entièrement gratuit : L'application est gratuite et sans intention de monétisation, la rendant accessible à tous, quel que soit leur statut financier. Le projet est soutenu par le désir d'aider et par des parrainages potentiels.
• Conçu avec la communauté : Développé en étroite collaboration avec des personnes et des organisations de malvoyants, garantissant que ses fonctionnalités sont pratiques et vraiment utiles.
• Interaction intuitive axée sur la voix : La dépendance aux commandes vocales rend l'application incroyablement facile à utiliser, éliminant la barrière des gestes complexes à l'écran.

Tarification et plans

Newton Eyes est entièrement gratuit. La mission du développeur est de fournir un outil utile à la communauté des malvoyants sans aucun coût. Bien que le fonctionnement des serveurs et des services d'IA entraîne des dépenses, le développeur n'a pas l'intention de monétiser l'application. Le projet recherche des parrainages cloud pour assurer sa durabilité à long terme et sa disponibilité pour tous les utilisateurs.