Project Aria

Project Aria est un programme de recherche pionnier des Reality Labs de Meta, dédié à la construction responsable de l'avenir de la réalité augmentée et de l'intelligence artificielle. Il ne s'agit pas d'un produit grand public, mais d'une plateforme de recherche complète conçue pour aider les chercheurs à comprendre et à surmonter les défis complexes liés au développement des futures lunettes de RA et des systèmes d'IA contextuelle. Le cœur du projet est les lunettes Aria, un dispositif portable sophistiqué équipé d'une suite de capteurs de pointe pour capturer des données d'un point de vue à la première personne (égocentrique). Cette plateforme est mise à la disposition des chercheurs internes de Meta et d'une communauté mondiale de partenaires universitaires et d'entreprise via le Kit de Recherche Aria (ARK).

Comment utiliser Project Aria

L'accès à la plateforme Project Aria est destiné à la communauté de la recherche et n'est pas disponible à l'achat public. Le processus pour s'impliquer est le suivant :

1. Explorer les Ressources Ouvertes : Avant de postuler, les partenaires potentiels sont encouragés à explorer les ressources publiquement disponibles de Project Aria. Celles-ci incluent de vastes jeux de données open source (comme Nymeria et le Digital Twin Catalog), des modèles et des outils (comme la boîte à outils d'entraînement et d'évaluation Aria - ATEK). Cela aide les chercheurs à comprendre les données et les capacités de la plateforme.
2. Développer une Proposition de Recherche : Formuler un plan de recherche clair et novateur qui exploite les capacités uniques des lunettes Aria et de l'écosystème. Les candidatures retenues abordent généralement des défis clés en vision par ordinateur, en IA contextuelle, en robotique ou en perception machine.
3. Postuler pour le Kit de Recherche Aria (ARK) : Les institutions universitaires et les organisations de recherche d'entreprise intéressées peuvent soumettre une candidature via le site web de Project Aria. Les candidatures sont examinées en continu.
4. Mener la Recherche : Une fois approuvés, les partenaires reçoivent l'ARK, qui comprend les lunettes Aria Gen 2, un SDK complet et des services de soutien pour commencer leurs efforts de recherche.

Fonctionnalités principales de Project Aria

• Lunettes Aria Gen 2 : Pièce maîtresse du projet, ces lunettes de recherche avancées disposent d'une puissante suite de capteurs comprenant 4 caméras SLAM, 1 caméra RVB, 2 caméras de suivi oculaire, une IMU, un baromètre, un magnétomètre et un GNSS. Elles incluent également des capteurs PPG pour les données physiologiques, un microphone de contact, des capacités de calcul sur l'appareil et une autonomie de batterie étendue de 6 à 8 heures.
• Kit de Recherche Aria (ARK) : Un package complet pour les chercheurs contenant les lunettes Aria, un kit de développement logiciel (SDK) complet et une suite d'outils pour la gestion, le traitement et l'analyse des données.
• Vastes Jeux de Données Ouverts : Project Aria fournit à la communauté des jeux de données à grande échelle et de haute qualité, tels que 'Reading Recognition in the Wild' pour la recherche sur le suivi oculaire, 'Nymeria' pour la prédiction du mouvement humain, et le 'Digital Twin Catalog' pour la reconstruction d'objets 3D.
• Outils et Modèles Open Source : La plateforme inclut des outils puissants comme la boîte à outils d'entraînement et d'évaluation Aria (ATEK) pour construire et évaluer des modèles d'apprentissage profond, et l'explorateur de jeux de données Aria (ADE) pour visualiser et télécharger des données. Elle prend également en charge l'intégration avec des frameworks populaires comme Nerfstudio.
• Écosystème de Recherche Collaboratif : Le projet favorise une communauté dynamique de plus de 200 partenaires, encourageant la mise en open source des outils et des jeux de données développés à l'aide de la plateforme, tels que HD-Epic et EgoLife.

Cas d'utilisation pour Project Aria

Project Aria est utilisé pour stimuler l'innovation dans de multiples domaines :

• IA Contextuelle et Perception Machine : Développer une IA capable de comprendre le contexte, l'environnement et l'intention d'un utilisateur pour fournir une assistance opportune et pertinente.
• Robotique : Permettre aux robots d'apprendre des tâches complexes en observant des démonstrations humaines d'un point de vue à la première personne, comme dans le projet EgoMimic de Georgia Tech.
• Réalité Augmentée (RA) : Construire les technologies fondamentales pour les futures lunettes de RA portables toute la journée, y compris la compréhension de scène, la reconstruction 3D et les modèles d'interaction utilisateur.
• Accessibilité : S'associer à des organisations comme Envision AI pour créer des technologies qui autonomisent les personnes aveugles et malvoyantes en leur donnant accès à l'information visuelle.
• Industrie Automobile : Collaborer avec des partenaires comme BMW pour rechercher comment la technologie de RA peut être intégrée dans les futurs véhicules pour améliorer la conscience et l'expérience du conducteur.

Avantages de Project Aria

Le principal avantage de Project Aria est son rôle d'accélérateur de recherche. Il fournit aux chercheurs une plateforme matérielle et logicielle non commerciale et spécialement conçue, qui a des années d'avance sur la technologie grand public. Cela permet à la communauté de s'attaquer à des problèmes de recherche fondamentaux sans les frais généraux coûteux de la construction de dispositifs de capteurs personnalisés. L'accent mis sur les ressources ouvertes et la collaboration crée un puissant effet d'entraînement, où les contributions de la communauté s'appuient les unes sur les autres, faisant progresser plus rapidement l'ensemble du domaine de l'IA égocentrique et de la RA.

Tarification et plans

Project Aria est un programme de recherche, pas un produit commercial. Par conséquent, il n'a pas de tarification ou de plans traditionnels. L'accès aux lunettes Aria Gen 2 et à la suite complète d'outils est fourni via le programme du Kit de Recherche Aria (ARK). Ce kit est disponible pour certains partenaires de recherche universitaires et d'entreprise qui postulent avec succès au programme. La sélection est basée sur le mérite et la nouveauté de la recherche proposée. Aucun coût n'est spécifié pour la participation, car il s'agit d'un partenariat de recherche collaboratif.