Project Aria

Project Aria ist ein wegweisendes Forschungsprogramm von Metas Reality Labs, das sich der verantwortungsvollen Gestaltung der Zukunft von Augmented Reality und künstlicher Intelligenz widmet. Es ist kein Verbraucherprodukt, sondern eine umfassende Forschungsplattform, die Forschern helfen soll, die komplexen Herausforderungen bei der Entwicklung zukünftiger AR-Brillen und kontextbezogener KI-Systeme zu verstehen und zu bewältigen. Das Herzstück des Projekts ist die Aria-Brille, ein hochentwickeltes tragbares Gerät, das mit einer hochmodernen Sensor-Suite ausgestattet ist, um Daten aus der Ich-Perspektive (egozentrisch) zu erfassen. Diese Plattform wird den internen Forschern von Meta und einer globalen Gemeinschaft von akademischen und unternehmerischen Partnern über das Aria Research Kit (ARK) zur Verfügung gestellt.

Wie man Project Aria verwendet

Der Zugang zur Project Aria-Plattform ist für die Forschungsgemeinschaft bestimmt und steht nicht zum öffentlichen Verkauf. Der Prozess zur Teilnahme ist wie folgt:

1. Offene Ressourcen erkunden: Bevor sie sich bewerben, werden potenzielle Partner ermutigt, die öffentlich verfügbaren Ressourcen von Project Aria zu erkunden. Dazu gehören umfangreiche Open-Source-Datensätze (wie Nymeria und der Digital Twin Catalog), Modelle und Tools (wie das Aria Training and Evaluation Toolkit - ATEK). Dies hilft Forschern, die Daten und Fähigkeiten der Plattform zu verstehen.
2. Einen Forschungsantrag entwickeln: Formulieren Sie einen klaren und neuartigen Forschungsplan, der die einzigartigen Fähigkeiten der Aria-Brille und des Ökosystems nutzt. Erfolgreiche Anträge befassen sich in der Regel mit zentralen Herausforderungen in den Bereichen Computer Vision, kontextbezogene KI, Robotik oder maschinelle Wahrnehmung.
3. Sich für das Aria Research Kit (ARK) bewerben: Interessierte akademische Einrichtungen und unternehmerische Forschungsorganisationen können über die Project Aria-Website einen Antrag einreichen. Die Anträge werden fortlaufend geprüft.
4. Forschung durchführen: Nach der Genehmigung erhalten die Partner das ARK, das die Aria Gen 2-Brille, ein umfassendes SDK und Unterstützungsdienste zur Aufnahme ihrer Forschungsanstrengungen enthält.

Kernfunktionen von Project Aria

• Aria Gen 2 Brille: Das Herzstück des Projekts, diese fortschrittliche Forschungsbrille verfügt über eine leistungsstarke Sensor-Suite mit 4 SLAM-Kameras, 1 RGB-Kamera, 2 Eye-Tracking-Kameras, einer IMU, einem Barometer, einem Magnetometer und GNSS. Sie enthalten auch PPG-Sensoren für physiologische Daten, ein Kontaktmikrofon, On-Device-Rechenkapazitäten und eine verlängerte Akkulaufzeit von 6-8 Stunden.
• Aria Research Kit (ARK): Ein komplettes Paket für Forscher, das die Aria-Brille, ein voll ausgestattetes Software Development Kit (SDK) und eine Reihe von Tools für die Datenverwaltung, -verarbeitung und -analyse enthält.
• Umfangreiche offene Datensätze: Project Aria stellt der Community umfangreiche, qualitativ hochwertige Datensätze zur Verfügung, wie z. B. 'Reading Recognition in the Wild' für die Eye-Tracking-Forschung, 'Nymeria' für die Vorhersage menschlicher Bewegungen und den 'Digital Twin Catalog' für die 3D-Objektrekonstruktion.
• Open Source Tools und Modelle: Die Plattform umfasst leistungsstarke Tools wie das Aria Training and Evaluation Toolkit (ATEK) zum Erstellen und Bewerten von Deep-Learning-Modellen und den Aria Dataset Explorer (ADE) zum Visualisieren und Herunterladen von Daten. Sie unterstützt auch die Integration mit beliebten Frameworks wie Nerfstudio.
• Kollaboratives Forschungsökosystem: Das Projekt fördert eine lebendige Gemeinschaft von über 200 Partnern und ermutigt zum Open-Sourcing von Tools und Datensätzen, die mit der Plattform entwickelt wurden, wie z. B. HD-Epic und EgoLife.

Anwendungsfälle für Project Aria

Project Aria wird genutzt, um Innovationen in verschiedenen Bereichen voranzutreiben:

• Kontextbezogene KI und maschinelle Wahrnehmung: Entwicklung von KI, die den Kontext, die Umgebung und die Absicht eines Benutzers verstehen kann, um zeitnahe und relevante Unterstützung zu bieten.
• Robotik: Ermöglicht es Robotern, komplexe Aufgaben zu lernen, indem sie menschliche Demonstrationen aus der Ich-Perspektive beobachten, wie im EgoMimic-Projekt von Georgia Tech zu sehen ist.
• Augmented Reality (AR): Aufbau der grundlegenden Technologien für zukünftige, ganztägig tragbare AR-Brillen, einschließlich Szenenverständnis, 3D-Rekonstruktion und Benutzerinteraktionsmodellen.
• Barrierefreiheit: Partnerschaften mit Organisationen wie Envision AI, um Technologien zu entwickeln, die blinden und sehbehinderten Menschen durch den Zugang zu visuellen Informationen mehr Selbstständigkeit ermöglichen.
• Automobilindustrie: Zusammenarbeit mit Partnern wie BMW, um zu erforschen, wie AR-Technologie in zukünftige Fahrzeuge integriert werden kann, um das Bewusstsein und die Erfahrung des Fahrers zu verbessern.

Vorteile von Project Aria

Der Hauptvorteil von Project Aria liegt in seiner Rolle als Forschungsbeschleuniger. Es bietet Forschern eine speziell entwickelte, nicht-kommerzielle Hardware- und Softwareplattform, die der Verbrauchertechnologie um Jahre voraus ist. Dies ermöglicht es der Gemeinschaft, grundlegende Forschungsprobleme ohne die kostspieligen Gemeinkosten für den Bau benutzerdefinierter Sensor-Rigs anzugehen. Der Fokus auf offene Ressourcen und Zusammenarbeit erzeugt einen starken Schwungradeffekt, bei dem die Beiträge der Gemeinschaft aufeinander aufbauen und das gesamte Feld der egozentrischen KI und AR schneller voranbringen.

Preise und Pläne

Project Aria ist ein Forschungsprogramm, kein kommerzielles Produkt. Daher gibt es keine traditionellen Preise oder Pläne. Der Zugang zur Aria Gen 2-Brille und der gesamten Suite von Tools wird über das Aria Research Kit (ARK)-Programm gewährt. Dieses Kit steht ausgewählten akademischen und unternehmerischen Forschungspartnern zur Verfügung, die sich erfolgreich für das Programm bewerben. Die Auswahl basiert auf dem Wert und der Neuheit der vorgeschlagenen Forschung. Es sind keine Kosten für die Teilnahme angegeben, da es sich um eine kollaborative Forschungspartnerschaft handelt.