VCAI

Die Abteilung für Visuelle Informatik und Künstliche Intelligenz (VCAI), Teil des renommierten Max-Planck-Instituts für Informatik, steht an der weltweiten Spitze der Forschung, wo Computergrafik, Computer Vision und Künstliche Intelligenz zusammenlaufen. Unter der Leitung des gefeierten Prof. Dr. Christian Theobalt ist die langfristige Vision der Abteilung, die Art und Weise, wie wir die digitale und reale Welt erfassen, modellieren und mit ihr interagieren, zu revolutionieren. Ihr Ziel ist es, hochdetaillierte, robuste und effiziente Modelle der Realität zu schaffen, indem sie etablierte Methoden mit modernsten Konzepten des maschinellen Lernens vereinen.

VCAI ist kein kommerzielles Werkzeug, sondern ein Innovationskraftwerk, das Grundlagenforschung produziert, die häufig den Stand der Technik neu definiert. Ihre Arbeit legt den Grundstein für neue Paradigmen in der Computergrafik und für fortschrittliche intelligente Systeme, die unsere komplexe, dynamische Welt wahrnehmen und verstehen können. Der Einfluss der Abteilung zeigt sich in ihren zahlreichen preisgekrönten Veröffentlichungen auf hochkarätigen Konferenzen wie SIGGRAPH, CVPR und NeurIPS sowie in ihren strategischen Partnerschaften, wie der mit Google zur Gründung des Saarbrücker Zentrums für Visuelle Informatik, Interaktion und Künstliche Intelligenz (VIA).

Wie man VCAI verwendet

Als Forschungseinrichtung bedeutet die 'Nutzung' von VCAI, sich mit ihrem intellektuellen Output auseinanderzusetzen. Es gibt mehrere Möglichkeiten, ihre bahnbrechende Arbeit zu nutzen:

• Forschungspublikationen studieren: Der direkteste Weg ist das Lesen ihrer Paper, die regelmäßig auf großen internationalen Konferenzen veröffentlicht werden. Diese Dokumente bieten tiefe Einblicke in die neuesten Algorithmen und Techniken.
• Open-Source-Projekte erkunden: Die Abteilung veröffentlicht oft den Quellcode für ihre wegweisenden Projekte, wie das sehr einflussreiche '3D Gaussian Splatting for Real-time Radiance Field Rendering'. Entwickler und Forscher können diesen Code verwenden, um eigene Anwendungen zu erstellen oder die Forschung voranzutreiben.
• Kommerzielle Spin-offs verfolgen: Die Forschung von VCAI ist so fortschrittlich, dass sie zu kommerziellen Unternehmungen führt. Ein Paradebeispiel ist 'the Captury', ein Spin-off-Unternehmen, das ein markerloses Motion-Capture-System anbietet, das von Profis, einschließlich olympischer Athleten, genutzt wird.
• Sich in der Community engagieren: Die Abteilung veranstaltet Seminare, Vorlesungen und Workshops und bietet Lern- und Kooperationsmöglichkeiten für Studierende und Fachleute auf diesem Gebiet.

Kernfunktionen von VCAI

• 3D-Rekonstruktion und Neuronales Rendering: VCAI ist weltweit führend in der Erfassung und dem Rendering von 3D-Szenen aus Bildern und Videos. Ihre Arbeit zu '3D Gaussian Splatting' gewann den Best Paper Award auf der SIGGRAPH 2023 und hat das Echtzeit-Rendering von Radianzfeldern revolutioniert.
• Digitale Menschen und Avatare: Das Labor zeichnet sich durch die Erstellung unglaublich realistischer digitaler Menschen aus. Projekte wie 'HDHumans', 'Face2Face' (berühmt geworden durch eine Demo bei Jimmy Kimmel Live) und 'VNect' ermöglichen Echtzeit-Gesichts-Reenactment, Ganzkörper-Posenschätzung mit einer einzigen Kamera und die Erstellung von hochauflösenden Avataren.
• Markerloses Motion Capture: Sie entwickeln fortschrittliche Techniken zur Erfassung menschlicher Bewegungen ohne spezielle Anzüge oder Marker. Diese Forschung hat Projekte wie 'DeepCap' und das kommerzielle System ihres Spin-offs 'the Captury' vorangetrieben.
• Generative Intelligenz: Die Abteilung erforscht generative Modelle zur Synthese und Manipulation visueller Daten, einschließlich der Erstellung von Konversationsgesten aus Sprache und der Generierung neuartiger Ansichten von Szenen.
• 4D-Vision und Szenenverständnis: Ein Hauptaugenmerk liegt auf der Wahrnehmung und Interpretation der 3D-Welt in Bewegung (3D + Zeit = 4D), eine wesentliche Fähigkeit für zukünftige intelligente Systeme wie autonome Fahrzeuge und Roboter.

Anwendungsfälle für VCAI

Die Grundlagenforschung von VCAI hat tiefgreifende Auswirkungen auf verschiedene Branchen:

• Unterhaltung und Visuelle Effekte: Erstellung lebensechter digitaler Schauspieler, Automatisierung visueller Effekte und Ermöglichung von Echtzeit-Performance-Capture für Filme und Videospiele.
• Virtuelle und Erweiterte Realität (VR/AR): Bevölkern virtueller Welten mit realistischen Szenen und Avataren, was immersive Telepräsenz und Trainingssimulationen ermöglicht.
• Robotik und Autonomes Fahren: Bereitstellung der Fähigkeit für Roboter und Fahrzeuge, ihre 3D-Umgebung in Echtzeit wahrzunehmen, zu verstehen und zu rekonstruieren, um eine sichere Navigation und Interaktion zu gewährleisten.
• Sportwissenschaft und Biomechanik: Analyse von Athletenbewegungen mit hoher Präzision durch markerloses Motion Capture zur Leistungssteigerung und Verletzungsprävention, wie vom chinesischen Olympiateam demonstriert.
• Digitale Kommunikation: Entwicklung der nächsten Generation fotorealistischer Avatare für Videokonferenzen und virtuelle soziale Plattformen.

Vorteile von VCAI

• Wegweisende Innovation: Produziert kontinuierlich preisgekrönte, feldbestimmende Forschung, die die Grenzen des Möglichen verschiebt.
• Synergie zwischen Wissenschaft und Industrie: Starke Zusammenarbeit mit Branchenriesen wie Google und eine nachgewiesene Erfolgsbilanz bei der Umsetzung von Forschung in erfolgreiche kommerzielle Produkte.
• Offene und zugängliche Forschung: Viele ihrer bahnbrechenden Projekte werden von öffentlich zugänglichen Papern und Quellcode begleitet, was das Wachstum und die Innovation der Community fördert.
• Weltklasse-Expertise: Besteht aus einem Team führender Wissenschaftler und Forscher, die sich der Lösung der anspruchsvollsten Probleme in der visuellen Informatik widmen.

Preise und Pläne

VCAI ist eine Forschungsabteilung innerhalb der Max-Planck-Gesellschaft, einer gemeinnützigen Organisation. Daher bietet sie keine kommerziellen Pläne oder Preise an. Der Zugang zu ihren Forschungspublikationen ist in der Regel über akademische Archive und die Website des Instituts kostenlos. Der Quellcode vieler ihrer Projekte wird ebenfalls unter Open-Source-Lizenzen für Forschungs- und nicht-kommerzielle Zwecke veröffentlicht. Kommerzielle Anwendungen, die aus ihrer Forschung abgeleitet sind, wie die Produkte ihres Spin-offs 'the Captury', haben ihre eigenen separaten Preismodelle.