Rerun

Rerun ist ein spezialisierter Datenstack, der für das aufstrebende Feld der Physical AI (Physische KI) entwickelt wurde, das Robotik, Spatial Computing und Embodied AI umfasst. Es bietet eine umfassende Suite von Open-Source-Tools, die für die Komplexität multimodaler Zeitreihendaten konzipiert sind. Im Kern bietet Rerun eine leistungsstarke Visualisierungs- und Protokollierungslösung, die es Entwicklern und Forschern ermöglicht, ihre Systeme mit beispielloser Klarheit zu sehen, zu verstehen und zu debuggen. Durch die Bereitstellung von SDKs in beliebten Sprachen wie Python, C++ und Rust integriert sich Rerun nahtlos in bestehende Entwicklungsworkflows und wird so zu einem unverzichtbaren Werkzeug für jeden, der mit komplexen Sensordaten, Simulationen oder KI-Modellen arbeitet, die mit der physischen Welt interagieren.

Die Plattform basiert auf einem zeitbewussten Entity-Component-System (ECS)-Datenmodell, das sich einzigartig für die Verarbeitung von heterogenen Datenströmen (z. B. 3D-Punktwolken, Bilder, Transformationen, Videoströme) eignet und diese perfekt zeitlich synchronisiert hält. Dies ermöglicht ein intuitives 'Zeitreise'-Debugging, bei dem Benutzer durch eine Aufzeichnung scrollen können, um den genauen Zeitpunkt eines Problems zu lokalisieren. Der Rerun Viewer ist eine hochleistungsfähige, interaktive Anwendung, die nativ, im Browser oder direkt in Jupyter-Notebooks und anderen Anwendungen eingebettet werden kann und maximale Flexibilität bietet.

Wie man Rerun verwendet

Die Verwendung von Rerun ist unkompliziert gestaltet, sodass Sie in wenigen Minuten mit der Visualisierung von Daten beginnen können. Hier ist ein typischer Arbeitsablauf:

1. Installation: Installieren Sie das Rerun SDK für Ihre bevorzugte Sprache. Für Python ist es so einfach wie die Ausführung von pip install rerun-sdk.
2. Initialisierung: Initialisieren Sie in Ihrem Anwendungscode die Rerun-Bibliothek und verbinden Sie sich mit einem Viewer. Sie können einen neuen Viewer-Prozess starten, sich mit einem entfernten verbinden oder zur späteren Ansicht in eine Datei protokollieren. Beispiel: rr.init("my_application", spawn=True).
3. Daten protokollieren: Verwenden Sie die Funktion rr.log(), um Daten an den Viewer zu senden. Rerun bietet integrierte Archetypen für gängige Datentypen wie 3D-Punkte (rr.Points3D), Bilder (rr.Image), 3D-Transformationen (rr.Transform3D) und sogar Live-Videoströme (rr.VideoStream). Sie können Positionen, Farben, Text, Tensoren und mehr protokollieren.
4. Visualisierung: Der Rerun Viewer zeigt Ihre protokollierten Daten automatisch an. Sie können mit der Visualisierung interagieren, indem Sie sie drehen, schwenken und zoomen. Verwenden Sie den Zeitleistenregler am unteren Rand, um durch die Zeit zu navigieren, die Sequenz abzuspielen oder zu bestimmten Ereignissen zu springen.
5. Anpassung und Analyse: Passen Sie Layouts und Visualisierungen direkt in der Benutzeroberfläche oder programmgesteuert über das SDK an. Für eine tiefere Analyse verwenden Sie die Abfrage-APIs von Rerun, um zeitlich ausgerichtete Daten aus Ihren Aufzeichnungen in Formate wie Apache Arrow zu extrahieren, die leicht in Datenanalysebibliotheken wie Pandas oder Polars geladen werden können.

Kernfunktionen von Rerun

• Multimodale Visualisierung: Unterstützt nativ eine breite Palette von Datentypen, einschließlich 3D-Punktwolken, Bildern, Text, Tensoren, 3D/2D-geometrischen Formen und Transformationen.
• Fokus auf Zeitreihen: Eine zentrale Zeitleiste ermöglicht intuitives Scrubbing und Abspielen von Daten, was für das Debugging dynamischer Systeme entscheidend ist.
• Mehrsprachige SDKs: Bietet benutzerfreundliche SDKs für Python, Rust und C++, um eine breite Kompatibilität mit den meisten Robotik- und KI-Projekten zu gewährleisten.
• Hochleistungs-Viewer: Der Viewer wurde von Grund auf in Rust für hohe Leistung entwickelt und kann große Datensätze reibungslos verarbeiten. Er läuft nativ auf den wichtigsten Betriebssystemen, in modernen Webbrowsern über WebAssembly und kann eingebettet werden.
• Flexibles Datenmodell: Das Entity-Component-System (ECS)-Modell ermöglicht die Protokollierung komplexer, sich entwickelnder Datenstrukturen ohne starre Schemata.
• Live-Streaming & Aufzeichnung: Unterstützt sowohl das Live-Streaming von Daten für Echtzeit-Debugging als auch die Aufzeichnung in effiziente .rrd-Dateien für die Offline-Analyse und den Austausch.
• Bereit für die Robotik: Enthält integrierte Funktionen für die Robotik, wie z. B. einen URDF (Unified Robot Description Format)-Datenlader zur Visualisierung und Animation von Robotermodellen.
• Datenabfrage-API: Ermöglicht die programmatische Extraktion von sauberen, zeitlich ausgerichteten Datensätzen aus unübersichtlichen Protokolldateien und schließt die Lücke zwischen Debugging und Modelltraining.

Anwendungsfälle für Rerun

Rerun ist vielseitig und wird in verschiedenen Bereichen eingesetzt:

• Robotik: Debugging von Roboter-Wahrnehmungsstacks, Visualisierung von Sensorfusion (LIDAR, Kamera, IMU), Animation der Kinematik von Roboterarmen und Analyse von Simulationsprotokollen. Das LeRobot-Projekt von Hugging Face verwendet Rerun für seine Visualisierungstools.
• Computer Vision: Visualisierung der Zwischenschritte und Endergebnisse von Algorithmen zur Objekterkennung, semantischen Segmentierung, SLAM (Simultaneous Localization and Mapping) und 3D-Rekonstruktion.
• Spatial & Embodied AI: Verständnis des Verhaltens von KI-Agenten in simulierten oder realen Umgebungen durch Protokollierung ihrer Wahrnehmungen, Zustände und Aktionen im Zeitverlauf.
• Generative Medien: Visualisierung der Entwicklung von generativen Modellen, z. B. die Ansicht des Diffusionsprozesses in Bildgenerierungsmodellen Bild für Bild.
• Simulationen: Protokollierung und Wiedergabe komplexer physikalischer oder Multi-Agenten-Simulationen, um emergentes Verhalten zu verstehen und die Systemdynamik zu debuggen.

Vorteile von Rerun

Rerun bietet erhebliche Vorteile für Entwickler im Bereich der Physical AI:

• Intuitives Debugging: Die 'Zeitreise'-Funktion verwandelt das Debugging von einem mühsamen, auf Druckausgaben basierenden Prozess in eine intuitive, visuelle Erkundung.
• Beschleunigte Entwicklung: Indem es leicht gemacht wird, zu 'sehen', was Ihr Code tut, reduziert Rerun die Zeit zur Identifizierung und Behebung von Fehlern in komplexen Systemen drastisch.
• Verbesserte Zusammenarbeit: Die .rrd-Protokolldateien von Rerun sind eigenständig und portabel, was den einfachen Austausch komplexer Szenarien mit Teamkollegen für kollaboratives Debugging ermöglicht.
• Open Source und Community-getrieben: Die Kern-Visualisierungstools sind kostenlos, Open Source (unter MIT/Apache 2 lizenziert) und werden aktiv unter Einbeziehung einer wachsenden Community entwickelt.
• Skalierbare Architektur: Die Plattform ist so konzipiert, dass sie von einem einfachen Skript auf einem Laptop bis zu einer groß angelegten Datenmanagementlösung mit ihrem bevorstehenden kommerziellen Angebot skaliert werden kann.

Preise und Pläne

Rerun arbeitet nach einem Freemium-Modell:

• Open Source: Die Kern-SDKs und der Viewer von Rerun sind vollständig kostenlos und Open Source. Dies umfasst alle Visualisierungs-, Protokollierungs- und einfachen Protokollverarbeitungsfunktionen. Es ist doppelt lizenziert unter MIT und Apache 2.
• Kommerziell: Rerun entwickelt eine kommerzielle Cloud-Plattform für das Datenmanagement im großen Maßstab. Diese wird eine verwaltete Infrastruktur für die Aufnahme, Speicherung, Indizierung und das Streaming von groß angelegten Physical AI-Daten bereitstellen. Dieses Produkt befindet sich derzeit in der Entwicklung mit ausgewählten Designpartnern, und Interessenten können sich für eine Warteliste anmelden.