Rerun

Rerun est une pile de données spécialisée conçue pour le domaine émergent de l'IA Physique (Physical AI), qui englobe la robotique, l'informatique spatiale et l'IA incarnée. Il offre une suite complète d'outils open-source conçus pour gérer les complexités des données multimodales et temporelles. À la base, Rerun fournit une solution puissante de visualisation et de journalisation qui permet aux développeurs et aux chercheurs de voir, de comprendre et de déboguer leurs systèmes avec une clarté sans précédent. En proposant des SDK dans des langages populaires comme Python, C++ et Rust, Rerun s'intègre de manière transparente dans les flux de travail de développement existants, ce qui en fait un outil essentiel pour quiconque travaille avec des données de capteurs complexes, des simulations ou des modèles d'IA qui interagissent avec le monde physique.

La plateforme est construite autour d'un modèle de données de Système de Composants d'Entité (ECS) conscient du temps, qui est particulièrement adapté à la gestion de flux de données hétérogènes (par exemple, des nuages de points 3D, des images, des transformations, des flux vidéo) tout en les gardant parfaitement synchronisés dans le temps. Cela permet un débogage intuitif par 'voyage dans le temps', où les utilisateurs peuvent parcourir un enregistrement pour identifier le moment exact où un problème s'est produit. Le visualiseur Rerun est une application interactive haute performance qui s'exécute nativement, dans le navigateur, ou peut être intégrée directement dans des carnets Jupyter et d'autres applications, offrant une flexibilité maximale.

Comment utiliser Rerun

L'utilisation de Rerun est conçue pour être simple, vous permettant de commencer à visualiser des données en quelques minutes. Voici un flux de travail typique :

1. Installation : Installez le SDK Rerun pour votre langage préféré. Pour Python, c'est aussi simple que d'exécuter pip install rerun-sdk.
2. Initialisation : Dans le code de votre application, initialisez la bibliothèque Rerun et connectez-vous à un visualiseur. Vous pouvez lancer un nouveau processus de visualiseur, vous connecter à un visualiseur distant ou enregistrer dans un fichier pour une visualisation ultérieure. Exemple : rr.init("my_application", spawn=True).
3. Journalisation des données : Utilisez la fonction rr.log() pour envoyer des données au visualiseur. Rerun fournit des archétypes intégrés pour les types de données courants comme les points 3D (rr.Points3D), les images (rr.Image), les transformations 3D (rr.Transform3D) et même les flux vidéo en direct (rr.VideoStream). Vous pouvez enregistrer des positions, des couleurs, du texte, des tenseurs, et plus encore.
4. Visualisation : Le visualiseur Rerun affichera automatiquement vos données enregistrées. Vous pouvez interagir avec la visualisation en la faisant pivoter, en la déplaçant et en zoomant. Utilisez le curseur de la chronologie en bas pour naviguer dans le temps, rejouer la séquence ou sauter à des événements spécifiques.
5. Personnalisation et Analyse : Personnalisez les mises en page et les visualisations directement dans l'interface utilisateur ou par programmation via le SDK. Pour une analyse plus approfondie, utilisez les API de requête de Rerun pour extraire des données alignées dans le temps de vos enregistrements dans des formats comme Apache Arrow, qui peuvent être facilement chargés dans des bibliothèques d'analyse de données comme Pandas ou Polars.

Fonctionnalités principales de Rerun

• Visualisation Multimodale : Prend en charge nativement une large gamme de types de données, y compris les nuages de points 3D, les images, le texte, les tenseurs, les formes géométriques 3D/2D et les transformations.
• Axé sur les Séries Temporelles : Une chronologie centrale permet un parcours et une lecture intuitifs des données, ce qui est crucial pour le débogage des systèmes dynamiques.
• SDK Multilingues : Fournit des SDK faciles à utiliser pour Python, Rust et C++, garantissant une large compatibilité avec la plupart des projets de robotique et d'IA.
• Visualiseur Haute Performance : Construit à partir de zéro en Rust pour la performance, le visualiseur peut gérer de grands ensembles de données en douceur. Il s'exécute nativement sur les principaux systèmes d'exploitation, dans les navigateurs web modernes via WebAssembly, et peut être intégré.
• Modèle de Données Flexible : Le modèle de Système de Composants d'Entité (ECS) permet d'enregistrer des structures de données complexes et évolutives sans schémas rigides.
• Streaming et Enregistrement en Direct : Prend en charge à la fois le streaming de données en direct pour le débogage en temps réel et l'enregistrement dans des fichiers .rrd efficaces pour l'analyse hors ligne et le partage.
• Prêt pour la Robotique : Inclut des fonctionnalités intégrées pour la robotique, comme un chargeur de données URDF (Unified Robot Description Format) pour visualiser et animer des modèles de robots.
• API de Requête de Données : Permet l'extraction programmatique d'ensembles de données propres et alignés dans le temps à partir de fichiers journaux désordonnés, comblant le fossé entre le débogage et l'entraînement de modèles.

Cas d'utilisation pour Rerun

Rerun est polyvalent et utilisé dans divers domaines :

• Robotique : Débogage des piles de perception des robots, visualisation de la fusion de capteurs (LIDAR, caméra, IMU), animation de la cinématique des bras de robot et analyse des journaux de simulation. Le projet LeRobot de Hugging Face utilise Rerun pour ses outils de visualisation.
• Vision par Ordinateur : Visualisation des étapes intermédiaires et des sorties finales des algorithmes de détection d'objets, de segmentation sémantique, de SLAM (Localisation et Cartographie Simultanées) et de reconstruction 3D.
• IA Spatiale et Incarnée : Comprendre le comportement des agents d'IA dans des environnements simulés ou réels en enregistrant leurs perceptions, leurs états et leurs actions au fil du temps.
• Média Génératif : Visualisation de l'évolution des modèles génératifs, comme la visualisation du processus de diffusion dans les modèles de génération d'images image par image.
• Simulations : Enregistrement et relecture de simulations physiques ou multi-agents complexes pour comprendre les comportements émergents et déboguer la dynamique du système.

Avantages de Rerun

Rerun offre des avantages significatifs pour les développeurs dans le domaine de l'IA Physique :

• Débogage Intuitif : La fonction de 'voyage dans le temps' transforme le débogage d'un processus fastidieux basé sur des impressions en une exploration visuelle et intuitive.
• Développement Accéléré : En facilitant la 'visualisation' de ce que fait votre code, Rerun réduit considérablement le temps nécessaire pour identifier et corriger les bogues dans les systèmes complexes.
• Collaboration Améliorée : Les fichiers journaux .rrd de Rerun sont autonomes et portables, ce qui facilite le partage de scénarios complexes avec les coéquipiers pour un débogage collaboratif.
• Open Source et Axé sur la Communauté : Les outils de visualisation de base sont gratuits, open-source (sous licence MIT/Apache 2) et développés activement avec la contribution d'une communauté croissante.
• Architecture Évolutive : La plateforme est conçue pour évoluer d'un simple script sur un ordinateur portable à une solution de gestion de données à grande échelle avec son offre commerciale à venir.

Tarification et plans

Rerun fonctionne sur un modèle freemium :

• Open Source : Les SDK et le visualiseur de base de Rerun sont entièrement gratuits et open-source. Cela inclut toutes les fonctionnalités de visualisation, de journalisation et de gestion simple des journaux. Il est sous double licence MIT et Apache 2.
• Commercial : Rerun développe une plateforme cloud commerciale conçue pour la gestion de données à grande échelle. Celle-ci fournira une infrastructure gérée pour l'ingestion, le stockage, l'indexation et le streaming de données d'IA Physique à grande échelle. Ce produit est actuellement en développement avec des partenaires de conception sélectionnés, et les parties intéressées peuvent s'inscrire sur une liste d'attente.