Rerun

Rerun es una pila de datos especializada diseñada para el campo emergente de la IA Física (Physical AI), que abarca la robótica, la computación espacial y la IA corporeizada. Ofrece un conjunto completo de herramientas de código abierto diseñadas para manejar las complejidades de los datos multimodales y de series temporales. En su núcleo, Rerun proporciona una potente solución de visualización y registro que permite a los desarrolladores e investigadores ver, comprender y depurar sus sistemas con una claridad sin precedentes. Al ofrecer SDK en lenguajes populares como Python, C++ y Rust, Rerun se integra perfectamente en los flujos de trabajo de desarrollo existentes, convirtiéndose en una herramienta esencial para cualquiera que trabaje con datos de sensores complejos, simulaciones o modelos de IA que interactúan con el mundo físico.

La plataforma se basa en un modelo de datos de Sistema de Componentes de Entidad (ECS) consciente del tiempo, que es excepcionalmente adecuado para manejar flujos de datos heterogéneos (por ejemplo, nubes de puntos 3D, imágenes, transformaciones, flujos de video) manteniéndolos perfectamente sincronizados en el tiempo. Esto permite una depuración intuitiva de 'viaje en el tiempo', donde los usuarios pueden recorrer una grabación para identificar el momento exacto en que ocurrió un problema. El Visor de Rerun es una aplicación interactiva de alto rendimiento que se ejecuta de forma nativa, en el navegador, o puede incrustarse directamente en cuadernos de Jupyter y otras aplicaciones, ofreciendo la máxima flexibilidad.

Cómo usar Rerun

Usar Rerun está diseñado para ser sencillo, permitiéndote comenzar a visualizar datos en minutos. Aquí hay un flujo de trabajo típico:

1. Instalación: Instala el SDK de Rerun para tu lenguaje preferido. Para Python, es tan simple como ejecutar pip install rerun-sdk.
2. Inicialización: En el código de tu aplicación, inicializa la biblioteca Rerun y conéctate a un visor. Puedes generar un nuevo proceso de visor, conectarte a uno remoto o registrar en un archivo para su visualización posterior. Ejemplo: rr.init("my_application", spawn=True).
3. Registro de Datos: Usa la función rr.log() para enviar datos al visor. Rerun proporciona arquetipos integrados para tipos de datos comunes como puntos 3D (rr.Points3D), imágenes (rr.Image), transformaciones 3D (rr.Transform3D) e incluso flujos de video en vivo (rr.VideoStream). Puedes registrar posiciones, colores, texto, tensores y más.
4. Visualización: El Visor de Rerun mostrará automáticamente tus datos registrados. Puedes interactuar con la visualización rotando, desplazando y haciendo zoom. Usa el control deslizante de la línea de tiempo en la parte inferior para navegar a través del tiempo, reproducir la secuencia o saltar a eventos específicos.
5. Personalización y Análisis: Personaliza diseños y visualizaciones directamente en la interfaz de usuario o programáticamente a través del SDK. Para un análisis más profundo, utiliza las API de consulta de Rerun para extraer datos alineados en el tiempo de tus grabaciones en formatos como Apache Arrow, que se pueden cargar fácilmente en bibliotecas de análisis de datos como Pandas o Polars.

Características principales de Rerun

• Visualización Multimodal: Soporta de forma nativa una amplia gama de tipos de datos, incluyendo nubes de puntos 3D, imágenes, texto, tensores, formas geométricas 3D/2D y transformaciones.
• Enfoque en Series Temporales: Una línea de tiempo central permite un desplazamiento y reproducción intuitivos de los datos, lo cual es crucial para depurar sistemas dinámicos.
• SDK Multilenguaje: Proporciona SDK fáciles de usar para Python, Rust y C++, asegurando una amplia compatibilidad con la mayoría de los proyectos de robótica e IA.
• Visor de Alto Rendimiento: Construido desde cero en Rust para un rendimiento óptimo, el visor puede manejar grandes conjuntos de datos sin problemas. Se ejecuta de forma nativa en los principales sistemas operativos, en navegadores web modernos a través de WebAssembly, y puede ser incrustado.
• Modelo de Datos Flexible: El modelo de Sistema de Componentes de Entidad (ECS) permite registrar estructuras de datos complejas y en evolución sin esquemas rígidos.
• Transmisión y Grabación en Vivo: Admite tanto la transmisión de datos en vivo para la depuración en tiempo real como la grabación en archivos .rrd eficientes para el análisis sin conexión y el intercambio.
• Listo para Robótica: Incluye características integradas para la robótica, como un cargador de datos URDF (Unified Robot Description Format) para visualizar y animar modelos de robots.
• API de Consulta de Datos: Permite la extracción programática de conjuntos de datos limpios y alineados en el tiempo de archivos de registro desordenados, cerrando la brecha entre la depuración y el entrenamiento de modelos.

Casos de uso para Rerun

Rerun es versátil y se utiliza en diversos dominios:

• Robótica: Depuración de pilas de percepción de robots, visualización de fusión de sensores (LIDAR, cámara, IMU), animación de la cinemática de brazos robóticos y análisis de registros de simulación. El proyecto LeRobot de Hugging Face utiliza Rerun para sus herramientas de visualización.
• Visión por Computadora: Visualización de los pasos intermedios y los resultados finales de algoritmos para la detección de objetos, la segmentación semántica, SLAM (Localización y Mapeo Simultáneos) y la reconstrucción 3D.
• IA Espacial y Corporeizada: Comprensión del comportamiento de los agentes de IA en entornos simulados o del mundo real mediante el registro de sus percepciones, estados y acciones a lo largo del tiempo.
• Medios Generativos: Visualización de la evolución de modelos generativos, como ver el proceso de difusión en modelos de generación de imágenes cuadro por cuadro.
• Simulaciones: Registro y reproducción de simulaciones físicas o multiagente complejas para comprender comportamientos emergentes y depurar la dinámica del sistema.

Ventajas de Rerun

Rerun ofrece ventajas significativas para los desarrolladores en el espacio de la IA Física:

• Depuración Intuitiva: La función de 'viaje en el tiempo' transforma la depuración de un proceso tedioso basado en impresiones en una exploración visual e intuitiva.
• Desarrollo Acelerado: Al facilitar la 'visualización' de lo que hace tu código, Rerun reduce drásticamente el tiempo necesario para identificar y corregir errores en sistemas complejos.
• Colaboración Mejorada: Los archivos de registro .rrd de Rerun son autónomos y portátiles, lo que facilita compartir escenarios complejos con compañeros de equipo para la depuración colaborativa.
• Código Abierto y Dirigido por la Comunidad: Las herramientas de visualización principales son gratuitas, de código abierto (con licencia MIT/Apache 2) y se desarrollan activamente con la aportación de una comunidad en crecimiento.
• Arquitectura Escalable: La plataforma está diseñada para escalar desde un simple script en un portátil hasta una solución de gestión de datos a gran escala con su próxima oferta comercial.

Precios y planes

Rerun opera con un modelo freemium:

• Código Abierto: Los SDK y el Visor principales de Rerun son completamente gratuitos y de código abierto. Esto incluye todas las funcionalidades de visualización, registro y manejo simple de registros. Tiene una doble licencia bajo MIT y Apache 2.
• Comercial: Rerun está desarrollando una plataforma en la nube comercial diseñada para la gestión de datos a escala. Esto proporcionará una infraestructura gestionada para la ingesta, el almacenamiento, la indexación y la transmisión de datos de IA Física a gran escala. Este producto se encuentra actualmente en desarrollo con socios de diseño seleccionados, y las partes interesadas pueden inscribirse en una lista de espera.