Rerun

Rerun é uma pilha de dados especializada, projetada para o campo emergente da IA Física (Physical AI), que abrange robótica, computação espacial e IA incorporada. Oferece um conjunto abrangente de ferramentas de código aberto projetadas para lidar com as complexidades de dados multimodais e de séries temporais. Em sua essência, o Rerun fornece uma poderosa solução de visualização e registro que permite a desenvolvedores e pesquisadores ver, entender e depurar seus sistemas com uma clareza sem precedentes. Ao oferecer SDKs em linguagens populares como Python, C++ e Rust, o Rerun se integra perfeitamente aos fluxos de trabalho de desenvolvimento existentes, tornando-se uma ferramenta essencial para qualquer pessoa que trabalhe com dados de sensores complexos, simulações ou modelos de IA que interagem com o mundo físico.

A plataforma é construída em torno de um modelo de dados de Sistema de Componentes de Entidade (ECS) ciente do tempo, que é excepcionalmente adequado para lidar com fluxos de dados heterogêneos (por exemplo, nuvens de pontos 3D, imagens, transformações, fluxos de vídeo), mantendo-os perfeitamente sincronizados no tempo. Isso permite uma depuração intuitiva de 'viagem no tempo', onde os usuários podem percorrer uma gravação para identificar o momento exato em que um problema ocorreu. O Rerun Viewer é um aplicativo interativo de alto desempenho que roda nativamente, no navegador, ou pode ser incorporado diretamente em notebooks Jupyter e outras aplicações, oferecendo máxima flexibilidade.

Como usar o Rerun

Usar o Rerun é projetado para ser simples, permitindo que você comece a visualizar dados em minutos. Aqui está um fluxo de trabalho típico:

1. Instalação: Instale o SDK do Rerun para sua linguagem preferida. Para Python, é tão simples quanto executar pip install rerun-sdk.
2. Inicialização: Em seu código de aplicação, inicialize a biblioteca Rerun e conecte-se a um visualizador. Você pode gerar um novo processo de visualizador, conectar-se a um remoto ou registrar em um arquivo para visualização posterior. Exemplo: rr.init("my_application", spawn=True).
3. Registro de Dados: Use a função rr.log() para enviar dados ao visualizador. O Rerun fornece arquétipos integrados para tipos de dados comuns como pontos 3D (rr.Points3D), imagens (rr.Image), transformações 3D (rr.Transform3D) e até mesmo fluxos de vídeo ao vivo (rr.VideoStream). Você pode registrar posições, cores, texto, tensores e muito mais.
4. Visualização: O Rerun Viewer exibirá automaticamente seus dados registrados. Você pode interagir com a visualização girando, movendo e ampliando. Use o controle deslizante da linha do tempo na parte inferior para navegar no tempo, reproduzir a sequência ou pular para eventos específicos.
5. Customização e Análise: Personalize layouts e visualizações diretamente na interface do usuário ou programaticamente através do SDK. Para uma análise mais aprofundada, use as APIs de consulta do Rerun para extrair dados alinhados no tempo de suas gravações para formatos como Apache Arrow, que podem ser facilmente carregados em bibliotecas de análise de dados como Pandas ou Polars.

Recursos principais do Rerun

• Visualização Multimodal: Suporta nativamente uma ampla gama de tipos de dados, incluindo nuvens de pontos 3D, imagens, texto, tensores, formas geométricas 3D/2D e transformações.
• Foco em Séries Temporais: Uma linha do tempo central permite a rolagem e reprodução intuitiva de dados, o que é crucial para a depuração de sistemas dinâmicos.
• SDKs Multilíngues: Fornece SDKs fáceis de usar para Python, Rust e C++, garantindo ampla compatibilidade com a maioria dos projetos de robótica e IA.
• Visualizador de Alto Desempenho: Construído do zero em Rust para desempenho, o visualizador pode lidar com grandes conjuntos de dados sem problemas. Ele roda nativamente nos principais sistemas operacionais, em navegadores web modernos via WebAssembly, e pode ser incorporado.
• Modelo de Dados Flexível: O modelo de Sistema de Componentes de Entidade (ECS) permite o registro de estruturas de dados complexas e em evolução sem esquemas rígidos.
• Streaming e Gravação ao Vivo: Suporta tanto o streaming de dados ao vivo para depuração em tempo real quanto a gravação em arquivos .rrd eficientes para análise offline e compartilhamento.
• Pronto para Robótica: Inclui recursos integrados para robótica, como um carregador de dados URDF (Unified Robot Description Format) para visualizar e animar modelos de robôs.
• API de Consulta de Dados: Permite a extração programática de conjuntos de dados limpos e alinhados no tempo de arquivos de log desorganizados, preenchendo a lacuna entre a depuração e o treinamento de modelos.

Casos de uso para o Rerun

O Rerun é versátil e usado em vários domínios:

• Robótica: Depuração de pilhas de percepção de robôs, visualização de fusão de sensores (LIDAR, câmera, IMU), animação da cinemática de braços de robôs e análise de logs de simulação. O projeto LeRobot da Hugging Face usa o Rerun para suas ferramentas de visualização.
• Visão Computacional: Visualização das etapas intermediárias e saídas finais de algoritmos para detecção de objetos, segmentação semântica, SLAM (Localização e Mapeamento Simultâneos) e reconstrução 3D.
• IA Espacial e Incorporada: Compreensão do comportamento de agentes de IA em ambientes simulados ou do mundo real, registrando suas percepções, estados e ações ao longo do tempo.
• Mídia Generativa: Visualização da evolução de modelos generativos, como ver o processo de difusão em modelos de geração de imagens quadro a quadro.
• Simulações: Registro e reprodução de simulações físicas ou multiagentes complexas para entender comportamentos emergentes e depurar a dinâmica do sistema.

Vantagens do Rerun

O Rerun oferece vantagens significativas para desenvolvedores no espaço da IA Física:

• Depuração Intuitiva: O recurso de 'viagem no tempo' transforma a depuração de um processo tedioso baseado em impressões em uma exploração visual e intuitiva.
• Desenvolvimento Acelerado: Ao facilitar a 'visualização' do que seu código está fazendo, o Rerun reduz drasticamente o tempo necessário para identificar e corrigir bugs em sistemas complexos.
• Colaboração Aprimorada: Os arquivos de log .rrd do Rerun são autocontidos e portáteis, facilitando o compartilhamento de cenários complexos com colegas de equipe para depuração colaborativa.
• Código Aberto e Orientado pela Comunidade: As ferramentas de visualização principais são gratuitas, de código aberto (licenciadas sob MIT/Apache 2) e desenvolvidas ativamente com a contribuição de uma comunidade crescente.
• Arquitetura Escalável: A plataforma é projetada para escalar de um simples script em um laptop para uma solução de gerenciamento de dados em grande escala com sua futura oferta comercial.

Preços e planos

O Rerun opera em um modelo freemium:

• Código Aberto: Os SDKs e o Viewer principais do Rerun são completamente gratuitos e de código aberto. Isso inclui todas as funcionalidades de visualização, registro e manuseio simples de logs. É duplamente licenciado sob MIT e Apache 2.
• Comercial: O Rerun está desenvolvendo uma plataforma em nuvem comercial projetada para gerenciamento de dados em escala. Isso fornecerá infraestrutura gerenciada para ingestão, armazenamento, indexação e streaming de dados de IA Física em grande escala. Este produto está atualmente em desenvolvimento com parceiros de design selecionados, e as partes interessadas podem se inscrever em uma lista de espera.