Rerun

Rerun은 로보틱스, 공간 컴퓨팅, 체화된 AI를 포함하는 신흥 분야인 물리적 AI(Physical AI)를 위해 설계된 전문 데이터 스택입니다. 멀티모달 시계열 데이터의 복잡성을 처리하기 위해 설계된 포괄적인 오픈 소스 도구 모음을 제공합니다. Rerun의 핵심은 개발자와 연구원이 전례 없는 선명도로 시스템을 보고, 이해하고, 디버깅할 수 있도록 하는 강력한 시각화 및 로깅 솔루션을 제공하는 것입니다. Python, C++, Rust와 같은 인기 있는 언어로 SDK를 제공함으로써 Rerun은 기존 개발 워크플로우에 원활하게 통합되어 복잡한 센서 데이터, 시뮬레이션 또는 물리적 세계와 상호 작용하는 AI 모델을 다루는 모든 사람에게 필수적인 도구가 됩니다.

이 플랫폼은 시간에 민감한 엔티티 컴포넌트 시스템(ECS) 데이터 모델을 기반으로 구축되었으며, 이는 이기종 데이터 스트림(예: 3D 포인트 클라우드, 이미지, 변환, 비디오 스트림)을 처리하면서 시간을 완벽하게 동기화하는 데 특히 적합합니다. 이를 통해 사용자가 녹화 내용을 스크러빙하여 문제가 발생한 정확한 순간을 찾아낼 수 있는 직관적인 '시간 여행' 디버깅이 가능합니다. Rerun 뷰어는 고성능 대화형 애플리케이션으로, 네이티브, 브라우저에서 실행되거나 Jupyter 노트북 및 기타 애플리케이션에 직접 내장될 수 있어 최고의 유연성을 제공합니다.

Rerun 사용 방법

Rerun은 사용하기 쉽게 설계되어 몇 분 안에 데이터 시각화를 시작할 수 있습니다. 일반적인 워크플로우는 다음과 같습니다.

1. 설치: 선호하는 언어용 Rerun SDK를 설치합니다. Python의 경우 pip install rerun-sdk를 실행하기만 하면 됩니다.
2. 초기화: 애플리케이션 코드에서 Rerun 라이브러리를 초기화하고 뷰어에 연결합니다. 새 뷰어 프로세스를 생성하거나, 원격 뷰어에 연결하거나, 나중에 볼 수 있도록 파일에 로그를 기록할 수 있습니다. 예: rr.init("my_application", spawn=True).
3. 데이터 로깅: rr.log() 함수를 사용하여 뷰어에 데이터를 보냅니다. Rerun은 3D 포인트(rr.Points3D), 이미지(rr.Image), 3D 변환(rr.Transform3D), 실시간 비디오 스트림(rr.VideoStream)과 같은 일반적인 데이터 유형에 대한 내장 아키타입을 제공합니다. 위치, 색상, 텍스트, 텐서 등을 기록할 수 있습니다.
4. 시각화: Rerun 뷰어는 기록된 데이터를 자동으로 표시합니다. 회전, 이동, 확대를 통해 시각화와 상호 작용할 수 있습니다. 하단의 타임라인 슬라이더를 사용하여 시간을 탐색하고, 시퀀스를 재생하거나, 특정 이벤트로 이동할 수 있습니다.
5. 사용자 정의 및 분석: UI에서 직접 또는 SDK를 통해 프로그래밍 방식으로 레이아웃과 시각화를 사용자 정의합니다. 심층 분석을 위해 Rerun의 쿼리 API를 사용하여 녹화에서 시간 정렬된 데이터를 Apache Arrow와 같은 형식으로 추출하여 Pandas나 Polars와 같은 데이터 분석 라이브러리로 쉽게 로드할 수 있습니다.

Rerun의 핵심 기능

• 멀티모달 시각화: 3D 포인트 클라우드, 이미지, 텍스트, 텐서, 3D/2D 기하학적 모양 및 변환을 포함한 광범위한 데이터 유형을 기본적으로 지원합니다.
• 시계열 중심: 중앙 타임라인을 통해 데이터를 직관적으로 스크러빙하고 재생할 수 있어 동적 시스템 디버깅에 매우 중요합니다.
• 다국어 SDK: 사용하기 쉬운 Python, Rust, C++용 SDK를 제공하여 대부분의 로보틱스 및 AI 프로젝트와 광범위한 호환성을 보장합니다.
• 고성능 뷰어: 성능을 위해 Rust로 처음부터 구축된 뷰어는 대용량 데이터 세트를 원활하게 처리할 수 있습니다. 주요 OS에서 네이티브로 실행되고, WebAssembly를 통해 최신 웹 브라우저에서 실행되며, 내장될 수 있습니다.
• 유연한 데이터 모델: 엔티티 컴포넌트 시스템(ECS) 모델을 통해 엄격한 스키마 없이 복잡하고 진화하는 데이터 구조를 기록할 수 있습니다.
• 라이브 스트리밍 및 녹화: 실시간 디버깅을 위한 데이터 라이브 스트리밍과 오프라인 분석 및 공유를 위한 효율적인 .rrd 파일로의 녹화를 모두 지원합니다.
• 로보틱스 준비 완료: 로봇 모델을 시각화하고 애니메이션화하기 위한 URDF(Unified Robot Description Format) 데이터 로더와 같은 로보틱스를 위한 내장 기능을 포함합니다.
• 데이터 쿼리 API: 복잡한 로그 파일에서 깨끗하고 시간 정렬된 데이터 세트를 프로그래밍 방식으로 추출하여 디버깅과 모델 훈련 간의 격차를 해소합니다.

Rerun의 사용 사례

Rerun은 다양한 분야에서 다용도로 사용됩니다.

• 로보틱스: 로봇 인식 스택 디버깅, 센서 융합(LIDAR, 카메라, IMU) 시각화, 로봇 팔 기구학 애니메이션, 시뮬레이션 로그 분석. Hugging Face LeRobot 프로젝트는 시각화 도구로 Rerun을 사용합니다.
• 컴퓨터 비전: 객체 감지, 시맨틱 분할, SLAM(동시적 위치 추정 및 지도 작성), 3D 재구성 알고리즘의 중간 단계 및 최종 출력 시각화.
• 공간 및 체화된 AI: 시뮬레이션 또는 실제 환경에서 AI 에이전트의 인식, 상태, 행동을 시간 경과에 따라 기록하여 그 행동을 이해합니다.
• 생성 미디어: 이미지 생성 모델의 확산 과정을 프레임별로 보는 등 생성 모델의 진화를 시각화합니다.
• 시뮬레이션: 복잡한 물리적 또는 다중 에이전트 시뮬레이션을 기록하고 재생하여 창발적 행동을 이해하고 시스템 동역학을 디버깅합니다.

Rerun의 장점

Rerun은 물리적 AI 분야의 개발자에게 상당한 이점을 제공합니다.

• 직관적인 디버깅: '시간 여행' 기능은 디버깅을 지루한 프린트 기반 프로세스에서 직관적인 시각적 탐색으로 전환합니다.
• 개발 가속화: 코드가 무엇을 하는지 쉽게 '볼 수 있게' 함으로써 Rerun은 복잡한 시스템에서 버그를 식별하고 수정하는 데 걸리는 시간을 대폭 단축합니다.
• 협업 개선: Rerun의 .rrd 로그 파일은 독립적이고 이식 가능하여 협업 디버깅을 위해 복잡한 시나리오를 팀원과 쉽게 공유할 수 있습니다.
• 오픈 소스 및 커뮤니티 주도: 핵심 시각화 도구는 무료이며 오픈 소스(MIT/Apache 2 라이선스)이며 성장하는 커뮤니티의 의견을 반영하여 적극적으로 개발됩니다.
• 확장 가능한 아키텍처: 이 플랫폼은 노트북의 간단한 스크립트에서 곧 출시될 상용 제품을 통한 대규모 데이터 관리 솔루션까지 확장되도록 설계되었습니다.

가격 및 플랜

Rerun은 프리미엄(freemium) 모델로 운영됩니다.

• 오픈 소스: 핵심 Rerun SDK 및 뷰어는 완전히 무료이며 오픈 소스입니다. 여기에는 모든 시각화, 로깅 및 간단한 로그 처리 기능이 포함됩니다. MIT 및 Apache 2 이중 라이선스가 적용됩니다.
• 상용: Rerun은 대규모 데이터 관리를 위해 설계된 상용 클라우드 플랫폼을 개발하고 있습니다. 이는 대규모 물리적 AI 데이터의 수집, 저장, 인덱싱 및 스트리밍을 위한 관리형 인프라를 제공할 것입니다. 이 제품은 현재 일부 디자인 파트너와 함께 개발 중이며, 관심 있는 당사자는 대기자 명단에 등록할 수 있습니다.