Rerun

Rerun 是一个专为新兴的“物理AI”（Physical AI）领域设计的专业数据栈，该领域涵盖机器人技术、空间计算和具身智能。它提供了一套全面的开源工具，旨在处理多模态、时间序列数据的复杂性。其核心在于，Rerun 提供了一个强大的可视化和日志记录解决方案，使开发人员和研究人员能够以前所未有的清晰度来观察、理解和调试他们的系统。通过为 Python、C++ 和 Rust 等流行语言提供 SDK，Rerun 能够无缝集成到现有的开发工作流程中，使其成为任何处理复杂传感器数据、模拟或与物理世界互动的 AI 模型的开发者的必备工具。

该平台围绕一个具有时间感知能力的实体组件系统（ECS）数据模型构建，该模型特别适合处理异构数据流（例如，3D 点云、图像、变换、视频流），同时保持它们在时间上的完美同步。这使得直观的“时间旅行”调试成为可能，用户可以拖动时间轴来精确定位问题发生的确切时刻。Rerun 查看器是一个高性能的交互式应用程序，可以原生运行、在浏览器中运行，也可以直接嵌入到 Jupyter 笔记本和其他应用程序中，提供了极大的灵活性。

如何使用 Rerun

Rerun 的使用设计得非常简单，让您可以在几分钟内开始可视化数据。以下是典型的工作流程：

1. 安装：为您偏好的语言安装 Rerun SDK。对于 Python，只需运行 pip install rerun-sdk 即可。
2. 初始化：在您的应用程序代码中，初始化 Rerun 库并连接到查看器。您可以启动一个新的查看器进程，连接到远程查看器，或将日志记录到文件中以便稍后查看。示例：rr.init("my_application", spawn=True)。
3. 记录数据：使用 rr.log() 函数将数据发送到查看器。Rerun 为常见数据类型提供了内置的原型，如 3D 点（rr.Points3D）、图像（rr.Image）、3D 变换（rr.Transform3D），甚至实时视频流（rr.VideoStream）。您可以记录位置、颜色、文本、张量等。
4. 可视化：Rerun 查看器将自动显示您记录的数据。您可以通过旋转、平移和缩放与可视化进行交互。使用底部的时间轴滑块在时间中导航，回放序列，或跳转到特定事件。
5. 自定义与分析：直接在用户界面中或通过 SDK 以编程方式自定义布局和可视化。为了进行更深入的分析，可以使用 Rerun 的查询 API 从您的记录中提取时间对齐的数据，并将其转换为 Apache Arrow 等格式，这些格式可以轻松加载到 Pandas 或 Polars 等数据分析库中。

Rerun 的核心功能

• 多模态可视化：原生支持广泛的数据类型，包括 3D 点云、图像、文本、张量、3D/2D 几何形状和变换。
• 时间序列为中心：中央时间轴允许直观地拖动和回放数据，这对于调试动态系统至关重要。
• 多语言 SDK：提供易于使用的 Python、Rust 和 C++ SDK，确保与大多数机器人和 AI 项目的广泛兼容性。
• 高性能查看器：查看器从头开始用 Rust 构建以追求性能，可以流畅地处理大型数据集。它可以在主流操作系统上原生运行，通过 WebAssembly 在现代网络浏览器中运行，并且可以被嵌入。
• 灵活的数据模型：实体组件系统（ECS）模型允许记录复杂的、不断演变的数据结构，而无需严格的模式。
• 实时流式传输与记录：支持实时数据流式传输以进行实时调试，也支持记录到高效的 .rrd 文件中以供离线分析和共享。
• 为机器人技术准备：包含专为机器人技术设计的内置功能，例如 URDF（统一机器人描述格式）数据加载器，用于可视化和动画化机器人模型。
• 数据查询 API：能够从混乱的日志文件中以编程方式提取干净、时间对齐的数据集，弥合了调试和模型训练之间的差距。

Rerun 的使用案例

Rerun 用途广泛，应用于多个领域：

• 机器人技术：调试机器人感知堆栈，可视化传感器融合（激光雷达、摄像头、IMU），动画化机器人手臂运动学，以及分析模拟日志。Hugging Face 的 LeRobot 项目就使用 Rerun 作为其可视化工具。
• 计算机视觉：可视化物体检测、语义分割、SLAM（同步定位与建图）和 3D 重建等算法的中间步骤和最终输出。
• 空间与具身智能：通过记录 AI 代理在模拟或现实世界环境中的感知、状态和行动，来理解其行为。
• 生成式媒体：可视化生成模型（如图像生成模型中的扩散过程）的演变过程，逐帧查看。
• 模拟：记录和回放复杂的物理或多代理模拟，以理解涌现行为并调试系统动态。

Rerun 的优势特点

Rerun 为物理 AI 领域的开发人员提供了显著优势：

• 直观的调试：“时间旅行”功能将调试从繁琐的、基于打印输出的过程转变为直观的、可视化的探索。
• 加速开发：通过让您轻松“看到”代码在做什么，Rerun 极大地减少了在复杂系统中识别和修复错误所需的时间。
• 改善协作：Rerun 的 .rrd 日志文件是自包含且可移植的，便于与团队成员共享复杂场景以进行协作调试。
• 开源与社区驱动：核心可视化工具是免费、开源的（采用 MIT/Apache 2 双重许可），并在不断增长的社区的参与下积极开发。
• 可扩展的架构：该平台旨在从笔记本电脑上的简单脚本扩展到其即将推出的商业产品所提供的大规模数据管理解决方案。

定价和计划

Rerun 采用免费增值模式：

• 开源版：核心的 Rerun SDK 和查看器完全免费且开源。这包括所有的可视化、日志记录和简单的日志处理功能。它采用 MIT 和 Apache 2 双重许可。
• 商业版：Rerun 正在开发一个商业云平台，专为大规模数据管理而设计。这将为大规模物理 AI 数据的采集、存储、索引和流式传输提供托管基础设施。该产品目前正与部分设计合作伙伴共同开发，感兴趣的用户可以注册加入等待名单。