Rerun

Rerun 是一個專為新興的「實體AI」（Physical AI）領域設計的專業資料堆疊，該領域涵蓋機器人技術、空間計算和具身智能。它提供了一套全面的開源工具，旨在處理多模態、時間序列資料的複雜性。其核心在於，Rerun 提供了一個強大的視覺化和日誌記錄解決方案，使開發人員和研究人員能夠以前所未有的清晰度來觀察、理解和偵錯他們的系統。透過為 Python、C++ 和 Rust 等流行語言提供 SDK，Rerun 能夠無縫整合到現有的開發工作流程中，使其成為任何處理複雜感測器資料、模擬或與實體世界互動的 AI 模型的開發者的必備工具。

該平台圍繞一個具有時間感知能力的實體組件系統（ECS）資料模型建構，該模型特別適合處理異構資料流（例如，3D 點雲、影像、變換、視訊流），同時保持它們在時間上的完美同步。這使得直觀的「時間旅行」偵錯成為可能，使用者可以拖動時間軸來精確定位問題發生的確切時刻。Rerun 檢視器是一個高效能的互動式應用程式，可以原生執行、在瀏覽器中執行，也可以直接嵌入到 Jupyter 筆記本和其他應用程式中，提供了極大的靈活性。

如何使用 Rerun

Rerun 的使用設計得非常簡單，讓您可以在幾分鐘內開始視覺化資料。以下是典型的工作流程：

1. 安裝：為您偏好的語言安裝 Rerun SDK。對於 Python，只需執行 pip install rerun-sdk 即可。
2. 初始化：在您的應用程式程式碼中，初始化 Rerun 函式庫並連接到檢視器。您可以啟動一個新的檢視器程序，連接到遠端檢視器，或將日誌記錄到檔案中以便稍後檢視。範例：rr.init("my_application", spawn=True)。
3. 記錄資料：使用 rr.log() 函數將資料傳送到檢視器。Rerun 為常見資料類型提供了內建的原型，如 3D 點（rr.Points3D）、影像（rr.Image）、3D 變換（rr.Transform3D），甚至即時視訊流（rr.VideoStream）。您可以記錄位置、顏色、文字、張量等。
4. 視覺化：Rerun 檢視器將自動顯示您記錄的資料。您可以透過旋轉、平移和縮放與視覺化進行互動。使用底部的時間軸滑桿在時間中導航，回放序列，或跳轉到特定事件。
5. 自訂與分析：直接在使用者介面中或透過 SDK 以程式設計方式自訂佈局和視覺化。為了進行更深入的分析，可以使用 Rerun 的查詢 API 從您的記錄中提取時間對齊的資料，並將其轉換為 Apache Arrow 等格式，這些格式可以輕鬆載入到 Pandas 或 Polars 等資料分析函式庫中。

Rerun 的核心功能

• 多模態視覺化：原生支援廣泛的資料類型，包括 3D 點雲、影像、文字、張量、3D/2D 幾何形狀和變換。
• 時間序列為中心：中央時間軸允許直觀地拖動和回放資料，這對於偵錯動態系統至關重要。
• 多語言 SDK：提供易於使用的 Python、Rust 和 C++ SDK，確保與大多數機器人和 AI 專案的廣泛相容性。
• 高效能檢視器：檢視器從頭開始用 Rust 建構以追求效能，可以流暢地處理大型資料集。它可以在主流作業系統上原生執行，透過 WebAssembly 在現代網路瀏覽器中執行，並且可以被嵌入。
• 靈活的資料模型：實體組件系統（ECS）模型允許記錄複雜的、不斷演變的資料結構，而無需嚴格的模式。
• 即時串流與記錄：支援即時資料串流以進行即時偵錯，也支援記錄到高效的 .rrd 檔案中以供離線分析和共享。
• 為機器人技術準備：包含專為機器人技術設計的內建功能，例如 URDF（統一機器人描述格式）資料載入器，用於視覺化和動畫化機器人模型。
• 資料查詢 API：能夠從混亂的日誌檔案中以程式設計方式提取乾淨、時間對齊的資料集，彌合了偵錯和模型訓練之間的差距。

Rerun 的使用案例

Rerun 用途廣泛，應用於多個領域：

• 機器人技術：偵錯機器人感知堆疊，視覺化感測器融合（光達、攝影機、IMU），動畫化機器人手臂運動學，以及分析模擬日誌。Hugging Face 的 LeRobot 專案就使用 Rerun 作為其視覺化工具。
• 電腦視覺：視覺化物體偵測、語意分割、SLAM（同步定位與建圖）和 3D 重建等演算法的中間步驟和最終輸出。
• 空間與具身智能：透過記錄 AI 代理在模擬或現實世界環境中的感知、狀態和行動，來理解其行為。
• 生成式媒體：視覺化生成模型（如影像生成模型中的擴散過程）的演變過程，逐幀檢視。
• 模擬：記錄和回放複雜的實體或多代理模擬，以理解湧現行為並偵錯系統動態。

Rerun 的優勢特點

Rerun 為實體 AI 領域的開發人員提供了顯著優勢：

• 直觀的偵錯：「時間旅行」功能將偵錯從繁瑣的、基於列印輸出的過程轉變為直觀的、視覺化的探索。
• 加速開發：透過讓您輕鬆「看到」程式碼在做什麼，Rerun 極大地減少了在複雜系統中識別和修復錯誤所需的時間。
• 改善協作：Rerun 的 .rrd 日誌檔案是自包含且可移植的，便於與團隊成員共享複雜場景以進行協作偵錯。
• 開源與社群驅動：核心視覺化工具是免費、開源的（採用 MIT/Apache 2 雙重授權），並在不斷增長的社群的參與下積極開發。
• 可擴展的架構：該平台旨在從筆記型電腦上的簡單腳本擴展到其即將推出的商業產品所提供的大規模資料管理解決方案。

定價和計劃

Rerun 採用免費增值模式：

• 開源版：核心的 Rerun SDK 和檢視器完全免費且開源。這包括所有的視覺化、日誌記錄和簡單的日誌處理功能。它採用 MIT 和 Apache 2 雙重授權。
• 商業版：Rerun 正在開發一個商業雲端平台，專為大規模資料管理而設計。這將為大規模實體 AI 資料的採集、儲存、索引和串流傳輸提供託管基礎設施。該產品目前正與部分設計合作夥伴共同開發，感興趣的用戶可以註冊加入等待名單。