Rerun

Rerunは、ロボティクス、空間コンピューティング、エンボディードAIを含む新興分野であるフィジカルAI（Physical AI）向けに設計された専門的なデータスタックです。マルチモーダルな時系列データの複雑さを扱うために設計された包括的なオープンソースツール群を提供します。その中核として、Rerunは強力な可視化およびロギングソリューションを提供し、開発者や研究者がこれまでにない明瞭さでシステムを視覚化し、理解し、デバッグできるようにします。Python、C++、Rustといった人気のプログラミング言語用のSDKを提供することで、Rerunは既存の開発ワークフローにシームレスに統合され、複雑なセンサーデータ、シミュレーション、または物理世界と相互作用するAIモデルを扱うすべての人にとって不可欠なツールとなります。

このプラットフォームは、時間認識型のエンティティコンポーネントシステム（ECS）データモデルを中心に構築されており、これは異種データストリーム（例：3D点群、画像、変換、ビデオストリーム）を扱いながら、それらを時間的に完全に同期させるのに特に適しています。これにより、ユーザーが記録をスクラブして問題が発生した正確な瞬間を特定できる、直感的な「タイムトラベル」デバッグが可能になります。Rerunビューアは、ネイティブ、ブラウザ、またはJupyterノートブックや他のアプリケーションに直接埋め込んで実行できる高性能なインタラクティブアプリケーションであり、最大限の柔軟性を提供します。

Rerunの使い方

Rerunの使い方は直感的で、数分でデータの可視化を開始できます。以下は典型的なワークフローです。

1. インストール：お好みの言語用のRerun SDKをインストールします。Pythonの場合は、pip install rerun-sdkを実行するだけです。
2. 初期化：アプリケーションコードでRerunライブラリを初期化し、ビューアに接続します。新しいビューアプロセスを生成したり、リモートのビューアに接続したり、後で表示するためにファイルにログを記録したりできます。例：rr.init("my_application", spawn=True)。
3. データのロギング：rr.log()関数を使用してビューアにデータを送信します。Rerunは、3Dポイント（rr.Points3D）、画像（rr.Image）、3D変換（rr.Transform3D）、さらにはライブビデオストリーム（rr.VideoStream）などの一般的なデータ型のための組み込みアーキタイプを提供します。位置、色、テキスト、テンソルなどをログに記録できます。
4. 可視化：Rerunビューアは、ログに記録されたデータを自動的に表示します。回転、パン、ズームによって可視化を操作できます。下部のタイムラインスライダーを使用して時間を移動したり、シーケンスを再生したり、特定のイベントにジャンプしたりできます。
5. カスタマイズと分析：UIで直接、またはSDKを介してプログラムでレイアウトと可視化をカスタマイズします。より深い分析のためには、RerunのクエリAPIを使用して、記録から時間整合されたデータをApache Arrowなどの形式で抽出し、PandasやPolarsなどのデータ分析ライブラリに簡単に読み込むことができます。

Rerunの主な機能

• マルチモーダル可視化：3D点群、画像、テキスト、テンソル、3D/2D幾何学形状、変換など、幅広いデータ型をネイティブにサポートします。
• 時系列中心：中央のタイムラインにより、データの直感的なスクラブと再生が可能で、動的システムのデバッグに不可欠です。
• 多言語SDK：使いやすいPython、Rust、C++用のSDKを提供し、ほとんどのロボティクスおよびAIプロジェクトとの幅広い互換性を確保します。
• 高性能ビューア：パフォーマンスのためにRustでゼロから構築されたビューアは、大規模なデータセットをスムーズに処理できます。主要なOSでネイティブに動作し、WebAssemblyを介して最新のWebブラウザで動作し、埋め込みも可能です。
• 柔軟なデータモデル：エンティティコンポーネントシステム（ECS）モデルにより、厳格なスキーマなしで複雑で進化するデータ構造をロギングできます。
• ライブストリーミングと記録：リアルタイムデバッグのためのデータのライブストリーミングと、オフライン分析と共有のための効率的な.rrdファイルへの記録の両方をサポートします。
• ロボティクス対応：ロボットモデルを可視化し、アニメーション化するためのURDF（Unified Robot Description Format）データローダーなど、ロボティクス向けの組み込み機能が含まれています。
• データクエリAPI：乱雑なログファイルからクリーンで時間整合されたデータセットをプログラムで抽出し、デバッグとモデルトレーニングの間のギャップを埋めます。

Rerunの使用例

Rerunは多用途で、さまざまな分野で使用されています。

• ロボティクス：ロボットの知覚スタックのデバッグ、センサーフュージョン（LIDAR、カメラ、IMU）の可視化、ロボットアームの運動学のアニメーション化、シミュレーションログの分析。Hugging FaceのLeRobotプロジェクトは、可視化ツールとしてRerunを使用しています。
• コンピュータビジョン：物体検出、セマンティックセグメンテーション、SLAM（自己位置推定と地図作成）、3D再構成などのアルゴリズムの中間ステップと最終出力の可視化。
• 空間・エンボディードAI：シミュレートされた環境または実世界でのAIエージェントの知覚、状態、行動を時系列で記録することにより、その振る舞いを理解します。
• ジェネレーティブメディア：画像生成モデルの拡散プロセスをフレームごとに表示するなど、ジェネレーティブモデルの進化を可視化します。
• シミュレーション：複雑な物理シミュレーションやマルチエージェントシミュレーションを記録・再生し、創発的な振る舞いを理解し、システムのダイナミクスをデバッグします。

Rerunの利点

Rerunは、フィジカルAI分野の開発者に大きな利点を提供します。

• 直感的なデバッグ：「タイムトラベル」機能は、デバッグを退屈なプリントベースのプロセスから、直感的で視覚的な探索へと変えます。
• 開発の加速：コードが何をしているかを簡単に「見る」ことができるようにすることで、Rerunは複雑なシステムでのバグの特定と修正にかかる時間を大幅に短縮します。
• コラボレーションの改善：Rerunの.rrdログファイルは自己完結型でポータブルなため、共同デバッグのために複雑なシナリオをチームメイトと簡単に共有できます。
• オープンソースとコミュニティ主導：コアの可視化ツールは無料でオープンソース（MIT/Apache 2ライセンス）であり、成長するコミュニティからの意見を取り入れて活発に開発されています。
• スケーラブルなアーキテクチャ：このプラットフォームは、ラップトップ上の単純なスクリプトから、今後の商用製品による大規模なデータ管理ソリューションまで拡張できるように設計されています。

料金プラン

Rerunはフリーミアムモデルで運営されています。

• オープンソース：コアのRerun SDKとビューアは完全に無料でオープンソースです。これには、すべての可視化、ロギング、および単純なログ処理機能が含まれます。MITとApache 2のデュアルライセンスです。
• 商用：Rerunは、大規模なデータ管理用に設計された商用クラウドプラットフォームを開発中です。これは、大規模なフィジカルAIデータの取り込み、保存、インデックス作成、ストリーミングのためのマネージドインフラストラクチャを提供します。この製品は現在、一部のデザインパートナーと共同で開発中であり、興味のある方はウェイティングリストに登録できます。